ETL process - google cloud 데이터 적재 및 snowflake 벌크 업데이트

[es3442]

Google Storage
📁 Seoul-Life-Logistics : 생활물류 정보

• SEOUL_SEOUL.csv : (출발지) 서울 자치구 - (도착지) 서울 자치구
• SEOUL_SIDO.csv : (출발지) 서울 자치구 - (도착지) 전국시도
• SIDO_SEOUL.csv : (출발지) 전국시도 - (도착지) 서울 자치구

📁 Sido-Delivery-Info : 시도별 방문소포, 등기소포(창구+택배) 정보
우체국 전국 시도별 우편물류 데이터로 각 연도월별로
방문(Visited)+등기(Registered) OR 창구등기(Registered counter)+ 택배등기(Registered delivery)로 구성

• 연도월별 Registered(counter) Information.csv
• _연도월별 Registered(delivery)Information.csv
• 연도월별 Registered_Information.csv
• 연도월별 Visit_Information.csv

Snowflake
📍Sido_delivery_info
📍Seoul_life_logistics
테이블 생성 후 벌크 벌크 업데이트 수행

[srlee056]

Google Storage

Bucket : test-devcourse

• 우제국 전국 행정동별 우편물류 데이터

📁 2020, 2021, 2022 : 각 년도의 일별 데이터 파일 저장

Snowflake

• Dong_Delivery_Info
  테이블 생성 및 copy command로 벌크 업데이트