[FEAT] Data cleaning

[srlee056]

Description

• glue job script를 수정하여 parquet에 적재되는 데이터 형식을 체크하고 수정
• datetime : "yyyy-MM-dd'T'HH:mm:ss'+09:00'" (or "yyyy-MM-dd'T'HH:mm:ss'+'zz:zz" maybe)
• 빈 값을 0으로 두는건 이미 영호님이 구현하신 것 같음

script 수정

• de-2-1_followers
  • 빈값(null) 처리 여부?
• de-2-1_live_viewer
  • 딱히 처리할 게 없어보이는데 태수님이 확인 한번 해야할듯
• de-2-1_game_ccu
• de-2-1_game_rating
• de-2-1_game_price
  • game_price에서 is_discount값을 T/F 가 아닌 true/false boolean으로 변경
  • game_id:string, current_price:int로 인식하도록 cast구문 추가

dag 재실행

버킷에서 parquet 파일 삭제 후 진행하기

• glue_followers
• glue_live_viewer
• glue_game_ccu (ing)
• glue_game_rating
• glue_game_price

[mediwind]

데이터 결측치를 말씀하시는 거라면
rating은 빈 값들이 0으로 오도록,
price는 지역락 등의 이슈로 더 이상 판매를 하지 않을 경우 있을 수 없는 가격인 999,999,999원으로 처리했습니다.
(사실 0원으로 할까 하다 무료 판매와 구분할 방법이 없어 999,999,999원으로 처리했습니다. 😂 )

ccu는 단 한번도 문제가 없었지만 결측치 발생시 ccu의 값이 0으로 오도록 추가해뒀습니다.

data_cleaning 하실 때 Date type말고는 수정하실 필요 없습니다❗

[poriz]

game code가 null인 값이 존재하는데 이부분에 대한 처리가 필요할 것 같습니다.
게임을 안하지만 방송을 하니까 talk와 다르지 않을 듯해서 talk으로 처리하면 좋을것같아 추가 코드 작성합니다.
chzzk_df = chzzk_df.withColumn("GAME_CODE", when(col("GAME_CODE").isNull(), lit("talk")).otherwise(col("GAME_CODE")))
논의가 필요할듯해서 수정은 후에 진행하겠습니다.