- 현대 자동차에서 신규 모델이 출시되었을 때 커뮤니티 사이트에서 해당 모델에 대한 소비자들의 반응을 모니터링합니다.
- 특정 이슈에 대한 대화가 얼마나 이루어지고 있는지를 시각화하고 알림을 제공합니다.
- 30분 마다 커뮤니티 게시글 및 댓글 모니터링
- 이슈별 대화량 측정
- 중요 이슈 발생 시 즉각적인 알림 제공
- 데이터 및 집계 결과 시각화
각 모듈의 기능에 대한 설명은 아래 디렉토리를 참고하세요.
- .github/workflows/ : Github Actions를 이용한 CI/CD
- combine/ : S3에 적재된 크롤링된 데이터를 병합
- extract/bobaedream/ : 보배드림 크롤러
- extract/clien/ : 클리앙 크롤러
- extract/dcinside/ : 디시인사이드 크롤러
- mwaa/ : 데이터 파이프라인 제어를 위한 Airflow 관련 파일
- notification/ : AWS Lambda 기반 Redshift 트렌드 분석 및 Slack 알림 시스템
- transform/ : AWS Lambda 기반 데이터 변환 및 감성 분석
- transfrom/main : spark 기반 데이터 변환과 spark 최적화
- visualize/ : Apache Superset 설치를 위한 가이드
| 공도한 | 박산야 | 최민제 |
 |
 |
 |
| @reudekx | @sanyapark | @minjacho42 |
| DE | DE | DE |