<aside> 💡
현대 자동차에서 신규 모델이 출시되었을 때
SNS (유튜브, 인스타 그램, 커뮤니티 등)에서 해당 모델에 대한 소비자들의 반응을 모니터링해서
특정 이슈에 대한 대화가 얼마나 이루어지고 있는지를 모니터링하고 알림을 제공
</aside>
신규 모델
→ 실시간 / 몇시간 마다 확인 (이때 안팔면 무조건 재고가 남음 == 초기 판매량이 가장 중요)
→ 디비에 쿼리를 날릴 상황 / 시간 단위 뷰 테이블 만들어서 디비까지 안 가게 날리기 를 판단
→ SNS반응이 중요하겠지? 이때 반응이 좋아야 팔리니까
→ 그럼 모니터링
알림 == 대응이 필요하다
왜 수집해 / 왜 ~주기로 했어 / 왜 이런 구조를 채택했어 이런게 중요하다
<aside> ⚠️
AWS 상에서 Data Pipeline를 구현해야 합니다.
Extract를 통해 획득한 Data는 S3에 저장해야 합니다. ⇒ DataLake 구축
Data Tranformation은 Spark를 사용해야 합니다.
처리된 데이터는 Datawarehouse를 통해서 제공되어야 합니다. aws에서 해당하는거 찾기
</aside>
<aside> 💡
소비자의 반응을 모니터링 해야 할 이유 → 어떤 소비자? 젊은? 직장인? 은퇴한? 싱글? 가족?
아무튼 ‘주요 구매층’이 누군지도 알아야…하겠지?
반응을 모니터링한다 → 모니터링 할 만큼 반응이 나온다 그것도 인터넷에서. →2~40대 정도
타겟이 관심을 가질만 한 특정 이슈는 어떤 것일까
알림을 왜 받고 싶을까?
정기적인 모니터링 혹은 특정 수치가 임계치를 넘을 경우 경고의 의미
왜 정기적으로 보고 싶을까?
</aside>
Source - Extract - S3 (Data Lake) - EMR - Redshift - Superset
//Spark Job 시도 마다 DAG 구조 스크린샷 + 실행 시간 기록하기 (구조 개선 기록 용도)