최대 1 분 소요

AWS 활용한 데이터 분석 처리

  • 간단한 쿼리 등을 EMR로 수행하기에는 비효율적이다.
  • 따라서 좀 간단한 S3 Select 또는 Athena 등의 서비스를 활용한다.
  • S3 데이터에 직접 SQL 쿼리를 실행 가능
  • 쿼리 실행시 스캔한 데이터 용량에 대해서만 비용을 지불하게 됨
  • Order By, Join 등은 지원하지 않음

AWS S3 Select 실습

태그:

카테고리:

업데이트:

댓글남기기

참고

텍스트마이닝 토픽모델, LDA(Latent Dirichlet Allocation)

2 분 소요

토픽모델이란 문서와 단어로 구성된 행렬(Document Term Matrix)를 기반으로 문서에 잠재된 토픽의 등장확률을 추정하는 기법으로 분석결과를 직관적이고 정교하게 보여주게 된다. 즉 토픽과 단어의 확률 분포를 바탕으로 새로운 문서를 생성하기 때문에 생성모델 이라고도 한다. ...