통계 수량형 자료의 표현
자료의 표현 및 Data Visualization
Tag
- 통계 8
- Ai bigData 8
- 통계 R 7
- 통계자료 6
- 텍스트마이닝 5
- Python 4
- R 4
- Hadoop 4
- ai 3
- big Data 3
- 통계분석 3
- 인공지능 3
- 의사결정나무 3
- 클라우드 컴퓨팅 3
- AWS 3
- electron 3
- 확률의 기초이론 2
- 확률 2
- R 함수 2
- 경험의 법칙 2
- chebishev's Rule 2
- 사례기반추론 예제 2
- 네트워크 자료 2
- 정규분포 표현 2
- EMR 2
- ApexCharts 2
- Vue 2
- 확률 덧셈정리 1
- 연관성분석 1
- Python 데이터 타입 1
- Python 식별자와 연산자 1
- Python 흐름제어 1
- 함수 1
- 객체지향 1
- 독립사건 1
- 정확도 1
- 정밀도 1
- 산포도 1
- 비대칭도 1
- 첨도 1
- 파이썬 주요라이브러리 1
- 기계학습 개요 1
- 베이즈 정리 1
- 범주형자료 1
- 막대그래프 1
- 파레토차트 1
- Python Numpy 기초 1
- Python MatPlotLib 기초 1
- Python SciPy 기초 1
- Python Pandas 기초 1
- 이산형 확률분포 1
- 확률변수 1
- 확률분포 1
- 정규화 1
- 표준화 1
- 결합확률분포 1
- 논문작성 1
- 두변수의 연관성 1
- 연속형 확률분포 1
- 정규분포 1
- 연속형 확률분포 Ⅱ 1
- 표본분포 1
- 분석사례 1
- 군집분석 사례 1
- K-means Clustering 1
- 군집분석 1
- 사례기반추론 이론 1
- 관계분석 1
- 산점도 표현 1
- NeuralNetwork 1
- 인공지능의 이해 1
- 딥러닝 개요 1
- 기계학습 1
- 최근접 이웃법 1
- KNN 1
- EC2 1
- Amazone S3 1
- S3 Select 1
- Hive 1
- Kinesis 1
- DTM 1
- TDM 1
- 문서구조 1
- 감성분석 1
- 감성분석 - Machine Learing 1
- 군집과 분류 - unsupervised learning 1
- EMR 설정시 오류 1
- python hive 연결 오류 1
- d3.js 오류 1
- 텍스트마이닝 토픽모델 1
- unsupervised 1
통계
통계R DataFrame
많이 활용되는 DataFrame의 조작 방법을 알아본다.
통계R 자료구조와 연산
Vector, Matrix, Dataframe, Array, List 의 연산과 데이터 접근법 등을 알아본다.
통계R 벡터연산 및 자료형
R의 변수 및 데이터구조
파이썬 big Data 분석을 위한 주요 라이브러리 소개
데이터 처리를 위한 라이브러리
확률의 곱셈정리
곱셈정리 개요
통계자료의 종류
통계의 자료는 측정도구 등에 따라 달라지고 그 분류에 따라 처리 방식이 달라 진다.
확률의 덧셈정리
덧셈정리 개요
Ai bigData
텍스트 전처리
토큰화
텍스트마이닝 이론
개념 인간의 언어로 이루어진 비정형 텍스트 데이터들을 자연어 처리(Natural Language Processing)방식을 이용하여 대규모 문서에서 정보 추출, 연계성 파악, 분류 및 군집화, 요약 등을 통해 데이터에 숨겨진 의미를 발견하는 기법
텍스트마이닝 예제 (R을 활용) - 3
텍스트 마이닝 분석 이후 연관분석 까지 실시해서 분석 해본다.
텍스트마이닝 예제 (R을 활용) - 2
국문에 대해 간단한 텍스트 마이닝을 통해 워드 클라우드를 만드는 예제
텍스트마이닝 예제 (R을 활용) - 1
영문에 대해 간단한 텍스트 마이닝을 통해 워드 클라우드를 만드는 예제
사례기반추론 이론
사례기반추론(Case-Based Reasoning, CBR)개념 과거의 사례들의 결과를 바탕으로 새로운 사례 결과를 예측하는 방법 굉장히 간단하지만, 유용성이 매우크다. 과거 사례들을 저장해 둔 사례 기반으로부터 해결하고자 하는 새로운 사례와 가장 유사한 사례를 검색한...
군집분석 이론
대상을 분류 함에 있어 여러 질적변수로 분류 하는 것은 쉽지만, 양적변수로 분류 하는 것은 쉽지 않다. 이러한 상황에서 자유롭게 이용되는 기법이 군집분석이라 할 수 있다.
군집분석 예제 - 1
K-means Clustering Method 방법을 활용한 군집 분석 사례 (간단분석)
통계 R
R 산점도 visualization
산점도에 대한 시각화 표현을 해본다.
R ggplot visualization 표현
ggplot 그래프를 그리기 위한 코드는 그래프 틀을 정해주는 ggplot 함수와 그래프 형태를 정해주는 함수가 추가로 붙게 되며, 레이어 추가방식 + 를 통해서 계속 지정이 가능하다.
R 정규분포 Visualization 표현
다양한 평균,분산에 따른 정규분포 비교 > m = 0 > std = 1 > x <- seq((m-5*std),(m+5*std), length=101 ) # Y <- (1/sqrt(2*pi))*exp(-X^2/2) 정규분포 함수를 직접 활용해도 됨 >...
R igraph 네트워크 자료의 표현 - 2
igraph 네트워크 객체로 표현하면 노드속성과 엣지속성을 표현하는데 장점이 많다.
R 네트워크 자료의 표현 - 1
네트워크 표현형식은 아래와 같이 2가지로 표현이 가능하다.
R 데이터 결합함수(cbind, rbind, merge)
분석시 데이터의 프레임을 결합하는 경우가 꽤 발생한다. R은 이 기능을 충분히 제공하고 있으며 이 함수에 대해서 정리를 한다.
R apply, lapply, sapply, tapply, by 함수 정리
apply 계열 함수는 array, data frame, vector 등 에 대해 함수를 적용하는 경우에 편리하게 사용하는 함수 이다. 통상 각데이터 연산을 할때 for문을 사용하는 것 보다 빠르게 연산을 한다.
통계자료
통계 수량형 자료의 표현
자료의 표현 및 Data Visualization
R 데이터 결합함수(cbind, rbind, merge)
분석시 데이터의 프레임을 결합하는 경우가 꽤 발생한다. R은 이 기능을 충분히 제공하고 있으며 이 함수에 대해서 정리를 한다.
R apply, lapply, sapply, tapply, by 함수 정리
apply 계열 함수는 array, data frame, vector 등 에 대해 함수를 적용하는 경우에 편리하게 사용하는 함수 이다. 통상 각데이터 연산을 할때 for문을 사용하는 것 보다 빠르게 연산을 한다.
통계R 자료구조와 연산
Vector, Matrix, Dataframe, Array, List 의 연산과 데이터 접근법 등을 알아본다.
통계R 벡터연산 및 자료형
R의 변수 및 데이터구조
통계자료의 종류
통계의 자료는 측정도구 등에 따라 달라지고 그 분류에 따라 처리 방식이 달라 진다.
텍스트마이닝
텍스트 전처리
토큰화
텍스트마이닝 이론
개념 인간의 언어로 이루어진 비정형 텍스트 데이터들을 자연어 처리(Natural Language Processing)방식을 이용하여 대규모 문서에서 정보 추출, 연계성 파악, 분류 및 군집화, 요약 등을 통해 데이터에 숨겨진 의미를 발견하는 기법
텍스트마이닝 예제 (R을 활용) - 3
텍스트 마이닝 분석 이후 연관분석 까지 실시해서 분석 해본다.
텍스트마이닝 예제 (R을 활용) - 2
국문에 대해 간단한 텍스트 마이닝을 통해 워드 클라우드를 만드는 예제
텍스트마이닝 예제 (R을 활용) - 1
영문에 대해 간단한 텍스트 마이닝을 통해 워드 클라우드를 만드는 예제
Python
Python 객체지향
객체지향 프로그래밍 (OOP : Object Oriented Programming) 프로그램을 명령어의 나열로 보는 시각에서 벗어나 여러 개의 독립된 단위인 “객체”들의 모임으로 파악하는 것으로 클래스, 속성, 메서드로 구성을 이루고 있다. 객체지향은 캡슐화(Encapsu...
Python 흐름제어, 함수
선택적흐름 과 반복적 흐름
Python 식별자와 연산자
식별자
Python 데이터 타입
기본자료형 (정수,실수,복소수,논리형,문자열)
R
통계 수량형 자료의 표현
자료의 표현 및 Data Visualization
통계R DataFrame
많이 활용되는 DataFrame의 조작 방법을 알아본다.
통계R 자료구조와 연산
Vector, Matrix, Dataframe, Array, List 의 연산과 데이터 접근법 등을 알아본다.
통계R 벡터연산 및 자료형
R의 변수 및 데이터구조
Hadoop
Hadoop MapReduce 소개 및 실습
MapReduce 설계 특성 분산 컴퓨팅에 적합한 분산 프로그래밍 모델 Map과 Reduce함수를 합친말 Map은 분산되어 있는 데이터를 연관성있는 데이터들로 분류하는 작업 Reduce 원하는 데이터를 추출하는 작업 Data Locality를 최대한 활용 F...
Hadoop HDFS 소개 및 실습
HDFS의 설계 대용량 데이터 저장 : 하나의 파일이 terabyte, petabyte이상의 사이즈로 저장 장애복구 : 장애를 신속하게 감지하고 대처할 수 있도록 설계 데이터의 무결성 : 한번 저장된 데이터를 수정 할 수 없고 읽기만 가능하게 해서 데이터 무결정을 유지
Hadoop 실습
실습환경 여러 하둡을 패키지로 묶어놓은 것 : HDP(Hortonworks Sandbox) Virtural Box
Hadoop 소개
Hadoop 소개 하둡은 빅데이터를 분산,저장,처리 할 수 있는 자바기반의 오픈소스 프레임워크 기존의 OLTP(실시간 처리를 위한 데이터 베이스)용 데이터베이스에서 발생하는 문제를 해결 3V (Volumn, Velocity, Variety)의 문제 큰데이터를 저렴한...
ai
연관성분석 예제(1)
분석개요
연관성분석 transactions class
연관성 분석에 사용되는 데이터 유형은 idi형태가 아닌 itl 형태의 데이타가 사용된다.
연관성분석 이론
연관성분석은 장바구니분석(Market Basket Analysis) 또는 서열분석(Sequence Analysis) 이라고도 한다 기업의 데이터에서 상품구매, 서비스 등 일련의 거래 또는 사건들 간의 규칙을 발견 할 목적으로 사용된다. 주요 응용은 Market basket anal...
big Data
연관성분석 예제(1)
분석개요
연관성분석 transactions class
연관성 분석에 사용되는 데이터 유형은 idi형태가 아닌 itl 형태의 데이타가 사용된다.
연관성분석 이론
연관성분석은 장바구니분석(Market Basket Analysis) 또는 서열분석(Sequence Analysis) 이라고도 한다 기업의 데이터에서 상품구매, 서비스 등 일련의 거래 또는 사건들 간의 규칙을 발견 할 목적으로 사용된다. 주요 응용은 Market basket anal...
통계분석
연관성분석 예제(1)
분석개요
연관성분석 transactions class
연관성 분석에 사용되는 데이터 유형은 idi형태가 아닌 itl 형태의 데이타가 사용된다.
연관성분석 이론
연관성분석은 장바구니분석(Market Basket Analysis) 또는 서열분석(Sequence Analysis) 이라고도 한다 기업의 데이터에서 상품구매, 서비스 등 일련의 거래 또는 사건들 간의 규칙을 발견 할 목적으로 사용된다. 주요 응용은 Market basket anal...
인공지능
의사결정나무 이론
의사결정 나무는 간단하게 말해 if~else와 같이 특정 조건을 기준으로 O/X로 나누어 분류/회귀를 진행하는 tree 구조의 분류/회귀 데이터마이닝 기법이다.
의사결정나무 분석절차 및 R 패키지
1. 의사결정나무 분석절차
의사결정나무 분석사례 - 1
A. 데이터 준비
의사결정나무
의사결정나무 이론
의사결정 나무는 간단하게 말해 if~else와 같이 특정 조건을 기준으로 O/X로 나누어 분류/회귀를 진행하는 tree 구조의 분류/회귀 데이터마이닝 기법이다.
의사결정나무 분석절차 및 R 패키지
1. 의사결정나무 분석절차
의사결정나무 분석사례 - 1
A. 데이터 준비
클라우드 컴퓨팅
AWS 서비스 소개
빅데이터를 위한 AWS 서비스
클라우드 컴퓨팅 기초(AWS)
클라우드 컴퓨팅 분류
클라우드 컴퓨팅 개념
클라우드 컴퓨팅은 현재 가장 Hot 기술로, 기업의 사업본질의 집중과 효율성 극대화를 위해 도입
AWS
맨 위로 이동 ↑electron
electron 에서 sqlite3설치후 Cannot find module node_sqlite3.node 오류 발생시 해결 방법
Electron Vue 환경에서 sqlite3 설치시 다음과 같은 에러가 발생하는 경우가 있다.
fs.readFileSync, readFile 사용 (electron , Vue)
Electron Vue 환경에서 fs.readFileSync, readFile 사용하는 경우 보안문제로 인하여 다음과 같은 에러가 발생한다.
ApexCharts 모듈 사용 (electron , Vue)
ApexCharts 이란 ? Chart를 그리는 라이브러리로 Vue, React 등 다양한 환경에 사용 가능한 라이브러임
확률의 기초이론
확률의 기초이론 - 2
조건부 확률
확률의 기초이론 - 1
확률의 기본개념
확률
맨 위로 이동 ↑R 함수
R 데이터 결합함수(cbind, rbind, merge)
분석시 데이터의 프레임을 결합하는 경우가 꽤 발생한다. R은 이 기능을 충분히 제공하고 있으며 이 함수에 대해서 정리를 한다.
R apply, lapply, sapply, tapply, by 함수 정리
apply 계열 함수는 array, data frame, vector 등 에 대해 함수를 적용하는 경우에 편리하게 사용하는 함수 이다. 통상 각데이터 연산을 할때 for문을 사용하는 것 보다 빠르게 연산을 한다.
경험의 법칙
통계 심슨의역설(Simpson’s Paradox)
개념 심슨의 역설은 데이터의 상세 그룹에서 나타나는 평균, 추세 등과 이를 전체 그룹화 시켜서 평균, 추세 등을 비교 해보면 서로 상반되거나 다른 결론에 이룰 수 있다는 역설이다. 좀 더 간단하게 표현해 보자면
통계 경험의법칙(chebishev’s Rule & Emprical)
chebishev’s Rule 체비셔프 부등식 : $P(| x- \mu | < k \sigma) = P[\mu -k \sigma < x < \mu +k \sigma] \geq 1 - \frac{1}{k^2}$ chebishev’s Rule에 의하면, ...
chebishev's Rule
통계 심슨의역설(Simpson’s Paradox)
개념 심슨의 역설은 데이터의 상세 그룹에서 나타나는 평균, 추세 등과 이를 전체 그룹화 시켜서 평균, 추세 등을 비교 해보면 서로 상반되거나 다른 결론에 이룰 수 있다는 역설이다. 좀 더 간단하게 표현해 보자면
통계 경험의법칙(chebishev’s Rule & Emprical)
chebishev’s Rule 체비셔프 부등식 : $P(| x- \mu | < k \sigma) = P[\mu -k \sigma < x < \mu +k \sigma] \geq 1 - \frac{1}{k^2}$ chebishev’s Rule에 의하면, ...
사례기반추론 예제
사례기반추론 예제 - 2
간단한 예제를 R을 통하여 알아본다
사례기반추론 예제 - 1
간단한 예제를 R을 통하여 알아본다
네트워크 자료
R igraph 네트워크 자료의 표현 - 2
igraph 네트워크 객체로 표현하면 노드속성과 엣지속성을 표현하는데 장점이 많다.
R 네트워크 자료의 표현 - 1
네트워크 표현형식은 아래와 같이 2가지로 표현이 가능하다.
정규분포 표현
R ggplot visualization 표현
ggplot 그래프를 그리기 위한 코드는 그래프 틀을 정해주는 ggplot 함수와 그래프 형태를 정해주는 함수가 추가로 붙게 되며, 레이어 추가방식 + 를 통해서 계속 지정이 가능하다.
R 정규분포 Visualization 표현
다양한 평균,분산에 따른 정규분포 비교 > m = 0 > std = 1 > x <- seq((m-5*std),(m+5*std), length=101 ) # Y <- (1/sqrt(2*pi))*exp(-X^2/2) 정규분포 함수를 직접 활용해도 됨 >...
EMR
EMR 개요
EMR(Elastic MapReduce) Managed Hadoop Spark, Hbase, Hive 등도 포함 내부적으로 EC2 인스턴스를 활용 다른 AWS 서비스들과 통합가능(S3)
EMR 클러스터 생성 및 Hive 사용
EMR클러스터 생성
ApexCharts
fs.readFileSync, readFile 사용 (electron , Vue)
Electron Vue 환경에서 fs.readFileSync, readFile 사용하는 경우 보안문제로 인하여 다음과 같은 에러가 발생한다.
ApexCharts 모듈 사용 (electron , Vue)
ApexCharts 이란 ? Chart를 그리는 라이브러리로 Vue, React 등 다양한 환경에 사용 가능한 라이브러임
Vue
fs.readFileSync, readFile 사용 (electron , Vue)
Electron Vue 환경에서 fs.readFileSync, readFile 사용하는 경우 보안문제로 인하여 다음과 같은 에러가 발생한다.
ApexCharts 모듈 사용 (electron , Vue)
ApexCharts 이란 ? Chart를 그리는 라이브러리로 Vue, React 등 다양한 환경에 사용 가능한 라이브러임
확률 덧셈정리
확률의 덧셈정리
덧셈정리 개요
연관성분석
연관성분석 transactions class
연관성 분석에 사용되는 데이터 유형은 idi형태가 아닌 itl 형태의 데이타가 사용된다.
Python 데이터 타입
Python 데이터 타입
기본자료형 (정수,실수,복소수,논리형,문자열)
Python 식별자와 연산자
Python 식별자와 연산자
식별자
Python 흐름제어
Python 흐름제어, 함수
선택적흐름 과 반복적 흐름
함수
Python 흐름제어, 함수
선택적흐름 과 반복적 흐름
객체지향
Python 객체지향
객체지향 프로그래밍 (OOP : Object Oriented Programming) 프로그램을 명령어의 나열로 보는 시각에서 벗어나 여러 개의 독립된 단위인 “객체”들의 모임으로 파악하는 것으로 클래스, 속성, 메서드로 구성을 이루고 있다. 객체지향은 캡슐화(Encapsu...
독립사건
확률의 곱셈정리
곱셈정리 개요
정확도
정확도와 정밀도의 개념
통계 용어중 정확도(Accuracy)와 정밀도(Precision)에 대해서 알아보자
정밀도
정확도와 정밀도의 개념
통계 용어중 정확도(Accuracy)와 정밀도(Precision)에 대해서 알아보자
산포도
통계 데이터의 표현과 요약
통계의 자료의 요약 방법에 대해 알아본다.
비대칭도
통계 데이터의 표현과 요약
통계의 자료의 요약 방법에 대해 알아본다.
첨도
통계 데이터의 표현과 요약
통계의 자료의 요약 방법에 대해 알아본다.
파이썬 주요라이브러리
파이썬 big Data 분석을 위한 주요 라이브러리 소개
데이터 처리를 위한 라이브러리
기계학습 개요
기계학습 개요
개요 데이터를 통해 기계가 스스로 학습하게 하는 방법을 의미한다. 일반 프로그램은 규칙을 사람이 직접 입력하지만, 머신러닝은 컴퓨터가 직접 규칙을 스스로 찾아서 하는 방법을 의미한다.
베이즈 정리
베이즈 정리
두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리다
범주형자료
통계 범주형 자료의 표현
범주형 자료의 표현 방법
막대그래프
통계 범주형 자료의 표현
범주형 자료의 표현 방법
파레토차트
통계 범주형 자료의 표현
범주형 자료의 표현 방법
Python Numpy 기초
Python Numpy 기초
Numpy 라이브러리 (데이터처리용)
Python MatPlotLib 기초
Python MatPlotLib 기초
MatPlotLib 라이브러리 (데이터시각화)
Python SciPy 기초
Python SciPy 기초
SciPy 라이브러리 (데이터처리용)
Python Pandas 기초
Python Pandas 기초
Pandas 라이브러리 (데이터처리용)
이산형 확률분포
이산형 확률분포
베르누이 분포
확률변수
확률변수, 확률분포
추측 통계학을 연결하는 중간적인 개념으로 확률 변수가 발생한다.
확률분포
확률변수, 확률분포
추측 통계학을 연결하는 중간적인 개념으로 확률 변수가 발생한다.
정규화
통계 자료의 스케일링
데이터 분석시 많이 발생하는 것이 단위의 불일치 이다. 이에 대한 해결로는 정규화(Normalization)과 표준화(Standardization)이 있다.이 스케일링 방법은 단위가 다를 때 대상 데이터를 같은 기준으로 보도록 한다.
표준화
통계 자료의 스케일링
데이터 분석시 많이 발생하는 것이 단위의 불일치 이다. 이에 대한 해결로는 정규화(Normalization)과 표준화(Standardization)이 있다.이 스케일링 방법은 단위가 다를 때 대상 데이터를 같은 기준으로 보도록 한다.
결합확률분포
두변수 결합확률분포
결합확률분포
논문작성
논문작성이론
논문의 종류 Emprical Study 실증자료를 분석해서 결론을 도출함 대표적 논문집 : 경영학저널, 품질경영학회지, MIS Quality, IEEE 행태논문 (Behavioral Article) 사...
두변수의 연관성
두변수의 연관성
두 확률 변수의 연관성
연속형 확률분포
연속형 확률분포 Ⅰ(정규분포)
정규분포(normal distribution)
정규분포
연속형 확률분포 Ⅰ(정규분포)
정규분포(normal distribution)
연속형 확률분포 Ⅱ
연속형 확률분포 Ⅱ
균등 분포(Uniform probability distribution)
표본분포
표본분포
표본분포의 이해
분석사례
의사결정나무 분석사례 - 1
A. 데이터 준비
군집분석 사례
군집분석 예제 - 1
K-means Clustering Method 방법을 활용한 군집 분석 사례 (간단분석)
K-means Clustering
군집분석 예제 - 1
K-means Clustering Method 방법을 활용한 군집 분석 사례 (간단분석)
군집분석
군집분석 이론
대상을 분류 함에 있어 여러 질적변수로 분류 하는 것은 쉽지만, 양적변수로 분류 하는 것은 쉽지 않다. 이러한 상황에서 자유롭게 이용되는 기법이 군집분석이라 할 수 있다.
사례기반추론 이론
사례기반추론 이론
사례기반추론(Case-Based Reasoning, CBR)개념 과거의 사례들의 결과를 바탕으로 새로운 사례 결과를 예측하는 방법 굉장히 간단하지만, 유용성이 매우크다. 과거 사례들을 저장해 둔 사례 기반으로부터 해결하고자 하는 새로운 사례와 가장 유사한 사례를 검색한...
관계분석
관계분석
관계분석은 그룹간의 차이를 검정하는 차이검정과 변수와 변수간 관계가 있는지 없는지를 검정하는 관계검정으로 나눠진다.
산점도 표현
R 산점도 visualization
산점도에 대한 시각화 표현을 해본다.
NeuralNetwork
맨 위로 이동 ↑인공지능의 이해
인공지능의 이해
이해
딥러닝 개요
딥러닝 개요
이해
기계학습
최근접 이웃법(Nearest Neighbor)
개요 비슷한 그룹끼리 묶어내는 방법으로, 새로운 데이터가 들어 왔을때 가장 가까이 있는것이 무엇니가를 정해주는 알고리즘이라 할 수 있다. 분류나 회귀에 사용되는 비모수 방식이다.
최근접 이웃법
최근접 이웃법(Nearest Neighbor)
개요 비슷한 그룹끼리 묶어내는 방법으로, 새로운 데이터가 들어 왔을때 가장 가까이 있는것이 무엇니가를 정해주는 알고리즘이라 할 수 있다. 분류나 회귀에 사용되는 비모수 방식이다.
KNN
최근접 이웃법(Nearest Neighbor)
개요 비슷한 그룹끼리 묶어내는 방법으로, 새로운 데이터가 들어 왔을때 가장 가까이 있는것이 무엇니가를 정해주는 알고리즘이라 할 수 있다. 분류나 회귀에 사용되는 비모수 방식이다.
EC2
EC2 및 Nginx 설치
EC2 서비스 생성 실습
Amazone S3
Amazone S3 소개 및 실습
Amazon S3 Amazone Simple Storage Service 2006년에 출시된 최초의 AWS 서비스 웹 서비스 인터페이스를 통해 언제 어디서나 원하는 데이터 접근 가능
S3 Select
S3 Select
AWS 활용한 데이터 분석 처리 간단한 쿼리 등을 EMR로 수행하기에는 비효율적이다. 따라서 좀 간단한 S3 Select 또는 Athena 등의 서비스를 활용한다. S3 데이터에 직접 SQL 쿼리를 실행 가능 쿼리 실행시 스캔한 데이터 용량에 대해서만 비용을 지불하...
Hive
EMR 클러스터 생성 및 Hive 사용
EMR클러스터 생성
Kinesis
Amazon Kinesis
AWS에서 데이터를 처리한는 방법
DTM
텍스트 마이닝을 위한 문서의 벡터 변환
텍스트 문서를 컴퓨터가 인식할 수 있는 다양한 방법에 대해서 알아 보기로 함
TDM
텍스트 마이닝을 위한 문서의 벡터 변환
텍스트 문서를 컴퓨터가 인식할 수 있는 다양한 방법에 대해서 알아 보기로 함
문서구조
텍스트 마이닝을 위한 문서의 벡터 변환
텍스트 문서를 컴퓨터가 인식할 수 있는 다양한 방법에 대해서 알아 보기로 함
감성분석
감성분석 - 규칙기반
감성분석 이란? 문서의 감성/의견/기분 등을 파악하기 위한 기법으로, 편향없는 기계적인 분석 분석에는 두가지 방법이 있는데, 사람이 작성한 규칙 기반 알고리즘을 사용 : 특정 단어와 감성 점수의 쌍을 담은 사전(lexicon) 기반이며, VADER 알고...
감성분석 - Machine Learing
감성분석 - Machine Learing
IMDB 영화 리뷰 데이터 ML 기반 감성분석( CountVectorizer 활용 )
군집과 분류 - unsupervised learning
텍스트마이닝 군집과 분류
독립변수(X변수) 만의 변수들만 활용 하여 군집과 분류 하게됨.
EMR 설정시 오류
[AWS EMR 생성시] The requested instance type c4.2xlarge is not supported in the requested availability zone 오류 발생
AWS EMR 생성시 이러한 오류 발생시에는 EC2 에서 인스턴스유형 과 네트워크 인터페이스를 확인 해야 한다.
python hive 연결 오류
[hive.connect] thrift.transport.TTransport.TTransportException 오류 발생
파이썬으로 hive.connect 오류 발생시 포트나 호스트 IP를 체크 해야 합니다. port 10000 번을 사용하기 때문에 10000번 포트가 열려 있는지 확인하세요.
d3.js 오류
[d3.js] d3.js 오류
d3 버전차이에 의한 오류
텍스트마이닝 토픽모델
텍스트마이닝 토픽모델, LDA(Latent Dirichlet Allocation)
토픽모델이란 문서와 단어로 구성된 행렬(Document Term Matrix)를 기반으로 문서에 잠재된 토픽의 등장확률을 추정하는 기법으로 분석결과를 직관적이고 정교하게 보여주게 된다. 즉 토픽과 단어의 확률 분포를 바탕으로 새로운 문서를 생성하기 때문에 생성모델 이라고도 한다. ...
unsupervised
텍스트마이닝 토픽모델, LDA(Latent Dirichlet Allocation)
토픽모델이란 문서와 단어로 구성된 행렬(Document Term Matrix)를 기반으로 문서에 잠재된 토픽의 등장확률을 추정하는 기법으로 분석결과를 직관적이고 정교하게 보여주게 된다. 즉 토픽과 단어의 확률 분포를 바탕으로 새로운 문서를 생성하기 때문에 생성모델 이라고도 한다. ...