excelsu의 공부 기록 블로그

분류와 군집의 차이는 사진 하나로 간단하게 설명할 수 있다. *분류(classification)는 정답(label)가 있는 지도학습이며 학습하여 new data가 어느분류인지 맞추는 방법이다. *군집(clustering)은 정답(label)가 없는 비지도학습이다. 그렇기때문에 어떠한 기준이나 규칙에 의해 임의로 나누어 묶어보는것이다. 대표적으로 분류기법에는 knn이 있고, 군집기법에는 k-means알고리즘이 있다. *knn은 new data의 최근접 k개를 참조하여 new data의 label을 정하는 방법 *k-means알고리즘은 k개 임의의 군집 중심점끼리의 거리합이 최소가 될때까지 이동하여 묶는 방법 사진 출처 : http://www.datamarket.kr/xe/board_BoGi29/9880

TF-IDF(단어 빈도-역 문서 빈도, Term Frequency-Inverse Document Frequency) TF-IDF는 단어의 빈도와 역 문서 빈도(DF에 특정 식을 취함)를 사용하여 DTM 내의 각 단어들마다 중요한 정도를 가중치로 주는 방법입니다. 우선 DTM을 만든 후, TF-IDF 가중치를 부여합니다. TF-IDF는 주로 문서의 유사도를 구하는 작업, 검색 시스템에서 검색 결과의 중요도를 정하는 작업, 문서 내에서 특정 단어의 중요도를 구하는 작업 등에 쓰일 수 있습니다. TF-IDF는 TF와 IDF를 곱한 값을 의미합니다. 가상의 음성인식 데이터를 분류해야하는 문제 컬럼 : contents, label import os import numpy as np import pandas as ..