Sun.El Data Analysis

문서유사도란? 문서와 문서간의 유사도가 어느정도인지 나타내는 척도로 지금 보고 있는 뉴스와 가장 유사한 뉴스를 추천해주기도 하고, 줄거리를 기반으로 내가 본 영화와 가장 유사한 영화를 추천해 줄 수 있음 문서 유사도를 측정하는 방법으로 다음과 같은 지표가 있지만, 코사인 유사도(Cosine Similarity)를 많이 사용함 Cosine Similarity, Jaccard Similarity, Manhattan Distance, Eucliden Distance 1. 코사인 유사도(Cosine Similarity) 개념 코사인 유사도란 벡터와 벡터 간의 유사도를 비교시 두 벡터 간의 사잇각을 구해서 얼마나 유사한지 수치로 나타낸 것 벡터 방향이 비슷할 수록 두 벡터는 서로 유사하며, 두 벡터가 완전히 동일..

총 200,000개 리뷰로 구성된 영화 리뷰에 대한 긍정(1), 부정(0) 평가한 데이터를 이용하여 자연어처리와 리뷰 긍정/부정 평가 머신모델을 만들자 데이터 다운로드 링크 : https://github.com/e9t/nsmc/ 1. 데이터 이해 및 전처리 add check point! 1. re.sub('패턴', '바꿀문자열', '문자열', 바꿀횟수) 2. lambda [In] import pandas as pd #https://github.com/e9t/nsmc train_df = pd.read_csv('./0731/ratings_train.txt', sep='\t') test_df = pd.read_csv('./0731/ratings_test.txt', sep='\t') train_df.head(3..