[ML/DL] NLP TF-IDF / Word2Vec

1. TF-IDF 임베딩

TF-IDF (Term Frequency-Inverse Document Frequency)는 텍스트 데이터를 수치 벡터로 변환

 

– 핵심어 추출 위해 단어의 특정 문서 내 중요도 산출
– TF: 단어의 문서내 빈도, IDF: 문서 빈도 수(DF)의 역수

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from nltk.tokenize import word_tokenize

# TF-IDF 임베딩
vectorizer = TfidfVectorizer(tokenizer=lambda x: x, lowercase=False)  # 이미 토크나이즈 했으므로 tokenizer와 lowercase 옵션 조정
tfidf_matrix = vectorizer.fit_transform(train_X['Comment'])

# TF-IDF 결과 출력
print(tfidf_matrix.toarray())

 

2. Word2Vec 임베딩

Word2Vec은 단어를 고정 길이 벡터로 변환하는 딥러닝 기반 임베딩 기법. Gensim 라이브러리를 사용하여 구현

 

– 단어를 벡터 평면에 배치하여 문맥적 의미 보존
– 신경망 연산 수행하며 CBOW와 Skip-gram 모델 적용

import pandas as pd
from nltk.tokenize import word_tokenize
from gensim.models import Word2Vec

# Word2Vec 임베딩
sentences = train_X['Comment'].tolist()
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)

# 각 단어에 대한 벡터 출력
word_vectors = model.wv
print(word_vectors['sample'])  # 'sample' 단어에 대한 벡터 출력

 

 

 

https://blog.skby.net/%EC%9B%8C%EB%93%9C-%EC%9E%84%EB%B2%A0%EB%94%A9word-embedding/

워드 임베딩(Word Embedding) < 도리의 디지털라이프

 

https://eda-ai-lab.tistory.com/428

임베딩 기법(Embedding)