分別使用sklearn和gensim提取文本的tfidf特征

語料

text_list= [
    '我喜歡吃蘋果和桃子尤其是桃子',
    '小甲喜歡吃蘋果', 
    '小乙喜愛吃西瓜', 
    '小丁喜歡吃蘋果西瓜'
]

sklearn會(huì)對(duì)語料自動(dòng)進(jìn)行分詞，默認(rèn)以空格拆分，并且默認(rèn)過濾掉長度為1的token和標(biāo)點(diǎn)符號(hào)；而gensim需要先對(duì)語料分詞后才能處理。為了保證兩者的輸入語料相同，因此處理如下

In [101]: ws = [jieba.lcut(s) for s in text_list]  # gensim的輸入
In [102]: ws
Out[102]:
[['我', '喜歡', '吃', '蘋果', '和', '桃子', '尤其', '是', '桃子'],
 ['小甲', '喜歡', '吃', '蘋果'],
 ['小乙', '喜愛', '吃', '西瓜'],
 ['小丁', '喜歡', '吃', '蘋果', '西瓜']]

In [119]: ws_sk = [' '.join(s) for s in ws]  # sklearn的輸入
In [120]: ws_sk
Out[120]: ['我 喜歡 吃 蘋果 和 桃子 尤其 是 桃子', '小甲 喜歡 吃 蘋果', '小乙 喜愛 吃 西瓜', '小丁 喜 歡 吃 蘋果 西瓜']

1. 使用sklearn提取計(jì)算tfidf

from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer, TfidfTransformer

方法一：使用CountVectorizer和TfidfTransformer

1. CountVectorizer是通過fit_transform函數(shù)將文本中的詞語轉(zhuǎn)換為詞頻矩陣

  • get_feature_names()可看到所有文本的關(guān)鍵字
  • vocabulary_可看到所有文本的關(guān)鍵字和其位置
  • toarray()可看到詞頻矩陣的結(jié)果
# token_pattern為分詞方式，默認(rèn)默認(rèn)過濾掉長度為1的token和標(biāo)點(diǎn)符號(hào)，即`r"(?u)\b\w\w+\b"`，為了保證分詞結(jié)果和我們使用jieba的分詞結(jié)果一致，這里對(duì)分詞方式做修改
In [135]: vectorizer = CountVectorizer(token_pattern=r"(?u)\b\w+\b")
In [136]: count = vectorizer.fit_transform(ws_sk)

In [137]: vectorizer.get_feature_names()
Out[137]: ['吃', '和', '喜歡', '喜愛', '小丁', '小乙', '小甲', '尤其', '我', '是', '桃子', '蘋果', '西瓜']

In [138]: vectorizer.vocabulary_
Out[138]:
{'我': 8,
 '喜歡': 2,
 '吃': 0,
 '蘋果': 11,
 '和': 1,
 '桃子': 10,
 '尤其': 7,
 '是': 9,
 '小甲': 6,
 '小乙': 5,
 '喜愛': 3,
 '西瓜': 12,
 '小丁': 4}

In [139]: count.toarray()
Out[139]:
array([[1, 1, 1, 0, 0, 0, 0, 1, 1, 1, 2, 1, 0],
       [1, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0],
       [1, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 1],
       [1, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 1, 1]])

2. TfidfTransformer是統(tǒng)計(jì)CountVectorizer中每個(gè)詞語的tf-idf權(quán)值

In [142]: transformer = TfidfTransformer()

In [143]: tfidf_matrix = transformer.fit_transform(count)

In [144]: tfidf_matrix.toarray()
Out[144]:
array([[0.17311114, 0.33173127, 0.21173977, 0.        , 0.        ,
        0.        , 0.        , 0.33173127, 0.33173127, 0.33173127,
        0.66346254, 0.21173977, 0.        ],
       [0.3612126 , 0.        , 0.44181486, 0.        , 0.        ,
        0.        , 0.69218835, 0.        , 0.        , 0.        ,
        0.        , 0.44181486, 0.        ],
       [0.30675807, 0.        , 0.        , 0.58783765, 0.        ,
        0.58783765, 0.        , 0.        , 0.        , 0.        ,
        0.        , 0.        , 0.46345796],
       [0.31707032, 0.        , 0.38782252, 0.        , 0.60759891,
        0.        , 0.        , 0.        , 0.        , 0.        ,
        0.        , 0.38782252, 0.47903796]])

方法二：使用TfidfVectorizer

TfidfVectorizer可以把CountVectorizer, TfidfTransformer合并起來，直接生成tfidf值
TfidfVectorizer的關(guān)鍵參數(shù)：

  • max_df：這個(gè)給定特征可以應(yīng)用在 tf-idf 矩陣中，用以描述單詞在文檔中的最高出現(xiàn)率。假設(shè)一個(gè)詞（term）在 80% 的文檔中都出現(xiàn)過了，那它也許（在劇情簡介的語境里）只攜帶非常少信息。
  • min_df：可以是一個(gè)整數(shù)（例如5）。意味著單詞必須在 5 個(gè)以上的文檔中出現(xiàn)才會(huì)被納入考慮。設(shè)置為 0.2；即單詞至少在 20% 的文檔中出現(xiàn) 。
  • ngram_range：這個(gè)參數(shù)將用來觀察一元模型（unigrams），二元模型（ bigrams） 和三元模型（trigrams）。參考n元模型（n-grams）。
In [146]: tfidf_vec = TfidfVectorizer(token_pattern=r"(?u)\b\w+\b")
In [147]: tfidf_matrix = tfidf_vec.fit_transform(ws_sk)

In [148]: tfidf_vec.get_feature_names()
Out[148]: ['吃', '和', '喜歡', '喜愛', '小丁', '小乙', '小甲', '尤其', '我', '是', '桃子', '蘋果', '西瓜']

In [149]: tfidf_vec.vocabulary_
Out[149]:
{'我': 8,
 '喜歡': 2,
 '吃': 0,
 '蘋果': 11,
 '和': 1,
 '桃子': 10,
 '尤其': 7,
 '是': 9,
 '小甲': 6,
 '小乙': 5,
 '喜愛': 3,
 '西瓜': 12,
 '小丁': 4}

In [150]: tfidf_matrix.toarray()
Out[150]:
array([[0.17311114, 0.33173127, 0.21173977, 0.        , 0.        ,
        0.        , 0.        , 0.33173127, 0.33173127, 0.33173127,
        0.66346254, 0.21173977, 0.        ],
       [0.3612126 , 0.        , 0.44181486, 0.        , 0.        ,
        0.        , 0.69218835, 0.        , 0.        , 0.        ,
        0.        , 0.44181486, 0.        ],
       [0.30675807, 0.        , 0.        , 0.58783765, 0.        ,
        0.58783765, 0.        , 0.        , 0.        , 0.        ,
        0.        , 0.        , 0.46345796],
       [0.31707032, 0.        , 0.38782252, 0.        , 0.60759891,
        0.        , 0.        , 0.        , 0.        , 0.        ,
        0.        , 0.38782252, 0.47903796]])

2. 使用gensim計(jì)算tfidf

from gensim import corpora, models, similarities

In [151]: dictionary = corpora.Dictionary(ws)  # 建立詞典

In [152]: dictionary.token2id
Out[152]:
{'吃': 0,
 '和': 1,
 '喜歡': 2,
 '尤其': 3,
 '我': 4,
 '是': 5,
 '桃子': 6,
 '蘋果': 7,
 '小甲': 8,
 '喜愛': 9,
 '小乙': 10,
 '西瓜': 11,
 '小丁': 12}

In [153]: corpus = [dictionary.doc2bow(doc) for doc in ws]

In [154]: corpus
Out[154]:
[[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1), (5, 1), (6, 2), (7, 1)],
 [(0, 1), (2, 1), (7, 1), (8, 1)],
 [(0, 1), (9, 1), (10, 1), (11, 1)],
 [(0, 1), (2, 1), (7, 1), (11, 1), (12, 1)]]

In [155]: tfidf_model = models.TfidfModel(corpus)
In [156]: tfidf_matrix_gensim = tfidf_model[corpus]  # 得到語料的tfidf值
In [157]: tfidf_matrix_gensim[0]  # 第一條語料的tfidf值
Out[157]:
[(1, 0.35166544195065214),
 (2, 0.07297717280499402),
 (3, 0.35166544195065214),
 (4, 0.35166544195065214),
 (5, 0.35166544195065214),
 (6, 0.7033308839013043),
 (7, 0.07297717280499402)]

# 計(jì)算與新數(shù)據(jù)的相似度
In [158]: index = similarities.SparseMatrixSimilarity(tfidf_model [corpus], num_features=len(dictionary.keys()))

In [159]: text_new = '小明喜歡吃蘋果'  # 一條新數(shù)據(jù)
In [160]: ws_new = jieba.lcut(text_new)
In [161]: ws_new
Out[161]: ['小明', '喜歡', '吃', '蘋果']
In [162]: ws
Out[162]:
[['我', '喜歡', '吃', '蘋果', '和', '桃子', '尤其', '是', '桃子'],
 ['小甲', '喜歡', '吃', '蘋果'],
 ['小乙', '喜愛', '吃', '西瓜'],
 ['小丁', '喜歡', '吃', '蘋果', '西瓜']]

In [163]: vec_new = dictionary.doc2bow(ws_new)
In [164]: vec_new
Out[164]: [(0, 1), (2, 1), (7, 1)]
In [165]: index[tfidf_model[vec_new]]
Out[166]: array([0.1032053 , 0.28159946, 0.        , 0.2538916 ], dtype=float32)  # 與第二條相似度最高，最后一條次高，結(jié)果還是比較合理的

3. 對(duì)比sklearn和gensim的計(jì)算結(jié)果

回顧下sklean和gensim各自生成的詞表

In [163]: tfidf_vec.vocabulary_  # sklean
Out[163]:
{'我': 8,
 '喜歡': 2,
 '吃': 0,
 '蘋果': 11,
 '和': 1,
 '桃子': 10,
 '尤其': 7,
 '是': 9,
 '小甲': 6,
 '小乙': 5,
 '喜愛': 3,
 '西瓜': 12,
 '小丁': 4}

In [164]: dictionary.token2id  # gensim
Out[164]:
{'吃': 0,
 '和': 1,
 '喜歡': 2,
 '尤其': 3,
 '我': 4,
 '是': 5,
 '桃子': 6,
 '蘋果': 7,
 '小甲': 8,
 '喜愛': 9,
 '小乙': 10,
 '西瓜': 11,
 '小丁': 12}

第一條數(shù)據(jù)我 喜歡 吃 蘋果 和 桃子 尤其 是 桃子

In [158]: list(tfidf_matrix.toarray()[0])  # sklearn的結(jié)果
Out[158]:
[
0.1731111372459707,  # 吃
 0.3317312678886485,  # 和
 0.21173977118307816,  # 喜歡
 0.0,  # 喜愛
 0.0,  # 小丁
 0.0,  # 小乙
 0.0,  # 小甲
 0.3317312678886485,  # 尤其
 0.3317312678886485,  # 我
 0.3317312678886485,  # 是
 0.663462535777297,  # 桃子
 0.21173977118307816,  # 蘋果
 0.0  # 西瓜
]

In [159]: tfidf_matrix_gensim[0]  # gensim的結(jié)果
Out[159]:
[
(1, 0.35166544195065214),  # 和
 (2, 0.07297717280499402),  # 喜歡
 (3, 0.35166544195065214),  # 尤其
 (4, 0.35166544195065214),  # 我
 (5, 0.35166544195065214),  # 是
 (6, 0.7033308839013043),  # 桃子
 (7, 0.07297717280499402)  # 蘋果
]

簡單觀察，發(fā)現(xiàn)gensim對(duì)重要token計(jì)算出的tfidf值偏大，對(duì)次要token計(jì)算出的tfidf偏小，區(qū)分度更大

參考：

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容