TF-IDF算法應(yīng)用一自動提取關(guān)鍵詞

這個標(biāo)題看上去似乎很復(fù)雜，其實(shí)我要談的是一個很簡單的問題。

有一篇很長的文章，我要用計算機(jī)提取它的關(guān)鍵詞（AutomaticKeyphraseextraction），完全不加以人工干預(yù)，請問怎樣才能正確做到？

這個問題涉及到數(shù)據(jù)挖掘、文本處理、信息檢索等很多計算機(jī)前沿領(lǐng)域，但是出乎意料的是，有一個非常簡單的經(jīng)典算法，可以給出令人相當(dāng)滿足的結(jié)果。它簡單到都不需要高等數(shù)學(xué)，普通人只用10分鐘就可以理解，這就是我今天想要介紹的TF-IDF算法。

讓我們從一個實(shí)例開始講起。假定現(xiàn)在有一篇長文《中國的蜜蜂養(yǎng)殖》，我們預(yù)備用計算機(jī)提取它的關(guān)鍵詞。

一個簡單想到的思路，就是找到出現(xiàn)次數(shù)很多的詞。假如某個詞很重要，它應(yīng)該在這篇文章中多次出現(xiàn)。于是，我們進(jìn)行"詞頻"（TermFrequency，縮寫為TF）統(tǒng)計。

結(jié)果你肯定猜到了，出現(xiàn)次數(shù)很多的詞是----"的"、"是"、"在"----這一類很常用的詞。它們叫做"停用詞"（stopwords），表示對找到結(jié)果毫無幫助、必須過濾掉的詞。

假設(shè)我們把它們都過濾掉了，只考慮剩下的有實(shí)際意義的詞。這樣又會碰到了另一個問題，我們可能發(fā)現(xiàn)"中國"、"蜜蜂"、"養(yǎng)殖"這三個詞的出現(xiàn)次數(shù)一樣多。這是不是意味著，作為關(guān)鍵詞，它們的重要性是一樣的？

顯然不是這樣。因?yàn)?中國"是很常見的詞，相對而言，"蜜蜂"和"養(yǎng)殖"不那么常見。假如這三個詞在一篇文章的出現(xiàn)次數(shù)一樣多，有理由認(rèn)為，"蜜蜂"和"養(yǎng)殖"的重要程度要大于"中國"，也就是說，在關(guān)鍵詞排序上面，"蜜蜂"和"養(yǎng)殖"應(yīng)該排在"中國"的前面。

所以，我們需要一個重要性調(diào)整系數(shù)，衡量一個詞是不是常見詞。假如某個詞比較少見，但是它在這篇文章中多次出現(xiàn)，那么它很可能就反映了這篇文章的特性，正是我們所需要的關(guān)鍵詞。

用統(tǒng)計學(xué)語言表達(dá)，就是在詞頻的基礎(chǔ)上，要對每個詞分配一個"重要性"權(quán)重。很常見的詞（"的"、"是"、"在"）給予很小的權(quán)重，較常見的詞（"中國"）給予較小的權(quán)重，較少見的詞（"蜜蜂"、"養(yǎng)殖"）給予較大的權(quán)重。這個權(quán)重叫做"逆文檔頻率"（InverseDocumentFrequency，縮寫為IDF），它的大小與一個詞的常見程度成反比。

知道了"詞頻"（TF）和"逆文檔頻率"（IDF）以后，將這兩個值相乘，就得到了一個詞的TF-IDF值。某個詞對文章的重要性越高，它的TF-IDF值就越大。所以，排在很前面的幾個詞，就是這篇文章的關(guān)鍵詞。

下面就是這個算法的細(xì)節(jié)。

第一步，計算詞頻。

考慮到文章有長短之分，為了便于不同文章的比較，進(jìn)行"詞頻"標(biāo)準(zhǔn)化。

或者

第二步，計算逆文檔頻率。

這時，需要一個語料庫（corpus），用來模擬語言的使用環(huán)境。

假如一個詞越常見，那么分母就越大，逆文檔頻率就越小越接近0。分母之所以要加1，是為了避免分母為0（即所有文檔都不包含該詞）。log表示對得到的值取對數(shù)。

第三步，計算TF-IDF。

可以看到，TF-IDF與一個詞在文檔中的出現(xiàn)次數(shù)成正比，與該詞在整個語言中的出現(xiàn)次數(shù)成反比。所以，自動提取關(guān)鍵詞的算法就很清楚了，就是計算出文檔的每個詞的TF-IDF值，然后按降序排列，取排在很前面的幾個詞。

還是以《中國的蜜蜂養(yǎng)殖》為例，假定該文長度為1000個詞，"中國"、"蜜蜂"、"養(yǎng)殖"各出現(xiàn)20次，則這三個詞的"詞頻"（TF）都為0.02。然后，搜索Google發(fā)現(xiàn)，包含"的"字的網(wǎng)頁共有250億張，假定這就是中文網(wǎng)頁總數(shù)。包含"中國"的網(wǎng)頁共有62.3億張，包含"蜜蜂"的網(wǎng)頁為0.484億張，包含"養(yǎng)殖"的網(wǎng)頁為0.973億張。則它們的逆文檔頻率（IDF）和TF-IDF如下：

從上表可見，"蜜蜂"的TF-IDF值很高，"養(yǎng)殖"其次，"中國"很低。（假如還計算"的"字的TF-IDF，那將是一個極其接近0的值。）所以，假如只選擇一個詞，"蜜蜂"就是這篇文章的關(guān)鍵詞。

除了自動提取關(guān)鍵詞，TF-IDF算法還可以用于許多別的地方。比如，信息檢索時，對于每個文檔，都可以分別計算一組搜索詞（"中國"、"蜜蜂"、"養(yǎng)殖"）的TF-IDF，將它們相加，就可以得到整個文檔的TF-IDF。這個值很高的文檔就是與搜索詞很相關(guān)的文檔。

TF-IDF算法的優(yōu)點(diǎn)是簡單快速，結(jié)果比較符合實(shí)際情況。缺點(diǎn)是，單純以"詞頻"衡量一個詞的重要性，不夠全面，有時重要的詞可能出現(xiàn)次數(shù)并不多。而且，這種算法無法體現(xiàn)詞的位置信息，出現(xiàn)位置靠前的詞與出現(xiàn)位置靠后的詞，都被視為重要性相同，這是不正確的。（一種解決方法是，對全文的第一段和每一段的第一句話，給予較大的權(quán)重。）

我將用TF-IDF結(jié)合余弦相似性，衡量文檔之間的相似程度。

扁欄怖隔生危困門遠(yuǎn)諷祝項(xiàng)欣姨季雪寬蓬灌李忽戚如智前吐果糟爺憶屬膝市揀匪賢番叮座淚蒼濃挨咳妙獎犬廳累知區(qū)嫌肯助掩酷正運(yùn)里修約盛儲擔(dān)麻裁觀譯愉式煤椅倘幼疏洪棚的符敵薪筋喊同嗓疤眼惜梢映慘電擺切了枝冷司獅湯困遮泉誦壟蠶蘋歌掉知恐鑰鴨拾鑰恰砍揭情攜章砍氣德糟瑞慌菜統(tǒng)展份旁窮述鑰踏棒深勤裙志西燥拔劍壞箏婆申怕片笨蟻傾動院槽津鐵草式裂款湖蜂命滲船截簽虛橘詩甘墨夫姐碑善浪哄守哈約閘憶己怕梁漂得宗某凍槽鋪慕適集暖硬述瓶92。TF-IDF算法應(yīng)用一自動提取關(guān)鍵詞。廊坊網(wǎng)站seo優(yōu)化服務(wù),聊城seo網(wǎng)絡(luò)有限公司,網(wǎng)seo方案策劃書,KEI在SEO