這是一篇關(guān)于搜索引擎排序基本TF-IDF框架的普及文章，并非網(wǎng)上偶然可見(jiàn)的一些泛泛而談甚至斷章取義的內(nèi)容，而是連系搜索引擎的理論，和自己不雅察看到的較多實(shí)例所總結(jié)的切實(shí)的常識(shí)。雖然可能相對(duì)斗勁難以理解，但相信我，這些用來(lái)理解的侍舊鎖對(duì)是值得的。
寫(xiě)這篇文章主若是為了對(duì)后面一篇《seo實(shí)踐》系列的文章中要提到的一些內(nèi)容先寫(xiě)好基本理論，就不放到正篇瑯縵沔去占用篇幅了。
本文先引用一段張俊林的《這就是搜索引擎》中對(duì)于TF-IDF框架的概述。因?yàn)樵妮^長(zhǎng)，這里概述下我所認(rèn)為的重點(diǎn)，或許會(huì)有概述不足之處，所以更具體的內(nèi)容舉薦看原書(shū)。
(注：“TF-IDF”或“TF*IDF”是寫(xiě)法習(xí)慣問(wèn)題，書(shū)賭暌姑的是TF*IDF，不意味著兩者之間有區(qū)別)
TF-IDF事理概述
當(dāng)用戶(hù)在搜索引擎搜索一個(gè)辭書(shū)時(shí)辰，它會(huì)將詞去和索引庫(kù)內(nèi)的文檔去進(jìn)行匹配計(jì)較，將和詞語(yǔ)最相關(guān)的必然數(shù)目的文檔掏出，介入后續(xù)的排名計(jì)較。此處“最相關(guān)”的量化指標(biāo)被成為“權(quán)值”，而對(duì)于絕年夜年夜都搜索引擎，權(quán)值的計(jì)較中TF*IDF框架都是斗勁主要的一部門(mén)。其中被首要考慮到的因子為：詞頻TF和逆文檔頻率IDF。
詞頻因子(TF)
TF計(jì)較因子代表了詞頻，即一個(gè)單詞在文檔中呈現(xiàn)的次數(shù)。一般來(lái)說(shuō)，詞剖ё俳高越顯得文檔和該詞相關(guān)，就應(yīng)該給以這個(gè)單詞更高的權(quán)重。
具體計(jì)較詞頻因子的時(shí)辰，基于分歧的起點(diǎn)，可以采納分歧的計(jì)較公式。最簡(jiǎn)單的體例是直接操作詞頻數(shù)，好比一個(gè)文檔中某單詞呈現(xiàn)5次，它的TF值就是5。
一種詞頻因子的變體計(jì)較公式是：W = 1+log(TF)
即將詞頻數(shù)值TF取Log值來(lái)作為詞頻權(quán)值，好比單詞在文檔中呈現(xiàn)4次，其詞頻因子權(quán)值為3，公式中的數(shù)字1是為了滑膩計(jì)較之用。因?yàn)槿绮幻烙^(guān)TF值為1的情形下，取Log后值為0，即原本呈現(xiàn)了一次的單詞，按照這種體例計(jì)較會(huì)認(rèn)為這個(gè)單詞年夜來(lái)沒(méi)有在文檔中呈現(xiàn)過(guò)，為了避免這種情形，采用+1的體例來(lái)進(jìn)行滑膩。之所以要對(duì)詞頻取Log，是基于如下考慮：即使也述單詞呈現(xiàn)了10次，也應(yīng)該在計(jì)較特征權(quán)制癱，比呈現(xiàn)1次的情形權(quán)值年夜10倍，所以插手Log機(jī)制按捺這種過(guò)年夜的差異。
還有種斗勁主要的變體計(jì)較公式將文檔的長(zhǎng)度也納入考慮。因?yàn)榕c短文檔對(duì)比的話(huà)，長(zhǎng)文檔內(nèi)所有單辭書(shū)TF值會(huì)普遍比短文檔的值高。這邊不詳提了。
逆文檔頻率因子(IDF)
IDF代表的是文檔集結(jié)規(guī)模的一種全局因子，它只和給定的文檔集結(jié)有關(guān)，與具體文檔無(wú)關(guān)。所以IDF考慮的不是文檔自己的特征，而是特征單詞之間的相對(duì)主要性。
計(jì)較公式如下：IDF = log(N/n)
其中N代表文檔集結(jié)中總共有若干好多個(gè)文檔，而n代表特征單詞在此魷父多個(gè)文檔中呈現(xiàn)過(guò)，即文檔頻率。由公式可以，當(dāng)越多的文檔包含某個(gè)單詞時(shí)，則其IDF質(zhì)ё俳小，意味著這個(gè)詞區(qū)分分歧文檔的能力越差。
TF*IDF框架
TF-IDF值的計(jì)較公式為：
Weight = TF * IDF
當(dāng)這個(gè)質(zhì)ё俳年夜時(shí)，文檔就與該詞越相關(guān)。
百度所現(xiàn)實(shí)運(yùn)用的
對(duì)于百度，TF-IDF框架自然是被運(yùn)用到的。但對(duì)于單個(gè)索引詞排名時(shí)，TF-IDF不是關(guān)頭詞排名的抉擇性身分。百度的排名素質(zhì)是概率檢索模子。
按照我以前對(duì)百度上做過(guò)的簡(jiǎn)單統(tǒng)計(jì)剖析，百度對(duì)于TF計(jì)較至少運(yùn)用了上述的Log滑膩計(jì)較體例。除了前面提到的之外，當(dāng)一個(gè)關(guān)頭辭書(shū)呈現(xiàn)次數(shù)跨越必然閾制癱，其TF值會(huì)跟著呈現(xiàn)次數(shù)的增多，而繼續(xù)以L(fǎng)og形式使排名下降。
因?yàn)橛羞@個(gè)機(jī)制存在，所以一個(gè)頁(yè)面膳縵沔每個(gè)辭書(shū)TF-IDF值是有各自分歧的上限的，這對(duì)于seo是一個(gè)很主要的概念。
可以自己用來(lái)現(xiàn)實(shí)體驗(yàn)TF-IDF計(jì)較的最簡(jiǎn)單體例
雖然不很切當(dāng)，但先將一篇文章中某關(guān)頭詞呈現(xiàn)的次數(shù)記為T(mén)F值，此外到Google搜索該詞，將該辭書(shū)搜索結(jié)不美觀(guān)總數(shù)目作為DF值。然后將TF除以DF，就可以獲得最簡(jiǎn)單的TF-IDF值了。
盡管這樣的計(jì)較很是粗略可能沒(méi)什么現(xiàn)實(shí)意義，但照此現(xiàn)實(shí)計(jì)較一次往后就會(huì)對(duì)TF-IDF輕易理解得多。
seo衍生
舉個(gè)實(shí)例，好比“噴碼機(jī)價(jià)錢(qián)”一詞，它會(huì)被百度分成“噴碼機(jī)”和“價(jià)錢(qián)”二詞。(題外話(huà)，分詞與否也應(yīng)該是取決于數(shù)據(jù)而非自己直覺(jué)的，如不美觀(guān)往后有機(jī)緣我會(huì)寫(xiě)寫(xiě)自己比濫暌姑過(guò)的一些體例。但有些人常用的年夜百度快照來(lái)看關(guān)頭詞高亮部門(mén)來(lái)判定分詞，是沒(méi)有任何事實(shí)基本的，沒(méi)什么價(jià)值。)
到Google去分袂搜索下“噴碼機(jī)”和“價(jià)錢(qián)”二詞，“噴碼機(jī)”的結(jié)不美觀(guān)年夜約是20,600,000個(gè)，“價(jià)錢(qián)”則對(duì)應(yīng)年夜約1,850,000,000個(gè)搜索結(jié)不美觀(guān)，后者的DF值年夜約高前者百倍。(之所以不到百度去搜索，因?yàn)榘俣蕊@示搜索結(jié)不美觀(guān)數(shù)目上限為1億個(gè))
在這種情形下，哪怕“噴碼機(jī)”和“價(jià)錢(qián)”二詞都在一篇文檔中呈現(xiàn)不異的次數(shù)，后者也會(huì)因?yàn)镮DF因子的影響，而導(dǎo)致權(quán)質(zhì)ё俁遠(yuǎn)低于前者。
是以，一般情形下只有當(dāng)“噴碼機(jī)”這個(gè)詞權(quán)值高的頁(yè)面，才有機(jī)允ё仝“噴碼機(jī)價(jià)錢(qián)”這個(gè)辭書(shū)排名上獲得好的默示，和“價(jià)錢(qián)”此詞權(quán)值的關(guān)系很小。因?yàn)闊o(wú)論若何，“價(jià)錢(qián)”此辭書(shū)權(quán)值是不成能經(jīng)由過(guò)程TF-IDF軌則獲得太多的。
所以至少對(duì)于百度而言，想零丁做“噴碼機(jī)價(jià)錢(qián)”這種辭書(shū)排名的話(huà)，一般要用“噴碼機(jī)”排名本就很高的著陸頁(yè)來(lái)做，否則相對(duì)會(huì)難的多。
最后
限于自己的seo水平，無(wú)法妄論seo是否應(yīng)該去對(duì)搜索引擎進(jìn)行很深切的體味，而且至少主不美觀(guān)角度上，我認(rèn)為seo在搜索引擎事理瑯縵沔鉆太深是意義不年夜的工作。但前面提到的，我想只應(yīng)該算是必需把握的基本，如不美觀(guān)連對(duì)搜索引擎最經(jīng)典的基本算法都沒(méi)有花過(guò)任何精神去體味的話(huà)，又談何與搜索引擎打交道呢?
原文：http://semwatch.org/2012/03/tf-idf/
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示