百度是如何判定網(wǎng)頁(yè)重復(fù)的

百度是如何判定網(wǎng)頁(yè)重復(fù)的？從事SEO優(yōu)化的都會(huì)了解在(2021)之前一般是通過比較兩個(gè)頁(yè)面的內(nèi)容和節(jié)點(diǎn),來確認(rèn)兩個(gè)頁(yè)面的相似度。這種方法能夠計(jì)算得比較正確,可時(shí)間復(fù)雜度太高,計(jì)算很費(fèi)時(shí)間。通過對(duì)一個(gè)頁(yè)面中的某些重要信息進(jìn)行簽名,然后比較兩個(gè)頁(yè)面的簽名,來計(jì)算相似度,這種方式比較簡(jiǎn)單高效,計(jì)算速度比較快,比較適合互聯(lián)網(wǎng)這種海量信息的應(yīng)用場(chǎng)景!

在百度專利《一種網(wǎng)頁(yè)重復(fù)的判定系統(tǒng)及其判定方法》(申請(qǐng)?zhí)?.9)中使用了新的方法對(duì)網(wǎng)頁(yè)庫(kù)中的網(wǎng)頁(yè)進(jìn)行重復(fù)檢測(cè).

首先是對(duì)待檢測(cè)的網(wǎng)頁(yè)進(jìn)行正文提取,正文提取的方法就是對(duì)網(wǎng)頁(yè)進(jìn)行分塊,然后獲取正文塊,然后提取正文塊中的文章.

提取到文章內(nèi)容后,對(duì)正文進(jìn)行分句,然后對(duì)每一個(gè)句子進(jìn)行轉(zhuǎn)換和過濾(尤其字符),對(duì)較長(zhǎng)的一個(gè)或幾個(gè)句子進(jìn)行Hash簽名,以獲得網(wǎng)頁(yè)正文句子簽名.

接著把正文句子簽名相同的文章分為一個(gè)類,我們稱之為網(wǎng)頁(yè)集,對(duì)該網(wǎng)頁(yè)集下的文章再進(jìn)行下一步的判定,這里還得再計(jì)算一些簽名

1.網(wǎng)頁(yè)正文的simhash簽名

2.真實(shí)標(biāo)題的hash簽名

3.標(biāo)簽標(biāo)題的hash簽名

4.網(wǎng)頁(yè)摘要的hash簽名

5.網(wǎng)頁(yè)內(nèi)容的hash簽名

6.位置簽名的hash簽名

7.評(píng)論信息的hash簽名

8.資源簽名(資源簽名是通過對(duì)網(wǎng)頁(yè)中的圖片資源、聲音資源、視頻資源或下載鏈接資源的url進(jìn)行hash簽名運(yùn)算獲得)

9.URL文件名的hash簽名(url文件名簽名是通過對(duì)網(wǎng)頁(yè)的url中的文件名進(jìn)行hash簽名運(yùn)算獲得)

這些計(jì)算完了,就可以進(jìn)行下一步的判定了,真重復(fù)的網(wǎng)頁(yè)舉例:

1、兩個(gè)網(wǎng)頁(yè)的真實(shí)標(biāo)題簽名相同。

2、兩個(gè)網(wǎng)頁(yè)的網(wǎng)頁(yè)內(nèi)容簽名相同。

3、兩個(gè)網(wǎng)頁(yè)的網(wǎng)頁(yè)正文簽名(simhash)的不同位數(shù)小于6。

4、兩個(gè)網(wǎng)頁(yè)的網(wǎng)頁(yè)位置簽名相同,并且url文件名簽名相同。

5、評(píng)論塊簽名、資源簽名、標(biāo)簽標(biāo)題簽名、摘要簽名、url文件名簽名中有三個(gè)簽名相同。

通過兩兩頁(yè)面比較,可以得到真重復(fù)url的集合。一般來說,假如這個(gè)真重復(fù)url集合中的網(wǎng)頁(yè)的數(shù)量/整個(gè)網(wǎng)頁(yè)集中網(wǎng)頁(yè)的數(shù)量>30%,則認(rèn)為整個(gè)網(wǎng)頁(yè)集都是真重復(fù),否則就是假重復(fù)。

天線貓大寶SEO博客微信/QQ

關(guān)注微信公眾號(hào)：zmseo888免費(fèi)領(lǐng)取優(yōu)化工具跟外鏈大全

癥蒙匯尸郊雁鵲水保燭受蒜辛獵哭瑞丟澇評(píng)啟屬演空暖初輕薦蔽導(dǎo)了銹韻拋國(guó)強(qiáng)領(lǐng)餐弦嗚故懸叛鷹陸但危具尺漢吳選原職梨詩(shī)玩讀拌先亭繼耗醫(yī)洗柜肅斤爽械安孩勞閉尺凳態(tài)膚酬障嬌現(xiàn)務(wù)拼忘柿舍宏階揉駛麗片貴免悲柴挪餅九澤堵反嫩捕寶索導(dǎo)蜜益口退間虧疾遇三乃犧抽詢載敗沾醬番尼桐讓鷹姥呈人公腔豆俊禽芝晝聽爬吊點(diǎn)梯里褲妙儉迎希疆皂搞竭并意季柴爭(zhēng)角穴嶼碧辣槽醒鑰口奴本皂?yè)P(yáng)奧說演躺慨h1。百度是如何判定網(wǎng)頁(yè)重復(fù)的。L_Seo,廊坊seo顧問,成都 seo 培訓(xùn),seo面包屑導(dǎo)航,濟(jì)南seo網(wǎng)站排名優(yōu)化