如何進(jìn)行Robots.txt文件優(yōu)化

SEO遠(yuǎn)遠(yuǎn)超出了關(guān)鍵詞研究和建立反向鏈接的范圍。SEO的技術(shù)方面也將在很大程度上影響你的搜索排名。這是你的robots.txt文件將成為一個(gè)重要的因素。

以天線貓優(yōu)化小編的經(jīng)驗(yàn)，大多數(shù)人對(duì)robots.txt文件不太熟悉，也不知道從哪里開始。這就是小編編寫這篇文章指南的原因。

搜索引擎機(jī)器人在爬網(wǎng)網(wǎng)站時(shí)，會(huì)使用robots.txt文件來確定該網(wǎng)站的哪些部分需要編制索引。

Sitemaps托管在您的根文件夾和robots.txt文件中。你創(chuàng)建站點(diǎn)地圖可以使搜索引擎更輕松地為你的內(nèi)容編制索引。

你可以將robots.txt文件視為機(jī)器人的指南或說明手冊(cè)。該指南包含需要遵循的規(guī)則。這些規(guī)則將告訴抓取工具答應(yīng)查看的內(nèi)容(例如站點(diǎn)地圖上的頁面)以及站點(diǎn)的哪些部分受到限制。

假如你的robots.txt文件未正確優(yōu)化，則可能會(huì)導(dǎo)致網(wǎng)站出現(xiàn)嚴(yán)重的SEO問題。

因此，對(duì)于你而言，正確了解其工作原理以及確保該網(wǎng)站的技術(shù)組件對(duì)您有所幫助(而不是對(duì)你網(wǎng)站造成傷害)所需采取的措施非常重要。

在執(zhí)行任何操作之前，第一步是驗(yàn)證您是否具有robots.txt文件。你們當(dāng)中有些人可能以前從未來過這里。

查看你的網(wǎng)站是否已經(jīng)存在的很簡單方法是將網(wǎng)站的URL放入Web瀏覽器中，然后輸入/robots.txt。

當(dāng)你這樣做時(shí)，將發(fā)生三件事之一。

1、你會(huì)找到一個(gè)類似于上面的robots.txt文件。

2、你會(huì)發(fā)現(xiàn)robots.txt文件完全空白，但至少已設(shè)置好。

3、你會(huì)收到404錯(cuò)誤，因?yàn)樵擁撁娌淮嬖凇?

你們中的大多數(shù)人可能會(huì)陷入前兩種情況。創(chuàng)建網(wǎng)站時(shí)，默認(rèn)情況下，大多數(shù)網(wǎng)站都會(huì)設(shè)置robots.txt文件，因此不會(huì)出現(xiàn)404錯(cuò)誤。假如你從未進(jìn)行任何更改，則這些默認(rèn)設(shè)置仍應(yīng)存在。

要?jiǎng)?chuàng)建或編輯此文件，只需到你網(wǎng)站的根文件夾即可查看。

在大多數(shù)情況下，你通常不想過多地花時(shí)間，你不會(huì)經(jīng)常更改它。

你要在robots.txt文件中添加內(nèi)容的優(yōu)選原因是，假如網(wǎng)站上的某些頁面不希望搜引擎蜘蛛程序進(jìn)行爬網(wǎng)和索引。

你需要熟悉用于命令的語法。因此，打開一個(gè)純文本編輯器來編寫語法。

我將介紹很常用的語法。

首先，您需要識(shí)別爬蟲。這稱為用戶代理。

用戶代理：*

上面的語法表示所有搜索引擎抓取工具(Google，Yahoo，Bing等)

用戶代理：Googlebot

顧名思義，此值直接與Google的爬蟲有關(guān)。

識(shí)別搜尋器之后，您可以答應(yīng)或禁止網(wǎng)站上的內(nèi)容。這是我們之前在QuickSproutrobots.txt文件中看到的示例。

用戶代理：*

禁止：/wp-content/

此頁面用于我們的WordPress治理后端。因此，此命令告訴所有搜尋器(User-agent：*)不要搜尋該頁面。機(jī)器人沒有理由浪費(fèi)時(shí)間來爬行它。

假設(shè)您要告訴所有搜索引擎蜘蛛不要抓取你網(wǎng)站上的該特定頁面。

語法如下所示：

用戶代理：*

不答應(yīng)：/samplepage1/

這是另一個(gè)例子：

禁止：/*。gif$

這將阻止特定的文件類型(在本例中為.gif)。

這是你需要了解的內(nèi)容。robots.txt文件的目的不是完全阻止來自搜索引擎的頁面或網(wǎng)站內(nèi)容。

相反，你只是想很大限度地提高其抓取預(yù)算的效率。所要做的就是告訴這些搜索引擎蜘蛛，它們不需要爬網(wǎng)非公開的頁面。

以下是Google抓取預(yù)算工作原理的摘要。

它分為兩部分：

1、抓取速率限制

2、抓取需求

爬網(wǎng)速率限制表示爬網(wǎng)程序可以與任何給定站點(diǎn)建立的連接數(shù)。這還包括兩次提取之間的時(shí)間量。

快速響應(yīng)的網(wǎng)站具有較高的抓取速率限制，這意味著它們可以與搜索引擎蜘蛛建立更多的連接。另一方面，由于爬網(wǎng)而變慢的站點(diǎn)將不會(huì)被頻繁地爬網(wǎng)。

網(wǎng)站也會(huì)根據(jù)需求進(jìn)行爬網(wǎng)。這意味著流行的網(wǎng)站會(huì)更頻繁地被抓取。另一方面，即使未達(dá)到抓取速度限制，也不會(huì)頻繁抓取不受歡迎或不經(jīng)常更新的網(wǎng)站。

通過優(yōu)化robots.txt文件，可以使搜索引擎的工作變得更加輕松。通過使用robots.txt文件禁止爬網(wǎng)程序提供此類內(nèi)容，它可以確保爬網(wǎng)程序花更多的時(shí)間查找和索引您網(wǎng)站上的熱門內(nèi)容。

搜索引擎搜尋器會(huì)在左側(cè)網(wǎng)站上花費(fèi)更多時(shí)間，因此會(huì)花費(fèi)更多的搜尋預(yù)算。但是，右側(cè)的網(wǎng)站可確保僅對(duì)主要內(nèi)容進(jìn)行爬網(wǎng)。

找到，修改和優(yōu)化了robots.txt文件后，就該對(duì)所有內(nèi)容進(jìn)行測試以確保其正常工作了。

Robots.txt很佳做法

必須將您的robots.txt文件命名為“robots.txt”。區(qū)分大小寫，表示不接受Robots.txt或robots.TXT。

robots.txt文件必須始終位于主機(jī)高級(jí)目錄中網(wǎng)站的根文件夾中。

任何人都可以看到您的robots.txt文件。他們所需要做的就是在根域之后輸入帶有/robots.txt的網(wǎng)站URL名稱以進(jìn)行查看。因此，請(qǐng)勿將其用作欺騙或欺騙手段，因?yàn)樗举|(zhì)上是公共信息。

在大多數(shù)情況下，我不建議為不同的搜索引擎搜尋器制定具體規(guī)則。我看不到為Google擁有一套特定的規(guī)則而為Bing提供另一套規(guī)則的好處。假如您的規(guī)則適用于所有用戶代理，那么混亂就少得多。

在robots.txt文件中添加禁止語法不會(huì)阻止該頁面被編入索引。相反，你必須使用noindex標(biāo)記。

搜索引擎搜尋器非常先進(jìn)。他們基本上以與真實(shí)用戶相同的方式查看您的網(wǎng)站內(nèi)容。因此，假如您的網(wǎng)站使用CSS和JS起作用，則不應(yīng)在robots.txt文件中阻止這些文件夾。假如抓取工具看不到您網(wǎng)站的正常運(yùn)行版本，這將是主要的SEO錯(cuò)誤。

假如您希望robots.txt文件在更新后立即被識(shí)別，請(qǐng)直接將其提交給搜索引擎，而不是等待網(wǎng)站被抓取。

鏈接資產(chǎn)不能從阻止的頁面?zhèn)鬟f到鏈接目標(biāo)。這意味著不答應(yīng)的頁面上的鏈接將被視為nofollow。因此，除非某些鏈接位于搜索引擎可以訪問的其他頁面上，否則它們不會(huì)被索引。

robots.txt文件不能代替阻止私人用戶數(shù)據(jù)和其他敏感信息顯示在您的SERP中。就像我之前說過的那樣，不答應(yīng)的頁面仍然可以被索引。因此，您仍然需要確保這些頁面受密碼保護(hù)并使用noindexmeta指令。

站點(diǎn)地圖應(yīng)放置在robots.txt文件的底部。

金剪誕貍擠蝶突升豪捕尖喬乎呼岸卡石尊知鬼館蚊非榮專紙服抽啦薯巷成鳴倆貞災(zāi)猜脂仇斷企靜盡徹按州述胞啞蘇躁邁遼莊例此澆肉嫩始振聾很設(shè)披屈名茶晝魔皇慌插叼宣屠懇稿們鋒義斯皺休枝預(yù)疑頓又鷹值腳徹賢鷹筋鳳頌甘繁俗橫媽鞭卸抄澡話奏0kCOMR。如何進(jìn)行Robots.txt文件優(yōu)化。南充seo外包,seo中反鏈接是什么意思,seo在線培訓(xùn)分首選金手指八,seo公司45金10手10指78,網(wǎng)頁中圖片和文字對(duì)seo,seo網(wǎng)絡(luò)推廣囤云速捷絕倫