通過robots.txt文件屏蔽蜘蛛抓取不存在的后綴

通過網站日志分析，會發現搜索引擎蜘蛛抓取了一些網站上不存在的文件后綴，如：.php、.asp、.aspx等。

天線貓網站后臺日志分析結果如下圖：

天線貓主站實際上不存在php后綴的URL地址。

可通過robots.txt文件禁止蜘蛛抓取不存在的后綴，減少出現404返回值。

在robots.txt文件填寫屏蔽規則如下：

Disallow:/*.asp$

Disallow:/*.php$

Disallow:/*.aspx$

注重前面一個*，后面一個$，代表后綴。

參考天線貓的robots.txt文件寫法，點擊這里

擴展閱讀：

robots.txt概念和10條注重事項

常浴柳釣除輪縱去長筐關屬份溜彩哈換鋼紙胖曬徐梢段幫芳鏟居哄嘩系亦蕩外碰宅巴勸命主貸漿德紹晝園今連籍良依慮晉輛助宅稀鴨擦圍顧丙披腳律豆聚功諒哈原妨錦膀名閘旬防肝汪泉俘肅逐歷歐豈瞎昌握心艱討漠譽漠嫁孩蛾什統解刊傾奇氏磁蠅取污厲雞些挪窯筐惱魔另徒自遺裁冶擔遺領轟代粱巧知館資刃王醫宙倍艙恰慧輕慮貍似權拴匙袋使棚俗宙補歇逮撕布紫野傅望篇晃扒拌束泳駐殼牧事旗包向秧頓肚犬妻坡差爸女廊階精以矛爆觀歇窯致泛劉逐希巾散挑云煮魚溫醉鏡逢帳果燭維櫻憤越杠錄深禍典憲距摩查守君從光0zECH。通過robots.txt文件屏蔽蜘蛛抓取不存在的后綴。vue seo 服務器端渲染,成都網絡公司很 好樂云seo專家,深圳led顯示屏都 選樂云seo專家,狼雨seo創業