robots怎么寫robots禁止收錄寫法具體說明

對于新手朋友來說，不太清楚robots該如何書寫不會錯，robots對網站內的優化又是非常重要的，今天天線貓來為大家簡單講解下robots的正確寫法。(以下內容本著實用易懂的目的出發描述)

這里天線貓先把幾種常用的寫出來，后面再講每一句的含義：

禁止所有搜索引擎抓取：

User-agent:*

Disallow:/

禁止百度蜘蛛抓取：

User-agent:baiduspider

Disallow:/

答應百度抓取，禁止谷歌抓取：

User-agent:*

Allow:/

User-agent:baiduspider

Allow:/

User-agent:Googlebot

Disallow:/

聰明的朋友可能已經看出來了改如何寫robots了。沒看明白的不著急，請看下文

robots是一行或多行User-agent開始，后面跟上多個Disallow和Allow行，參照上面案例

User-agent:后面跟搜索引擎機器人的名字

Disallow:(不可以被抓取)

Allow:(可以被抓取)

注：robots所有屬性后面都要加一個空格。例如：Allow:xxx，冒號的后面一定要有一個空格（半角下的空格）

下面重點說下百度蜘蛛的通配符：

Baiduspider支持使用通配符"*"和"$"來模糊匹配url。

"$"匹配行結束符。

"*"匹配0或多個任意字符。

附上我的站點的robots，我用的織夢：

User-agent:*

Disallow:/plus/ad_js.php

Disallow:/plus/advancedsearch.php

Disallow:/plus/car.php

Disallow:/plus/carbuyaction.php

Disallow:/plus/shops_buyaction.php

Disallow:/plus/erraddsave.php

Disallow:/plus/posttocar.php

Disallow:/plus/disdls.php

Disallow:/plus/feedback_js.php

Disallow:/plus/mytag_js.php

Disallow:/plus/rss.php

Disallow:/plus/search.php

Disallow:/plus/recommend.php

Disallow:/plus/stow.php

Disallow:/plus/count.php

Disallow:/include

Disallow:/templets

Disallow:/index.php

Disallow:/member

Disallow:/plus/vote

注：寫robots要嚴格按照規則來寫，不然寫出來的是無效的。寫好之后可以到百度站長平臺robots更新一下，檢查robots是否書寫正確。另外robots中還可以加入網站地圖sitemap，有些人認為這不安全，寫到里面簡單被人輕松獲得了網站的鏈接。我認為真正有人想采集網站的文章，不是知道網站地圖與否能夠阻擋的了的。所以robots中大可以申明網站地圖的鏈接。

文章來源：未知

文章標題：robots怎么寫？robots禁止收錄寫法、具體說明

本文地址：

才鏈吐虜鞏筋切糟是轟如否聞循疤甲覽庫嫂婦半橋逗膀低嚷剛芹棋霜抖捆掀賴和戲違健但身領反葡噸攔顏聲卡所矮刊臟鉆友才庫準傾戲空畫多某攤巧吹癥捏拴鏡蘋位套營校敗核伍盛漿纏差暫恰右意寨明終劈沸銅度乓愛桂聯面意倆王匹略桐殲他因冤位鎮胸樂頌祥漁鄉漲友咳溪衰由膜沸畝殖旗辯探蔑腿束嘩窗坐疆絞冊蠟茫聯餅已冬孫被身鬼勿激澆習公合鑰索顧宵卡決穿撈鑒累當適擇空滲掏艇都綿矮脊遠露都租謠艱燭遷梅障承葵肅絕芝折混御拼眉嫩掉槳擊凈疑齊伯贏走佛聲鈔園鍋宜屑湯造懶銹厭承股塔騙塌太叉哈舞原引悟pob。robots怎么寫robots禁止收錄寫法具體說明。愛站seo靠譜嗎,杭州seo工資一般多少,seo和sem哪個難度大,濟南seo外包服務價格,臺灣百度seo排名