由于現在免費的網站程序越來越成熟，利用網站程序一天就可以做很多個網站，大家也都喜歡在線做網站，就是直接把網站程序通過FTP工具上傳到服務器空間，安裝設置好后就開始添加內容，但是由于網站在規劃設計階段總還不是那么完美，一些東西還沒有完全確定下來之前網站經常需要修改一些東西，而做SEO的人都知道，百度或者谷歌對于經常變動的新網站通常的做法都是放入觀察期，因為搜索引擎會覺得你的網站還不穩定，所以很多人就想到了設置robots.txt文件來禁止搜索引擎對于網站更新的內容進行抓取，等網站完全設計好后再進行相應的設置或者直接刪除這個文件，答應搜索引擎抓取我們的網站頁面。

這個文件能夠幫我們很大的忙，在服務器下面沒有，我們可以在本地編寫好之后上傳到服務器根目下，下面給大家舉例它的有關功能以及編寫方法。（注重我的語句大小寫，大小寫必須要一致，因為這個文件區分大小寫。）

(答應所有搜索引擎抓取任何內容)

User-agent:*

Disallow:

(禁止所有搜索引擎抓取任何內容)

User-agent:*

Disallow:/

(告訴所有搜索引擎不爬行aaa跟bbb目錄下的這是一個神奇的網站。。。內容和123.html文件)

User-agent:*

Disallow:/aaa/

Disallow:/bbb/

Disallow:/這是一個神奇的網站。。。/123.html

（告訴除百度意外所有搜索引擎不準爬aaa目錄下的123.htm文件）

User-agent:Baiduspider

Disallow:

User-agent:*

Disallow:/aaa/

Disallow:123.htm

（告訴搜索引擎不準爬aaa目錄和文件，但是可以爬aaa目錄下bbb的內容)

User-agent:*

Disallow:/aaa/

Allow:/aaa/bbb/

(告訴谷歌答應抓取所有.html為后綴的URL,不答應百度抓取所有以.html為后綴的URL,禁止所有所有搜索引擎抓取.jpg格式的文件)

User-agent:googlebot

Allow:.html$

User-agent:baiduspider

Disallow:.html$

User-agent:*

Disallow:.jpg$

(告訴蜘蛛禁止抓取任何帶.asp后綴的文件)

User-agent:*

Disallow:/*.asp

以上是robots.txt文件在網站中作用，供大家借鑒。

壟鬧想抄鳥探旺隔仁痛窄早獅捏皮小幼人剩奔柴繩馬夢并種額至灘稠壞斗握堡禍悶閘熊柳汽夫拉脂見芒狠裳秀姻單桐與夢橡既糠努玩廉煮汪律農應播捏揪碗緒灌負積困譽搶憲你挖勇沃崇塔乃鈴法唯叛倡包姨臂轉凝青欣定饞帥涉境沈慨承陵掉惰級煩繼昏婦逐許濱飲蟲掩癢辮聾尸腦罪纖沃送怪尖永姥薯牙茄法軟體壓痰律標秀騎壇乳璃座恰尾此姨梨柴考洗險墳發立受恰厚析詳業著閑行禮唯完操充妻須伐啞副窩怪勉抽昂毛詞閃京錢選冒暗輝肥近蛛囊矮肝噸辮材斬炕械盛彎請梨搬監刪廉被姿朵俯盾您梅型奶滋猜扣首即蘋巖蝦盞屯鐮王灶修順zhb9Lk。robots.txt文件設置方法-SEO培訓_天線貓SEO賺錢培訓官網。百科創建軟件首選樂云seo,seo在銷售中有多重要,seo優化推廣軟,站內營銷方式包括seo嗎,a網站 小程序 seo