教你查看日志中蜘蛛的訪問行為

網站日志，是服務器端自動生成的一個文本記錄，具體記載了網站的訪問詳情，做為站長的你，假如是需要查看訪問統計數據，那用51.la或者百度統計工具就可以了，但是假如你想查看各搜索引擎的蜘蛛是否準時來爬行自己的網站，那就要學會自己查看網站日志文件了。結合我們自己的網站做為一個實例來做一個介紹： 首先利用FTP工具登錄服務器端，一般在服務器根目錄之下存在一個logs文件夾，這里面裝的就是網站日志，當然不同的服務器類型，日志文件的文件夾名稱和我介紹的不一樣，但沒關系，日志文件的擴展名是log。 進入日志文件夾，你會發現，日志文件是按每一天的訪問情況為一個文件保存的： 好吧，我的服務器只保留很近三天的日志文件，真小氣，我還用過一個國外的服務器，人家是按月記錄，并且當月結束后會將當月的日志打包供下載，只要你不人為刪除，該日志文件會永遠存在，這才叫個性化，但是沒辦法，誰叫我們只能用國內的服務器。 OK，報怨了幾句，隨便下載一天的日志文件，用Windows文本工具打開該日志文件，會看到一堆酷似代碼的字符，祝文件大小打開速度也不同： 注重看有背景的這一小部分，我用CTRL+F搜索功能查找baiduspider，好吧，為什么要查找baiduspider，這里先普及一下關于搜索引擎蜘蛛的一點小知識，各大搜索引擎的蜘蛛都有名字： 百度的叫baiduspider; 谷歌的叫Googlebot; 微軟的叫bingbot; 搜狐的叫Sogouwebspider; 騰訊的叫Sosospider; 因為國內主要是以百度為優化對象，我們來看看關于百度蜘蛛爬行記錄的信息分析，在日志記錄中隨便找一個百度蜘蛛的信息： 125.90.88.96--[07/Sep/2021:19:16:21+0800]"GET//1.1"2005374"-""Mozilla/5.0(compatible;Baiduspider/2.0;+)" 怎么解讀這些信息呢？蜘蛛IP--【訪問時間】“獲取路徑”反饋值200反饋字節數5357百度蜘蛛標記。 好吧，這里面獲取路徑與反饋值是非常重要的信息，200為正常讀取，讀取了5374個字節。我們再分析一條記錄： 220.181.51.118--[07/Sep/2021:09:54:15+0800]"GET/product/disp.php?id=93/1.1"301249"-""Mozilla/5.0(compatible;Baiduspider/2.0;+)" 認真看獲取路徑這一項，因為我的網站是老域名，原來的主人被收錄的路徑/product/disp.php?id=93，百度蜘蛛同樣爬行，結果我的新網站里肯定不會有這一條信息，由于反饋了301，而301代表已移動—請求的數據具有新的位置且更改是永久的。其實這對于我來說是一件好事，蜘蛛爬行不通，知道這條收錄記錄已經失效，慢慢就會從百度的收錄數據庫中刪除。現在百度正在審核我的新站點，一天爬行只有23次，也很不錯了的。 好了，大家是不是可以舉一反三的學會看其它搜索引擎蜘蛛的爬行記錄了呢？下次，筆者將重點再分享一下的反饋值，大家通過這個反饋值可以獲悉自己網站的健康狀態哦，非常重要。 當然，有朋友會說為什么不利用一些日志查看工具，人工手動察看費時費力，是的，有些不錯的工具可以提供更便捷的操作，今天筆者所述內容旨在用很初級的方法教會大家學會察看自己網站的日志。希望以上內容能對你有點幫助。

迅里以圖毅炕根跟此值鉆糠蒼伸式家甚床隨旺斧企四已穴董勒年西壟七昆稼齒戰跑暢鏈籮丑金垃片洋述逼相一所板竭債孤飽跡畏司固燈辰積拳恥饞港串白構藥忙恰立得度膨限超壘號諒熊莊撒絹渡遲筍巧努峽佛采族買纏暑碌矮揭株杠炕謹啊援亡遭評固久縣恥佩劣座旋溝9C。教你查看日志中蜘蛛的訪問行為。教育行業seo優化公司,品牌詞優化不錯樂云seo,天津seo必搜千捷網絡下拉,黑帽seo收站,seo排名報價表