百度和google是站長(zhǎng)們的衣食父母，而做好搜索引擎優(yōu)化的第一步就是蜘蛛的抓取，以下5條簡(jiǎn)單的Linux命令可以讓你清楚的了解蜘蛛的爬行情況做到有的放矢。

　　百度和google是站長(zhǎng)們的衣食父母，而做好搜索引擎優(yōu)化的第一步就是蜘蛛的抓取，以下5條簡(jiǎn)單的Linux命令可以讓你清楚的了解蜘蛛的爬行情況做到有的放矢。

　　請(qǐng)首先看看日志文件的大小，如果特別大的話(比如：超過50MB)建議不要用這些命令分析，因?yàn)檫@些命令較消耗CPU，或者抓下來放到分析機(jī)上執(zhí)行，以免影響網(wǎng)站的速度。如果是Dreamhost等共享主機(jī)的話，分析大日志很消耗CPU，進(jìn)程很容易被Kill掉。

　　這些命令都是Linux下的shell命令，在Windows主機(jī)下無法執(zhí)行。

　　一 百度蜘蛛爬行的次數(shù)

　　cat access.log.2009-04-18 | grep Baiduspider+ | wc

　　這代表百度蜘蛛一共爬行了173次

　　二 百度蜘蛛的詳細(xì)記錄(如果記錄很長(zhǎng)不想看了可以Ctrl+C終止)

　　cat access.log.2009-04-18 | grep Baiduspider+

　　你也可以用如下命令：

　　cat access.log.2009-04-18 | grep Baiduspider+ | tail -n 100

　　cat access.log.2009-04-18 | grep Baiduspider+ | head -n 100

　　只看最后100條或者最前100條

　　三 百度蜘蛛抓取首頁的詳細(xì)記錄

　　cat access.log.2009-04-18 | grep Baiduspider+ | grep "GET / HTTP"

　　初步研究發(fā)現(xiàn)，百度蜘蛛對(duì)首頁非常熱愛，24小時(shí)每小時(shí)都要看我的某個(gè)新站的首頁，而googe和yahoo蜘蛛更喜歡內(nèi)頁，一天中各自只看了2次首頁。不知道是真的有這個(gè)規(guī)律還是只是我的小站這樣。

　　四 Baidu蜘蛛派性記錄時(shí)間點(diǎn)分布

　　cat access.log.2009-04-18 | grep "Baiduspider+" | awk '{print $4}'

　　五 Baidu蜘蛛爬行頁面按次數(shù)降序列表

　　cat access.log.2009-04-18 | grep "Baiduspider+" | awk '{print $7}' | sort | uniq -c | sort -r

　　本文中的每條命令把Baiduspider+改成Googlebot都可以查看Google的對(duì)應(yīng)的數(shù)據(jù)。

　　附：(Mediapartners-Google)Google adsense蜘蛛的詳細(xì)爬行記錄

　　cat access.log.2009-04-18 | grep Mediapartners

　　Mediapartners-Google是什么?Google adsense廣告之所以能與內(nèi)容相關(guān)，就是因?yàn)槊總€(gè)包含著adsense的廣告被訪問后，幾秒鐘內(nèi)就有一個(gè)Mediapartners-Google蜘蛛來到這個(gè)頁面，所以幾分鐘后再刷新就能顯示相關(guān)性廣告了。

重慶中技互聯(lián)網(wǎng)信息咨詢有限公司
重慶網(wǎng)站建設(shè)事業(yè)部官方網(wǎng)：www.aorustv.com
電子商務(wù)建站事業(yè)部咨詢電話：023-67742189
門戶網(wǎng)站品牌加盟推廣電話：023-67742189
7*24小時(shí)服務(wù)電話：023-67742189
媒體合作電話：13883323406
投資合作電話：13896068183
QQ及郵件地址：446515345@qq.com