網(wǎng)絡(luò)日志的日志文件分析后，我們能夠看到的用戶和搜索引擎蜘蛛訪問數(shù)據(jù)的行為，讓我們來剖析健康的用戶和蜘蛛，網(wǎng)站的喜好和網(wǎng)站。我們的主要需求分析Web日志分析中的蜘蛛行為。

        在蜘蛛爬行的過程，其中包括，搜索引擎會(huì)給予特別重視網(wǎng)站分配適當(dāng)?shù)馁Y源量。搜索引擎友好的網(wǎng)站，應(yīng)該是這些資源的大量應(yīng)用，蜘蛛能夠快速，準(zhǔn)確，全面的抓取有價(jià)值的，用戶喜歡的內(nèi)容，浪費(fèi)資源，而不是無用的，不正常的訪問內(nèi)容。

        網(wǎng)站日志數(shù)據(jù)過載，所以重慶網(wǎng)站優(yōu)化人員一般都通過網(wǎng)站日志分析工具的需求進(jìn)行查看。日志分析工具：光年日志分析工具，網(wǎng)絡(luò)日志exploer。

        在解析日志，日志文件在一個(gè)單一的一天，我們分析的需求：訪問，停留時(shí)間，爬行，抓取的目錄統(tǒng)計(jì)信息，抓取統(tǒng)計(jì)頁面蜘蛛訪問IP，HTTP狀態(tài)代碼蜘蛛活潑的時(shí)期，蜘蛛爬行的方式;有關(guān)日志文件的許多我們分析需求內(nèi)容：蜘蛛訪問的天數(shù)往往停留時(shí)間的趨勢(shì)，整體編目往往目錄爬行往往抓取期間，蜘蛛活潑的周期。

        讓我們來看看如何分析Web日志？

        網(wǎng)站日志數(shù)據(jù)的分析解讀：

        1，訪問次數(shù)，停留時(shí)間，抓取

        我們可以知道這三個(gè)數(shù)據(jù)：統(tǒng)一我們每次抓取的頁面數(shù)單頁的抓取戰(zhàn)爭的每一個(gè)停留時(shí)間停留時(shí)間。

        均勻每次我們抓取的頁面數(shù)=總抓取/訪問

        單頁的抓取住宿每次住宿/每次檢索

        均勻每次停留時(shí)間=總停留時(shí)間/訪問

        從這些數(shù)據(jù)中，我們可以看到蜘蛛活潑的親和力水平，抓取深度，總訪問次數(shù)，停留時(shí)間，更高的抓取，抓取頁面的統(tǒng)一制服的停留時(shí)間，標(biāo)記等網(wǎng)站更多的搜索引擎。單頁面抓取居住時(shí)間標(biāo)記的網(wǎng)站頁面的訪問速度，時(shí)間越長，表示該網(wǎng)站的訪問速度，速度較慢，不太有利，包括搜索引擎抓取，我們應(yīng)該進(jìn)步的頁面加載速度和減少的停留時(shí)間，單一的常設(shè)，所以爬行動(dòng)物資源抓取索引。

        此外，根據(jù)這些數(shù)據(jù)，我們也可以過一段時(shí)間的統(tǒng)計(jì)數(shù)據(jù)，該網(wǎng)站的整體方法的性能，如：蜘蛛訪問往往停留時(shí)間往往會(huì)抓取傾向。

        2，目錄檢索統(tǒng)計(jì)資料

        日志分析后，我們能看到的網(wǎng)站，用蜘蛛抓取的目錄的目錄深度的重要目錄的抓取，無效的頁目錄的抓取。后cf目錄的網(wǎng)頁并包括情況下，我們將能夠發(fā)現(xiàn)更多的問題。關(guān)于非常重要的目錄，需要通過內(nèi)部和外部的調(diào)整，增加了重量，爬行，停止在robots.txt屏蔽無效頁。

        經(jīng)過多天的日志統(tǒng)計(jì)信息，我們就可以看到效果的站內(nèi)外行為帶來的目錄，優(yōu)化合理的達(dá)到預(yù)期的效果。關(guān)于在長期的一段時(shí)間看同一個(gè)目錄下，我們可以看到的目錄頁，推測(cè)基于行為表現(xiàn)的原因。

        3，網(wǎng)頁抓取

        Web日志分析，我們可以看到詳細(xì)的蜘蛛爬行的頁面。在這些網(wǎng)頁上，重慶SEO專員可以分析出蜘蛛抓取的頁面，需要停止爬行，爬行沒有包含在值的頁面，抓取重復(fù)頁面的url蜘蛛資源，豐富的應(yīng)用程序，我們要求這些地址制止的在robots.txt爬行。

        此外，我們也能剖析為什么不爬不包括頁面，但不包括或爬行，但沒有公布新的文章。關(guān)于閱讀頁面的一些意義不大，我們要求它爬行通道，在這些網(wǎng)頁上，我們是否可以做NOINDEX標(biāo)簽等。另一方面，將弱智的蜘蛛抓取的頁面你依靠這些毫無意義的頻道頁面上的蜘蛛不明白網(wǎng)站地圖的嗎？在這方面，笨鳥有疑問，尋求分享經(jīng)驗(yàn)]

        4，蜘蛛訪問IP

        它已經(jīng)提出了蜘蛛的IP段判別網(wǎng)站降權(quán)的情況，前笨鳥認(rèn)為這是沒有意義的，因?yàn)楹笳叩闹橇σ病?/span>降權(quán)更前三個(gè)數(shù)據(jù)應(yīng)該受到歧視歧視的意義不大，只用一個(gè)IP段。 IP更多有用的分析，應(yīng)區(qū)分是否存在收集蜘蛛，的假蜘蛛的惡意點(diǎn)擊蜘蛛。

        5，獲得國家代碼

        蜘蛛經(jīng)常出現(xiàn)的狀態(tài)代碼，如301404，及時(shí)處置，防止產(chǎn)生不良的影響在網(wǎng)站上顯示這些狀態(tài)碼。

        6，抓取時(shí)間段

        爬行蜘蛛小時(shí)比照多個(gè)單日量進(jìn)行分析，我們可以了解一個(gè)特定的蜘蛛關(guān)于本網(wǎng)站熱鬧的特定時(shí)間段。 CF每周數(shù)據(jù)，我們將在一個(gè)星期內(nèi)，可以看到一個(gè)特定的蜘蛛的活躍周期。明白了這一點(diǎn)，有一定的指導(dǎo)意義，之前所謂的小三，四，網(wǎng)站內(nèi)容的更新，都是不科學(xué)的爭論。

        7，蜘蛛爬行的方法

Web日志，我們能夠追蹤到具體的IP接入方式，如果我們追蹤的途徑，可以找到一個(gè)特定的蜘蛛訪問的網(wǎng)站偏好結(jié)構(gòu)下的蜘蛛爬行途徑。因此，我們可以適當(dāng)?shù)囊龑?dǎo)蜘蛛爬行途徑，更重要的，有價(jià)值的，新的更新頁的蜘蛛爬行。抓取方面，我們雙解析的喜好網(wǎng)址的邏輯結(jié)構(gòu)，物理結(jié)構(gòu)的途徑爬行的喜好。在這些之后，讓我們檢查從搜索引擎的角度來看自己的網(wǎng)站。