神武八荒一颗小说,有声小说在线收听网,欢乐颂

一個網站的內部鏈接是否正確，是影響網站SEO的重要因素之一。“小站靠外鏈，大站靠內鏈”，只有在做好內鏈的前提下，有規模的網站才能夠事半功倍的將排名優化上去。

對于鏈接爬行工具來說，可能大家第一印象想起的就是Xenu。Xenu可以說是比較早期的一批SEO工具，而Xenu的功能也是較為普通。

那么今天就為大家介紹一款和Xenu同樣功能的軟件，由Screaming Frog公司所出的SEO Spider。

可能有些朋友對于Screaming Frog不太了解，我做一下簡單的介紹吧，Screaming Frog是英國的一家網絡公司，而Screaming Frog SEO Spider則是他們的一個產品。在Moz所發布的2014 行業報告里關于Top 10 SEO工具一項排名，Screaming Frog 是排到了第5的位置。

好了，牛逼吹完了。我們也應該開始說說Screaming Frog SEO Spider（下面簡稱為Spider）的事情了。

Spider分為試用版與收費版，試用版的權限較為雞肋，只能爬行抓取到500個URL而已。而收費版的話呢，是99英鎊/年。建議大家可以下載一個試用版玩玩看，如果覺得真的不錯，Adrian建議你還是買一個正版。

Screaming Frog SEO Spider

Screaming Frog SEO Spider的界面

Spider的抓取方式可以分為Spider與URL，簡單點理解就是一個你可以放一個頁面或域名開始抓取，另外一個則是放一個URL文件進去抓取。

你在輸入好url或選擇好url文件后則會開始抓取內容，那么問題來了，Spider可以為我們抓取頁面的什么內容呢？

頁面鏈接

文件類型與編碼

HTTP狀態碼和狀態

Title與長度

Description與長度

Keywords與長度

H1標簽文本與長度

H2標簽文本與長度

Canonical URL

其他（文件大小，字數，層數，內鏈數量，站外鏈接數量等）

對于鏈接抓取的限制上，Spider也做了許多功能。首先是下面的特殊限制：

檢查圖片

檢查CSS文件

檢查JS文件

檢查SWF文件，也就是Flash之類的

檢查外部鏈接

檢查目錄以外的鏈接

跟蹤標識Nofollow的站內鏈接

跟蹤表示Nofollow的外部鏈接

忽略robots.txt

總共抓取數量

總共抓取層數

這里大家可能還是看不太懂，那Adrian為大家簡單舉例解釋一下。

案例一：D姐想要抓UC所有頁面，其中不包括CSS，JS，SWF（因為這些浪費時間和資源）。那么就可以取消勾選四個選項了；

案例二：民工想要像蜘蛛一樣爬取UC的頁面，那么就可以只勾選Ignore robots.txt這一項了；

案例三：何元想要只抓dx的首頁所有鏈接，全部勾選上，除了不要勾Ignore與Limit search toal就可以了，當然記得勾上Limit Search Depth 并設置層級為1；

如果還看不懂，那我也無能為力了，只能是找D姐給你好好培訓一下SEO了。

其實Spider的功能有許多，我就不一一提及了。說幾個我常用的功能吧！

第一個，正則爬行頁面。

在configuration中的include和exclude里都有可以寫正則的地方，在那里你可以設置你想要特定抓取爬行的鏈接。至于怎么使壞，需要你自己想象了。

第二個，速度限制。

在configuration中的Speed中有關于速度的限制，這里需要提一下的是速度上的限制不僅僅指的是線程，還有限制抓取URL速度，例如你想要1 URL/S，又或者是2 URL/S。這個功能可以躲避部分有防重復爬行限制的網站。

第三個，User Agent設置。

在configuration中有一個User Agent里可以設置你的身份，你可以設置為某搜索引擎的蜘蛛或瀏覽器都可以。

第四個，自定義字段檢查功能。

同樣是在configuration中的custom，這個功能可以說是比較好用的功能，主要是可以讓Spider在爬行抓取的同時可以根據你所設置的自定義字段進行篩選。例如：我在Custom設置了包含DVD這個字眼，那么所有出現DVD字眼的頁面都會特別篩選出來。

還有其他的功能，如：代理抓取，制作sitemap，導出url等功能，都是比較實用的。這里我就不做介紹了。