今天推薦一款 網(wǎng)站鏈接抓取器，輸入網(wǎng)站地址可抓取該網(wǎng)站下所有本站鏈接地址，生成sitemap文件。

先說一下作用

網(wǎng)站鏈接抓取器顧名思義，主要是用來抓取網(wǎng)站鏈接的。

也就是輸入一個網(wǎng)站的首頁地址，然后軟件可以把整個網(wǎng)站頁面地址給抓取下來并保存。有啥作用呢？

1、制作網(wǎng)站地圖

使用軟件保存的TXT。直接上傳到網(wǎng)站根目錄就可以成為一個簡單的TXT網(wǎng)站地圖。

制作成網(wǎng)站地圖后，可到 http://zhanzhang.baidu.com/sitemap/index 進行提交，以增加收錄。

2、檢查失誤。

所謂的失誤，是指某些后臺鏈接。不想讓用戶知道的。但是由于不小心在程序的某個地方有該網(wǎng)頁的鏈接自己沒注意到。這時候就可以使用軟件把整個網(wǎng)站的鏈接抓取下來。然后檢查看看有沒有敏感鏈接。

3、檢查收錄。

可以查看一下百度對本站的索引量。然后使用軟件把網(wǎng)站的所有鏈接都抓取下來。看看數(shù)量上的差距是否比較大。如果差距過大，則要注意是否空間不穩(wěn)定或者文章質(zhì)量太低或者暴光率太低。

使用方法

1、輸入需要抓取的網(wǎng)站首頁地址。

2、設置線程數(shù)量。（線程越少，速度越慢，耗CPU及網(wǎng)速越低，越不容易漏掉鏈接。線程越多，速度越快，耗CPU及網(wǎng)速越高，漏抓取機率高。）

3、設置包含或排除規(guī)則

“包含”的意思是指只保留符合此規(guī)則里的鏈接。如果留空，則保留所有鏈接。
“排除”的意思是指不保留符合此規(guī)則里的鏈接。如果留空，則不排除任何鏈接。
4、選擇抓取后的鏈接保存地址。（注：如果選擇的TXT名稱為 abc.txt的話。軟件會保存為 abc_*.txt 的形式）

5、選擇每個TXT保存的條數(shù)。（以第3條舉例，如果這里設置為5000，當abc_1.txt保存的鏈接數(shù)到達5000，后面的鏈接會自動保存到abc_2.txt里，依此類推。）

6、開始用起來吧！