6.網(wǎng)站內(nèi)鏈建設(shè)

蜘蛛的爬行是跟著鏈接走的，所以內(nèi)鏈的合理優(yōu)化可以要蜘蛛抓取到更多的頁面，促進(jìn)網(wǎng)站的收錄。內(nèi)鏈建設(shè)過程中要給用戶合理推薦，除了在文章中增加錨文本之外，可以設(shè)置相關(guān)推薦，熱門文章，更多喜歡之類的欄目，這是很多網(wǎng)站都在利用的，可以讓蜘蛛抓取更大范圍的頁面。

7.建設(shè)網(wǎng)站地圖

搜索引擎蜘蛛非常喜歡網(wǎng)站地圖，網(wǎng)站地圖是一個(gè)網(wǎng)站所有鏈接的容器。很多網(wǎng)站的鏈接層次比較深，蜘蛛很難抓取到，網(wǎng)站地圖可以方便搜索引擎蜘蛛抓取網(wǎng)站頁面，通過抓取網(wǎng)站頁面，清晰了解網(wǎng)站的架構(gòu)，所以建設(shè)一個(gè)網(wǎng)站地圖不僅提高抓取率還能獲得蜘蛛好感。

8.檢查死鏈，設(shè)置404頁面

搜索引擎蜘蛛是通過鏈接來爬行搜索，如果太多鏈接無法到達(dá)，不但收錄頁面數(shù)量會(huì)減少，而且你的網(wǎng)站在搜索引擎中的權(quán)重會(huì)大大降低。蜘蛛在遇見死鏈就像進(jìn)了死胡同，又得折返重新來過，大大降低蜘蛛在網(wǎng)站的抓取效率，所以一定要定期排查網(wǎng)站的死鏈，向搜索引擎提交，同時(shí)要做好網(wǎng)站的404頁面，告訴搜索引擎錯(cuò)誤頁面。

9.檢查robots文件

很多網(wǎng)站有意無意的直接在robots文件屏蔽了百度或網(wǎng)站部分頁面，卻整天在找原因?yàn)槭裁粗┲氩粊碜ト∥业捻撁妫@能怪百度嗎?你都不讓別人進(jìn)門了，百度是怎么收錄你的網(wǎng)頁?所以有必要時(shí)常去檢查一下網(wǎng)站robots文件是否正常。

10.監(jiān)測(cè)蜘蛛的爬行

利用網(wǎng)站日志監(jiān)測(cè)蜘蛛正在抓取哪些頁面、抓取過哪些頁面，還可以利用站長工具對(duì)蜘蛛的爬行速度進(jìn)行查看，合理分配資源，以達(dá)到更高的抓取速度和勾引更多的蜘蛛。網(wǎng)站要獲得更多的收錄就需要做好搜索引擎蜘蛛的抓取優(yōu)化工作，網(wǎng)站優(yōu)化不是一朝一夕的事情，耐心做好基礎(chǔ)工作才是網(wǎng)站優(yōu)化的根本。