神馬Spider是什么？相信很多人都會有這樣的疑問，下面
聚名網(wǎng)
為您詳解一下神馬Spider介紹。


1. 神馬Spider

神馬Spider是神馬訪問互聯(lián)網(wǎng)，自動化抓取網(wǎng)頁的程序。Spider抓取下網(wǎng)頁，建立索引，使用戶可通過搜索引擎搜索到互聯(lián)網(wǎng)上的資源。

2. 神馬Spider的user-agent及ip地址

user-agent，是http協(xié)議中的一個(gè)屬性，代表了終端的身份。神馬Spider的user-agent為：Yisouspider，因?yàn)闅v史原因此user-agent名稱將會繼續(xù)使用。

神馬Spider的ip地址是一組ip池，會動態(tài)變，因此不在此列舉。

3. 神馬Spider的網(wǎng)站訪問頻率

神馬會根據(jù)網(wǎng)站的規(guī)模、服務(wù)能力、頁面質(zhì)量、更新速度等因素來決定對網(wǎng)站的訪問頻率。通常質(zhì)量高、網(wǎng)頁更新快的網(wǎng)站神馬spider訪問的頻率相對會高，以保證高質(zhì)、時(shí)效的能夠展現(xiàn)給用戶。

4. 神馬spider如何發(fā)現(xiàn)新網(wǎng)頁

神馬spider發(fā)現(xiàn)新網(wǎng)頁的方式有多種，最典型的是在已發(fā)現(xiàn)的網(wǎng)頁中分析超鏈關(guān)系，選取url并抓取，如此不斷拓展，盡可能多的抓取到有價(jià)值的網(wǎng)頁。另外，神馬會從dns服務(wù)商處獲取新網(wǎng)站
域名
，能夠及時(shí)抓取到新建網(wǎng)站。

5. 關(guān)于robots協(xié)議

robots.txt是搜索引擎訪問網(wǎng)站是要訪問的第一個(gè)文件，以確定哪些網(wǎng)頁是允許或禁止抓取的。神馬搜索遵守互聯(lián)網(wǎng)robots協(xié)議，如您希望完全禁止神馬訪問或?qū)Σ糠帜夸浗乖L問，您可以通過robots.txt文件來設(shè)置內(nèi)容，限定神馬Spider的訪問權(quán)限。

robots.txt必須放在網(wǎng)站根目錄下，且文件名要小寫。

具體的寫法：

1) 完全禁止神馬Spider抓取：

User-agent: Yisouspider

Disallow: /

2) 禁止神馬spider抓取指定目錄

User-agent: Yisouspider

Disallow: /update

Disallow: /history

禁止抓取update、history目錄下網(wǎng)頁

6. 神馬Spider是否會造成帶寬負(fù)擔(dān)

神馬Spider有規(guī)范的抓取流程，同時(shí)也會考慮網(wǎng)站的忙閑時(shí)段來抓取，因此不會給網(wǎng)站造成帶寬負(fù)擔(dān)。

以上就是對神馬Spider是什么？神馬Spider介紹的全部介紹，如果你想了解更多
seo
知識，請關(guān)注
聚名網(wǎng)
。