所謂搜索引擎的工作原理，就是指它工作的一個(gè)流程，比如剛開始做什么，接著做什么，最后做什么。在這個(gè)流程里，最先做的就是爬行與抓取。下面就是詳細(xì)介紹一下關(guān)于這方面的知識(shí)。

1、蜘蛛：BaiduSpider SosoSpider Googlebot

什么叫蜘蛛呢？我們都知道，互聯(lián)網(wǎng)上的信息非常龐雜，這些信息基本是以站點(diǎn)的方式比如虛擬主機(jī)、空間、服務(wù)器等等來存放的。把每個(gè)服務(wù)器當(dāng)做一個(gè)點(diǎn)，點(diǎn)與點(diǎn)之間通過網(wǎng)線連接，錯(cuò)綜復(fù)雜，有點(diǎn)蜘蛛織的網(wǎng)的感覺，搜索引擎的程序在這個(gè)網(wǎng)之間來回爬行，所以形象的把搜索引擎的程序稱之為蜘蛛。

2、跟蹤鏈接：深度優(yōu)先，廣度優(yōu)先

蜘蛛在網(wǎng)之間是怎么爬行的呢？有兩個(gè)原則，一個(gè)是深度優(yōu)先原則，一個(gè)是廣度優(yōu)先原則。深度優(yōu)先怎么理解呢？就比如說爬完A，A里面有個(gè)B，就繼續(xù)跟著B爬行，B里面有個(gè)C，就再跟著C爬行，以此類推。廣度優(yōu)先呢？指的是A里面有B、C、D，先把B、C、D爬完，再去爬B里面的D、E、F，然后再爬C里面的，再爬D里面的。

3、吸引蜘蛛：網(wǎng)站或頁(yè)面權(quán)重，頁(yè)面更新率，導(dǎo)入鏈接數(shù)，與首頁(yè)距離

因?yàn)榛ヂ?lián)網(wǎng)的信息太龐雜了，只靠幾個(gè)搜索引擎的爬行程序是遠(yuǎn)遠(yuǎn)不夠的，所以就需要主動(dòng)的對(duì)搜索引擎的爬行程序示好，讓它來爬我們的網(wǎng)站?？梢酝ㄟ^四個(gè)方面來吸引蜘蛛，網(wǎng)站或頁(yè)面的權(quán)重越大，越可以吸引蜘蛛；頁(yè)面更新率越高，越能吸引蜘蛛；導(dǎo)入鏈接數(shù)越多，越能吸引蜘蛛；與首頁(yè)的深度距離越短，越能吸引蜘蛛。

4、地址庫(kù)：為了避免重復(fù)爬行

比如今天要爬一萬個(gè)鏈接，就可以把這一萬個(gè)鏈接放進(jìn)地址庫(kù)里，爬完一個(gè)刪除一個(gè)，可以很好的避免重復(fù)爬行。

5、文件存儲(chǔ)

把網(wǎng)頁(yè)爬完以后，放在哪里呢？可以把這些網(wǎng)頁(yè)放在一個(gè)文件里，把它存儲(chǔ)起來。

6、爬行簡(jiǎn)單的內(nèi)容處理：蜘蛛來了不一定收錄

蜘蛛雖然不是人，它沒有思想，但它畢竟是人設(shè)計(jì)出來的，所以它不會(huì)機(jī)械的亂爬，也要看情況。比如雖然你的網(wǎng)站更新的很頻繁，但是內(nèi)容都是復(fù)制粘貼的，重復(fù)率比較高，質(zhì)量比較低，或者說雖然你的導(dǎo)入鏈接數(shù)比較多，但都是一些垃圾鏈接，這種情況的話蜘蛛來了就會(huì)走了，不會(huì)收錄。所以蜘蛛不會(huì)亂爬，它也會(huì)做個(gè)簡(jiǎn)單的判斷。