預(yù)處理是搜索引擎工作原理中的第二步，通常我們也把它稱為索引。那什么叫做預(yù)處理呢？就是預(yù)告、預(yù)估，是一種非正式的處理，或者是進(jìn)行了部分處理，還沒處理完。在進(jìn)行預(yù)處理時(shí)，一般有五個小步驟。

1、提取文字

怎么理解提取文字呢？比如打開一個搜索結(jié)果頁面，用戶看到的是文字、圖片，搜索引擎看到的頁面卻不是這樣的。它們看到是源代碼，有字符、數(shù)字、中文、標(biāo)簽、代碼等，要把這些源代碼提取成我們可以看懂的文字。

2、中文分詞

比如說一句話，在進(jìn)行分詞時(shí)，要把的這種銜接詞去掉，對剩余的文字進(jìn)行分詞，也就是我們常說的斷句。

3、消除噪聲

什么是消除噪聲呢？在搜索結(jié)果里，會有正常的結(jié)果和一些側(cè)邊欄，這個時(shí)候要分清什么是主要的，把一些無關(guān)緊要的、不重要的、跟主題無關(guān)的內(nèi)容忽略掉、屏蔽掉，減少主題的混雜度。

4、去重

搜索引擎的蜘蛛會爬大量的頁面，在這些頁面里，肯定會有重復(fù)的內(nèi)容，此時(shí)就需要經(jīng)過去重這個環(huán)節(jié)，把重復(fù)的內(nèi)容頁面去掉。

5、索引

上面的四個步驟都經(jīng)過處理以后，就要進(jìn)行索引了，它相當(dāng)于殺雞過程中的煎炸炒的過程，索引入庫之后，大部分的事情就做完了，只等著用戶來搜索了。