搜索引擎:一種用來在計算機網(wǎng)絡(luò),特別是萬維網(wǎng)上檢索各種文件的計算機程序.
是一種查詢系統(tǒng),也是一個用戶自定義的信息聚合系統(tǒng)(根據(jù)用戶定義的需求,爬取網(wǎng)絡(luò)上的資源,整個為本地離線信息集合)
三種搜索服務(wù)方式
目錄式搜索引擎
依賴編輯人員進行篩選,在此基礎(chǔ)進行分類,形成分類目錄結(jié)構(gòu).
eg早期雅虎,搜狐搜索:一種類似的黃頁查詢,搜索信息不全面,更新不及時
全文搜索 引擎
針對萬維網(wǎng)所有網(wǎng)頁進行全文搜索的搜索引擎.由下載系統(tǒng)以某種策略自動在萬維網(wǎng)搜索和發(fā)現(xiàn)信息,由搜索引擎為搜索到的信息建立索引,由禪尋系統(tǒng)根據(jù)用戶的查詢輸入檢索索引庫,并返回給用戶.
服務(wù)方式是面向網(wǎng)頁的全文檢索服務(wù)
優(yōu)點:信息量大,更新即使,無人干擾.
缺點:返回信息太多,有太多無關(guān)信息
元搜索引擎(MetaSearch Engine)
沒有自己的數(shù)據(jù),而是將用戶的查詢請求同時向多個搜索引擎遞交.然后將返回的結(jié)果進行重新排除和重新排序等處理后,作為自己的結(jié)果返回給用戶.
服務(wù)方式為面向網(wǎng)頁的全文檢索
優(yōu)點:返回結(jié)果信息量大
缺點:不能充分使用原搜索引擎的功能,用戶需要更多的篩選
代表:webCrawler
搜索引擎的主要需求
快速
全面:查全率(Recall)作為衡量檢索是否全面的衡量標準:全部相關(guān)網(wǎng)頁/查出相關(guān)網(wǎng)頁-->索引越多,查全率卻高
準確:查準率:相關(guān)文檔數(shù)/檢索出的文檔總數(shù).
可靠:存儲,查詢,索引中考慮
廉價
搜索引擎的4大系統(tǒng)
下載
負責從萬維網(wǎng)上下載各種類型的網(wǎng)頁,并且保持對萬維網(wǎng)變化的同步分析
抽取下載系統(tǒng)中得到的網(wǎng)頁數(shù)據(jù),并進行PageRank和分詞計算索引
負責將分析系統(tǒng)處理后的網(wǎng)頁對象索引入庫查詢
分析用戶提交的查詢請求,然后從索引庫中檢索出相關(guān)網(wǎng)頁并將網(wǎng)頁排序后,以查詢結(jié)果的方式返回用戶
注:從整體看,下載,分析,索引組成了搜索引擎的數(shù)據(jù)制作部分,被稱為離線部分
查詢系統(tǒng)為搜索引擎的數(shù)據(jù)服務(wù)部分,要求快速響應(yīng),被稱為在線部分
從細節(jié)來看,網(wǎng)頁從開始到最后都是網(wǎng)頁而在搜索引擎內(nèi)部會有兩種形式:一種網(wǎng)頁庫的方式存儲,一種稱為網(wǎng)頁對象被存儲在索引庫中.
搜索引擎的主要數(shù)據(jù)來自網(wǎng)頁,網(wǎng)頁處理能力是搜索引擎面對的主要挑戰(zhàn)
