爬蟲是幹什麼的

爬蟲就是能夠自動訪問互聯網並將網站內容下載下來的的程序或腳本，類似一個機器人，能把別人網站的信息弄到自己的電腦上，再做一些過濾，篩選，歸納，整理，排序等等。

網絡爬蟲（又稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。隨着網絡的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰。搜索引擎(SearchEngine)，例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索信息的工具成為用户訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在着一定的侷限性。網絡爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。