網路爬蟲軟體

1. 有沒有一款類似網路爬蟲的數據抓取工具，可以抓取windows應用程序的數據

windows應用程序的數據抓取，目前較好的方案我建議UiBot 數據採集機器人軟體，可以在他們官網查看。
是類似於網路爬蟲，可以逐條的把應用程序上的欄位抓取下來，但是不需要編程。挺好用的。

2. 各種語言寫網路爬蟲有什麼優點缺點

我用 PHP 和 Python 都寫過爬蟲和正文提取程序。
最開始使用 PHP 所以先說說 PHP 的優點：
1.語言比較簡單，PHP 是非常隨意的一種語言。寫起來容易讓你把精力放在你要做的事情上，而不是各種語法規則等等。
2.各種功能模塊齊全，這里分兩部分：
1.網頁下載：curl 等擴展庫;
2.文檔解析：dom、xpath、tidy、各種轉碼工具，可能跟題主的問題不太一樣，我的爬蟲需要提取正文，所以需要很復雜的文本處理，所以各種方便的文本處理工具是我的大愛。;
總之容易上手。

缺點：
1.並發處理能力較弱：由於當時 PHP 沒有線程、進程功能，要想實現並發需要借用多路服用模型，PHP 使用的是 select 模型。實現其來比較麻煩，可能是因為水平問題我的程序經常出現一些錯誤，導致漏抓。

再說說 Python：
優點：
1.各種爬蟲框架，方便高效的下載網頁;
2.多線程、進程模型成熟穩定，爬蟲是一個典型的多任務處理場景，請求頁面時會有較長的延遲，總體來說更多的是等待。多線程或進程會更優化程序效率，提升整個系統下載和分析能力。
3.GAE 的支持，當初寫爬蟲的時候剛剛有 GAE，而且只支持 Python ，利用 GAE 創建的爬蟲幾乎免費，最多的時候我有近千個應用實例在工作。

缺點：
1.對不規范 HTML 適應能力差：舉個例子，如果一個頁面裡面同時有 GB18030 字元集的中文和 UTF-8 字元集的中文，Python 處理起來就沒有 PHP 那麼簡單，你自己需要做很多的判斷工作。當然這是提取正文時的麻煩。

Java 和 C++ 當時也考察過，相對腳本語言比較麻煩，所以放棄。

總之，如果開發一個小規模的爬蟲腳本語言是個各方面比較有優勢的語言。如果要開發一個復雜的爬蟲系統可能 Java 是個增加選項， C++ 我感覺寫個模塊之類的更加適合。對於一個爬蟲系統來說，下載和內文解析只是基本的兩個功能。真正好的系統還包括完善的任務調度、監控、存儲、頁面數據保存和更新邏輯、排重等等。爬蟲是一個耗費帶寬的應用，好的設計會節約大量的帶寬和伺服器資源，並且好壞差距很大。

3. 集搜客網路爬蟲軟體，怎麼查看已經抓取的數據

採集成功的話，網頁數據會以
xml文件
形式保存在電腦的DataScraperWorks文件夾中，在DS打數機的文件菜單->存儲路徑中可以找到文件路徑。

4. 爬蟲工具是什麼

網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。中文名網路爬蟲外文名 web crawler 別稱網路蜘蛛目的按要求獲取萬維網信息產生背景隨著網路的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰。搜索引擎(Search Engine)，例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如： (1)不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結果包含大量用戶不關心的網頁。 (2)通用搜索引擎的目標是盡可能大的網路覆蓋率，有限的搜索引擎伺服器資源與無限的網路數據資源之間的矛盾將進一步加深。 (3)萬維網數據形式的豐富和網路技術的不斷發展，圖片、資料庫、音頻、視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。 (4)通用搜索引擎大多提供基於關鍵字的檢索，難以支持根據語義信息提出的查詢。

5. python網路爬蟲可以幹啥

Python爬蟲開發工程師,從網站某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那麼網路蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。

網路爬蟲(又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。爬蟲就是自動遍歷一個網站的網頁，並把內容都下載下來

6. 目前有哪些比較著名的網路爬蟲開源項目可供學習

最好的爬蟲語言是前嗅的ForeSpider爬蟲腳本語言。是一門專門的爬蟲腳本語言，而不是爬蟲框架，可以用簡單幾行代碼，實現非常強大的爬蟲功能。
ForeSpider是可視化的通用性採集軟體，同時內置了強大的爬蟲腳本語言。如果有通過可視化採集不到的內容，都可以通過簡單幾行代碼，實現強大的腳本採集。軟體同時支持正則表達式操作，可以通過可視化、正則、腳本任意方式，實現對數據的清洗、規范。

對於一些高難度的網站，反爬蟲措施比較多，可以使用ForeSpider內部自帶的爬蟲腳本語言系統，簡單幾行代碼就可以採集到高難度的網站。比如國家自然基金會網站、全國企業信息公示系統等，最高難度的網站完全沒有問題。
在通用性爬蟲中，ForeSpider爬蟲的採集速度和採集能力是最強的，支持登錄、Cookie、Post、https、驗證碼、JS、Ajax、關鍵詞搜索等等技術的採集，採集效率在普通台式機上，可以達到500萬條數據/每天。這樣的採集速度是一般的通用性爬蟲的8到10倍。
對於大量的網站採集需求而言，ForeSpider爬蟲可以在規則模板固定之後，開啟定時採集。支持數據多次清洗。
對於關鍵詞搜索的需求而言，ForeSpider爬蟲支持關鍵詞搜索和數據挖掘功能，自帶關鍵詞庫和數據挖掘字典，可以有效採集關鍵詞相關的內容。
可以去下載免費版，免費版不限制採集功能。有詳細的操作手冊可以學習。

7. 什麼是網路爬蟲

把互聯網裡面，佔70%的半結構化信息抽取到本地，在進行整理，來供使用，人工作比較復雜。
這個問題很容易解決.因為現在有些軟體可以專門作這種搜集\整理工作,很便捷的.只要你輸入需要
查找的產品\價格\公司名稱以及目標網站等自己想得到的信息,就可以及時地得到完整的資料庫.比
如,你要蘇州廢舊物品信息,最多就十幾分鍾.我知道有一家叫樂思(knowlesys)的,比較不錯!網上自
己去搜一下就可找到

8. 什麼是網路爬蟲

1、網路爬蟲就是為其提供信息來源的程序，網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常被稱為網頁追逐者），是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本，已被廣泛應用於互聯網領域。

2、搜索引擎使用網路爬蟲抓取Web網頁、文檔甚至圖片、音頻、視頻等資源，通過相應的索引技術組織這些信息，提供給搜索用戶進行查詢。網路爬蟲也為中小站點的推廣提供了有效的途徑。

拓展資料：

網路爬蟲另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。隨著網路的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰。

搜索引擎（Search Engine），例如傳統的通用搜索引擎AltaVista，Yahoo！和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：

（1） 不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結果包含大量用戶不關心的網頁。

（2）通用搜索引擎的目標是盡可能大的網路覆蓋率，有限的搜索引擎伺服器資源與無限的網路數據資源之間的矛盾將進一步加深。

（3）萬維網數據形式的豐富和網路技術的不斷發展，圖片、資料庫、音頻、視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。

（4）通用搜索引擎大多提供基於關鍵字的檢索，難以支持根據語義信息提出的查詢。