⑴ 網站數據採集工具哪個好爬蟲之外的，謝謝！
哈看樣子你不喜歡爬蟲了，網路爬蟲有很多，只能爬網頁數據，目前操作界面有點復雜，沒有編程基礎的比較難上手
我喜歡用小幫，，小幫軟體機器人。這個傻瓜式的，只需要簡單配置就可以，不只是網頁可採集保存到本地，系統軟體也可以呢。這個靠譜，可以 試 試，。我有很多網站的有價值的數據和表格都是這么搞下來的
⑵ 集搜客網路爬蟲軟體，怎麼查看已經抓取的數據
採集成功的話，網頁數據會以
xml文件
形式保存在電腦的DataScraperWorks文件夾中，在DS打數機的文件菜單->存儲路徑中可以找到文件路徑。
⑶ 目前有哪些比較著名的網路爬蟲開源項目可供學習
最好的爬蟲語言是前嗅的ForeSpider爬蟲腳本語言。是一門專門的爬蟲腳本語言，而不是爬蟲框架，可以用簡單幾行代碼，實現非常強大的爬蟲功能。
ForeSpider是可視化的通用性採集軟體，同時內置了強大的爬蟲腳本語言。如果有通過可視化採集不到的內容，都可以通過簡單幾行代碼，實現強大的腳本採集。軟體同時支持正則表達式操作，可以通過可視化、正則、腳本任意方式，實現對數據的清洗、規范。
對於一些高難度的網站，反爬蟲措施比較多，可以使用ForeSpider內部自帶的爬蟲腳本語言系統，簡單幾行代碼就可以採集到高難度的網站。比如國家自然基金會網站、全國企業信息公示系統等，最高難度的網站完全沒有問題。
在通用性爬蟲中，ForeSpider爬蟲的採集速度和採集能力是最強的，支持登錄、Cookie、Post、https、驗證碼、JS、Ajax、關鍵詞搜索等等技術的採集，採集效率在普通台式機上，可以達到500萬條數據/每天。這樣的採集速度是一般的通用性爬蟲的8到10倍。
對於大量的網站採集需求而言，ForeSpider爬蟲可以在規則模板固定之後，開啟定時採集。支持數據多次清洗。
對於關鍵詞搜索的需求而言，ForeSpider爬蟲支持關鍵詞搜索和數據挖掘功能，自帶關鍵詞庫和數據挖掘字典，可以有效採集關鍵詞相關的內容。
可以去下載免費版，免費版不限制採集功能。有詳細的操作手冊可以學習。
⑷ 網路爬蟲,用什麼軟體最好啊
前嗅ForeSpider數據採集系統是天津市前嗅網路科技有限公司自主知識產權的通用性互聯網數據採集軟體。軟體具備全面的採集范圍、精準的數據精度、絕佳的抓取性能、簡易的可視化操作、智能的自動化採集，使企業能夠以很少的人工成本，快速獲取互聯網中結構化或非結構化的數據。
軟體幾乎可以採集互聯網上所有公開的數據，通過可視化的操作流程，從建表、過濾、採集到入庫一步到位。支持正則表達式操作，更有強大的面向對象的腳本語言系統。
台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
l軟體特點
一．通用性：可以抓取互聯網上幾乎100 %的數據
1.支持數據挖掘功能，挖掘全網數據。
2.支持用戶登錄。
3.支持Cookie技術。
4.支持驗證碼識別。
5.支持HTTPS安全協議。
6.支持OAuth認證。
7.支持POST請求。
8.支持搜索欄的關鍵詞搜索採集。
9.支持JS動態生成頁面採集。
10.支持IP代理採集。
11.支持圖片採集。
12.支持本地目錄採集。
13.內置面向對象的腳本語言系統，配置腳本可以採集幾乎100%的互聯網信息。
二．高質量數據：採集+挖掘+清洗+排重一步到位
1.獨立知識產權JS引擎，精準採集。
2.集成數據挖掘功能，可以精確挖掘全網關鍵詞信息。
3.內部集成資料庫，數據直接採集入庫，入庫前自動進行兩次數據排重。
4.內部創建數據表結構，抓取數據後直接存入資料庫相應欄位。
5.根據dom結構自動過濾無關信息。
6.通過模板配置鏈接抽取和數據抽取，目標網站的所有可見內容均可採集，智能過濾無關信息。
7.採集前數據可預覽採集，隨時調整模板配置，提升數據精度和質量。
8.欄位的數據支持多種處理方式。
9.支持正則表達式，精準處理數據。
10.支持腳本配置，精確處理欄位的數據。
三．高性能：千萬級的採集速度
1.C++編寫的爬蟲，具備絕佳採集性能。
2.支持多線程採集。
3.台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。
4.伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。
5.並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
6.軟體性能穩健，穩定性好。
四．簡易高效：節約70%的配置時間
1.完全可視化的配置界面，操作流程順暢簡易。
2.基本不需要計算機基礎，代碼薄弱人員也可快速上手，降低操作門檻，節省企業爬蟲工程師成本。
3.過濾採集入庫一步到位，集成表結構配置、鏈接過濾、欄位取值、採集預覽、數據入庫。
4.數據智能排重。
5.內置瀏覽器，欄位取值直接在瀏覽器上可視化定位。
五．數據管理：多次排重
1.內置資料庫，數據採集完畢直接存儲入庫。
2.在軟體內部創建數據表和數據欄位，直接關聯資料庫。
3.採集數據時配置數據模板，網頁數據直接存入對應數據表的相應欄位。
4.正式採集之前預覽採集結果，有問題及時修正配置。
5.數據表可導出為csv格式，在Excel工作表中瀏覽。
6.數據可智能排除，二次清洗過濾。
六．智能：智能模擬用戶和瀏覽器行為
1.智能模擬瀏覽器和用戶行為，突破反爬蟲限制。
2.自動抓取網頁的各類參數和下載過程的各類參數。
3.支持動態IP代理加速，智能過濾無效IP代理，提升代理的利用效率和採集質量。
4.支持動態調整數據抓取策略，多種策略讓您的數據無需重采，不再擔心漏采，數據採集更智能。
5.自動定時採集。
6.設置採集任務條數，自動停止採集。
7.設置文件大小閾值，自動過濾超大文件。
8.自由設置瀏覽器是否加速，自動過濾頁面的flash等無關內容。
9.智能定位欄位取值區域。
10.可以根據字元串特徵自動定位取值區域。
11.智能識別表格的多值，表格數據可以完美存入相應欄位。
七．優質服務
1.數據採集完全在本地進行，保證數據安全性。
2.提供大量免費的各個網站配置模板在線下載，用戶可以自由導入導出。
3.免費升級後續不斷開發的更多功能。
4.為用戶提供各類高端定製化服務，全方位來滿足用戶的數據需求。
⑸ 爬蟲工具是什麼
網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。中文名網路爬蟲外文名 web crawler 別稱網路蜘蛛目的按要求獲取萬維網信息產生背景隨著網路的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰。搜索引擎(Search Engine)，例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如： (1)不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結果包含大量用戶不關心的網頁。 (2)通用搜索引擎的目標是盡可能大的網路覆蓋率，有限的搜索引擎伺服器資源與無限的網路數據資源之間的矛盾將進一步加深。 (3)萬維網數據形式的豐富和網路技術的不斷發展，圖片、資料庫、音頻、視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。 (4)通用搜索引擎大多提供基於關鍵字的檢索，難以支持根據語義信息提出的查詢。
⑹ 如何通過網路爬蟲將軟體"serv-u"截止目前的所有版本抓取到
綠盟科技的題？我都不想回答這類問題，真沒意思
⑺ 萬能數據採集引擎和一般的網路爬蟲程序有什麼區別
1)網路爬蟲是基於瀏覽器的情況，不能兼容Windows平台所有軟體；對於瀏覽器嵌入組件或winform嵌入BS的情況無法處理.
2)網路爬蟲不支持寫入數據的操作，僅支持採集數據；
3)網路爬蟲採集數據的范圍有限，主要是針對表格，不支持採集所有數據；
4)網路爬蟲的完整性不能保證；
博為軟體的101萬能數據採集技術，支持windows平台的幾乎所有程序的任意業務數據的完整採集，並提供回寫功能。
⑻ 各種語言寫網路爬蟲有什麼優點缺點
我用 PHP 和 Python 都寫過爬蟲和正文提取程序。
最開始使用 PHP 所以先說說 PHP 的優點：
1.語言比較簡單，PHP 是非常隨意的一種語言。寫起來容易讓你把精力放在你要做的事情上，而不是各種語法規則等等。
2.各種功能模塊齊全，這里分兩部分：
1.網頁下載：curl 等擴展庫;
2.文檔解析：dom、xpath、tidy、各種轉碼工具，可能跟題主的問題不太一樣，我的爬蟲需要提取正文，所以需要很復雜的文本處理，所以各種方便的文本處理工具是我的大愛。;
總之容易上手。
缺點：
1.並發處理能力較弱：由於當時 PHP 沒有線程、進程功能，要想實現並發需要借用多路服用模型，PHP 使用的是 select 模型。實現其來比較麻煩，可能是因為水平問題我的程序經常出現一些錯誤，導致漏抓。
再說說 Python：
優點：
1.各種爬蟲框架，方便高效的下載網頁;
2.多線程、進程模型成熟穩定，爬蟲是一個典型的多任務處理場景，請求頁面時會有較長的延遲，總體來說更多的是等待。多線程或進程會更優化程序效率，提升整個系統下載和分析能力。
3.GAE 的支持，當初寫爬蟲的時候剛剛有 GAE，而且只支持 Python ，利用 GAE 創建的爬蟲幾乎免費，最多的時候我有近千個應用實例在工作。
缺點：
1.對不規范 HTML 適應能力差：舉個例子，如果一個頁面裡面同時有 GB18030 字元集的中文和 UTF-8 字元集的中文，Python 處理起來就沒有 PHP 那麼簡單，你自己需要做很多的判斷工作。當然這是提取正文時的麻煩。
Java 和 C++ 當時也考察過，相對腳本語言比較麻煩，所以放棄。
總之，如果開發一個小規模的爬蟲腳本語言是個各方面比較有優勢的語言。如果要開發一個復雜的爬蟲系統可能 Java 是個增加選項， C++ 我感覺寫個模塊之類的更加適合。對於一個爬蟲系統來說，下載和內文解析只是基本的兩個功能。真正好的系統還包括完善的任務調度、監控、存儲、頁面數據保存和更新邏輯、排重等等。爬蟲是一個耗費帶寬的應用，好的設計會節約大量的帶寬和伺服器資源，並且好壞差距很大。
⑼ 除了網路爬蟲技術，還有其他自動抓取數據的工具嗎
網路爬蟲的功能有限哦，只能爬網頁的內容，也就是BS 端的數據哦。
如果您希望採集到軟體系統，也就是CS 端的數據的話，用博 為的小幫 軟體機器人哦。
小幫 BS 和CS 端的數據都能採集的，全自動運行，只需要簡單的配置即可。相對於人工的採集數據，小幫的效率大大提升！
⑽ 有沒有一款類似網路爬蟲的數據抓取工具，可以抓取windows應用程序的數據
windows應用程序的數據抓取，目前較好的方案我建議UiBot 數據採集機器人軟體，可以在他們官網查看。
是類似於網路爬蟲，可以逐條的把應用程序上的欄位抓取下來，但是不需要編程。挺好用的。