㈠ 爬蟲腳本開發需要用到什麼工具
要是你是專業的，需要的也就是一些基礎編程軟體，然後自己寫程序，我這種不專業的，就只能求助專業軟體幫忙了。
㈡ 網路爬蟲,用什麼軟體最好啊
前嗅ForeSpider數據採集系統是天津市前嗅網路科技有限公司自主知識產權的通用性互聯網數據採集軟體。軟體具備全面的採集范圍、精準的數據精度、絕佳的抓取性能、簡易的可視化操作、智能的自動化採集，使企業能夠以很少的人工成本，快速獲取互聯網中結構化或非結構化的數據。
軟體幾乎可以採集互聯網上所有公開的數據，通過可視化的操作流程，從建表、過濾、採集到入庫一步到位。支持正則表達式操作，更有強大的面向對象的腳本語言系統。
台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
l軟體特點
一．通用性：可以抓取互聯網上幾乎100 %的數據
1.支持數據挖掘功能，挖掘全網數據。
2.支持用戶登錄。
3.支持Cookie技術。
4.支持驗證碼識別。
5.支持HTTPS安全協議。
6.支持OAuth認證。
7.支持POST請求。
8.支持搜索欄的關鍵詞搜索採集。
9.支持JS動態生成頁面採集。
10.支持IP代理採集。
11.支持圖片採集。
12.支持本地目錄採集。
13.內置面向對象的腳本語言系統，配置腳本可以採集幾乎100%的互聯網信息。
二．高質量數據：採集+挖掘+清洗+排重一步到位
1.獨立知識產權JS引擎，精準採集。
2.集成數據挖掘功能，可以精確挖掘全網關鍵詞信息。
3.內部集成資料庫，數據直接採集入庫，入庫前自動進行兩次數據排重。
4.內部創建數據表結構，抓取數據後直接存入資料庫相應欄位。
5.根據dom結構自動過濾無關信息。
6.通過模板配置鏈接抽取和數據抽取，目標網站的所有可見內容均可採集，智能過濾無關信息。
7.採集前數據可預覽採集，隨時調整模板配置，提升數據精度和質量。
8.欄位的數據支持多種處理方式。
9.支持正則表達式，精準處理數據。
10.支持腳本配置，精確處理欄位的數據。
三．高性能：千萬級的採集速度
1.C++編寫的爬蟲，具備絕佳採集性能。
2.支持多線程採集。
3.台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。
4.伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。
5.並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
6.軟體性能穩健，穩定性好。
四．簡易高效：節約70%的配置時間
1.完全可視化的配置界面，操作流程順暢簡易。
2.基本不需要計算機基礎，代碼薄弱人員也可快速上手，降低操作門檻，節省企業爬蟲工程師成本。
3.過濾採集入庫一步到位，集成表結構配置、鏈接過濾、欄位取值、採集預覽、數據入庫。
4.數據智能排重。
5.內置瀏覽器，欄位取值直接在瀏覽器上可視化定位。
五．數據管理：多次排重
1.內置資料庫，數據採集完畢直接存儲入庫。
2.在軟體內部創建數據表和數據欄位，直接關聯資料庫。
3.採集數據時配置數據模板，網頁數據直接存入對應數據表的相應欄位。
4.正式採集之前預覽採集結果，有問題及時修正配置。
5.數據表可導出為csv格式，在Excel工作表中瀏覽。
6.數據可智能排除，二次清洗過濾。
六．智能：智能模擬用戶和瀏覽器行為
1.智能模擬瀏覽器和用戶行為，突破反爬蟲限制。
2.自動抓取網頁的各類參數和下載過程的各類參數。
3.支持動態IP代理加速，智能過濾無效IP代理，提升代理的利用效率和採集質量。
4.支持動態調整數據抓取策略，多種策略讓您的數據無需重采，不再擔心漏采，數據採集更智能。
5.自動定時採集。
6.設置採集任務條數，自動停止採集。
7.設置文件大小閾值，自動過濾超大文件。
8.自由設置瀏覽器是否加速，自動過濾頁面的flash等無關內容。
9.智能定位欄位取值區域。
10.可以根據字元串特徵自動定位取值區域。
11.智能識別表格的多值，表格數據可以完美存入相應欄位。
七．優質服務
1.數據採集完全在本地進行，保證數據安全性。
2.提供大量免費的各個網站配置模板在線下載，用戶可以自由導入導出。
3.免費升級後續不斷開發的更多功能。
4.為用戶提供各類高端定製化服務，全方位來滿足用戶的數據需求。
㈢ 製作java爬蟲程序需要什麼配置 軟體。。。
只需要你的電腦能保證網路通暢，然後就是安裝了JRE、JDK和開發IDE.
和開發普通java程序一樣，沒有其他特殊的配置
㈣ 如果在一個網站開發程序里編寫一段爬蟲程序能不能實現將爬蟲內容展現出來
正規情況下可以用robots協議阻止搜索引擎爬取網站
但並不是所有的搜索引擎都遵循robots協議(某些知名搜索引擎也不遵守，該協議不是強制遵循的)
一般反爬蟲的程序最簡單的方法就是通過UserAgent識別爬蟲，但並不是所有爬蟲都有明確的UserAgent，還有些不知名的搜索引擎不設置自己獨有的UserAgent，同時UserAgent也可以被任意的偽造，所以並不能保證完全過濾一些爬蟲。
為了更進一步識別爬蟲，只能通過限制某個IP的訪問，如果IP在變化也很難阻止其爬行，僅能根據一些訪問行為進行分析是否為爬蟲自動抓取，如果是爬蟲，則可以用一個403返回碼阻止網頁的顯示。這樣搜索引擎抓到的頁面都是403錯誤頁面，具體內容無法抓取。
如果有人專門想要抓取你的網站內容，它可以專門定製一種策略來想辦法模擬人工訪問，很難做到徹底阻止。
㈤ 爬蟲web軟體 用什麼開發語言最好
C#比較好一點
㈥ 如何一步一步學習到網路爬蟲技術
作為零基礎的你，我想你可能是想解決工作中的一個實際問題，或者僅僅是很想學習一下爬蟲的技術，多一技之長。其實我准備開始學 Python 爬蟲的時候也是一樣，老闆派了任務，暫時沒有人會爬蟲，我只有自學頂硬上。因此，我可以用思維圖給你理清楚，你應該干什麼。
我零基礎但我想學網路爬蟲：
路徑1：我不想寫代碼，Excel/八爪魚，用這些工具的好處是你可以很快上手，但是只能爬一些簡單的網站，一旦網站出現限制，這些方法就是個玩具。因此，想弄點數據玩玩，玩這些玩具就好。
路徑2：我可以學寫代碼，但是會不會很難啊？我以我的經驗告訴你，找一個好的老師比自我胡思亂想，自我設限好得多。寫代碼這個事不難學，這也是為什麼市面上有那麼多代碼速成的教學。這也是為什麼我有些同學1年轉專業進 Google 的事情發生。
這里給你描畫一下你的學習之路：
學會 Python 的基本代碼： 假如你沒有任何編程基礎，時間可能花1-2周，每天3小時。假設你有編程基礎（VBA 也算吧），1小時。
理解爬蟲原理：5分鍾。為什麼這么重要？我自認為學一個東西就像建大樓，先弄清楚大框架，然後再從地基學起。很多時候我們的學習是，還沒弄懂大框架，就直接看網上的碎片化的教學，或者是跟著網上教學一章一章學，很容易學了芝麻丟了西瓜。我的自學就在這上面走了很多彎路。
應用爬蟲原理做一個簡單爬蟲：30分鍾。
先吃透獲取網頁：就是給一個網址發個請求，那麼該網址會返回整個網頁的數據。類似：你在瀏覽器鍵入網址，回車，然後你就看到了網站的整個頁面。
再吃透解析網頁：就是從整個網頁的數據中提取你想要的數據。類似：你在瀏覽器中看到網站的整個頁面，但是你想找到產品的價格，價格就是你想要的數據。
再學會儲存數據：存儲很簡單，就是把數據存下來。
學會這些之後，你可以出去和別人說，我會 Python 爬蟲，我想也沒有人質疑你了。那麼學完這一套下來，你的時間成本是多少呢？如果你有編程基礎的話，1周吧。
所以，你是想當爬蟲做個玩具玩玩，還是掌握一門實戰利器。我覺得你可以自己衡量一下。
㈦ 除了網路爬蟲技術，還有其他自動抓取數據的工具嗎
網路爬蟲的功能有限哦，只能爬網頁的內容，也就是BS 端的數據哦。
如果您希望採集到軟體系統，也就是CS 端的數據的話，用博 為的小幫 軟體機器人哦。
小幫 BS 和CS 端的數據都能採集的，全自動運行，只需要簡單的配置即可。相對於人工的採集數據，小幫的效率大大提升！
㈧ 編寫爬蟲需要用到哪些軟體最後得到的是什麼一個exe程序嗎
寫爬蟲也不需要什麼具體的軟體，主要是看你用什麼語言用什麼庫罷了。用python實現爬蟲應該是最簡單的，有功能強大的urllib2,beautifulsoup，request等庫，用起來很方便，網上找點教程就會了。寫爬蟲還可以試試 scrapy框架，可是省去好多細節，用起來很方便。如果用python等腳本來寫的話需要一個解釋器就夠了。如果是用java等來寫的話就會編譯成一個exe可執行文件。
㈨ 製作java 網路爬蟲；請問有什麼好的開發工具，或者網頁分析工具、快速開發工具之類的。
我用的網頁分析工具是jsoup-1.5.2.jar，http://www.open-open.com/jsoup/是它的API，可以試試吧。若有更好的工具望樓主分享！