免費網路數據抓取軟體

A. 抓包工具有哪些

你在編程的時候才需要做抓包操作，你沒有必要專門下載一個工具，你只要使用chrome瀏覽器會自動的帶一款工具，而且非常有用。

B. 四大網路抓包神器，總有一款適合你~

無論是開發還是測試，在工作中經常會遇到需要抓包的時候。本篇文章 主要介紹如何在各個平台下，高效的抓包。

目前的抓包軟體總體可以分為兩類：

一種是設置代理抓取http包，比如Charles、mitmproxy這些軟體。

另一種是直接抓取經過網卡的所有協議包，其中最出名就是大名鼎鼎的wireshark以及linux自帶的抓包軟體tcpmp。

下面重點介紹一下這四個抓包工具的特點以及使用。

wireshark想必大多數程序員都不會陌生。wireshark在各個平台都可以安裝使用，它 可以抓取經過指定網卡的所有協議。 wireshark雖然很強大，但是對初學者其實不是很友好。

這也正是由於它太強大，它可以抓取所有包，所以初學者在使用時面對茫茫數據流不知所措。初學者需要認真的去學習怎麼過濾得到自己感興趣的包，但是如果不熟悉wireshark的過濾語法，要過濾數據包將舉步維艱。

過濾語法簡單介紹

wireshark的過濾語法總結起來其實也很簡單，就是 以協議開頭，後面可以跟著協議的屬性，然後加上一些判斷符號， 比如contains、==、>、<等等。比如只想展示http的協議內容，則直接在過濾器輸入框中輸入http即可。

如下圖：

比如我 只想看http協議的請求頭中uri包含』/api』的協議，就可以這么寫：

如果想通過目標ip或者來源ip來過濾包，就不可以以http協議為前綴了，因為這些是ip協議的相關屬性。 通過目標ip來過濾可以這么寫：

上面表示目標機器的ip是61.135.217.100並且協議是http的包。

wireshark支持很多種協議，我們可以通過右上角的expression來打開搜索支持的協議，還可以找出協議支持的屬性，然後填入期待的值，軟體會自動為我們構建過濾語句。

優點：

功能強大，可以抓取所有協議的包

抓到的包容易分析

缺點：

由於線上伺服器沒有GUI，只有命令行，因此無法在線上伺服器使用

無法分析https數據包，由於wireshark是在鏈路層獲取的數據包信息，所以獲取到的https包是加密後的數據，因此無法分析包內容。當然，我們可以對https數據包進行解密， 但是操作具有一定的復雜度，可能要消耗很多時間。

tcpmp是linux上自帶的一個抓包軟體(mac也有)，功能強大，也可以抓取經過指定網卡的所有協議包。

由於是命令行工具，tcpmp抓取到的包不易於分析，一個常見的做法是將tcpmp抓到的包輸出到某個文件，然後將文件拷貝下來用wireshark分析。

一些簡單的過濾參數：

抓包內容輸出到文件：

之後我們可以把test.cap直接用wireshark打開，就可以很直觀的分析包了。

用tcpmp輸出cap文件包：

tcpmp-r test.cap

Charles是一款http抓包工具，它是通過代理來實現的抓包。也就是我們在訪問網頁時需要配置代理，將代理指向Charles監聽的埠，之後我們的http請求都會發向Charles的埠，之後Charles會幫我們轉發並記錄協議內容。

Charles的使用非常簡單，配置好代理後，Charles就開始抓包了。

我們可以直接通過Charles的GUi查看包的內容：

上圖中的unknown表示https加密後的數據，所以看到不協議的具體內容。我們可以通過安裝Charles的證書，讓Charles也可以查看https協議的具體內容。

優點 :

使用簡單，只需配置一下代理地址就可以

要抓取https協議的配置也很簡單，只要安裝下charles的證書就可以了

mitmproxy是python寫的一款http抓包工具，雖然只支持http抓包，但是它的特性非常強大，它不僅可以抓包，還可以對請求進行攔截、重現等操作。和Charles一樣，它的原理也是基於代理，使用的時候需要設置代理指向它。

mitmproxy是命令行工具，但是也自帶了mitmweb工具，可以讓用戶在網頁上操作。另外，mitmproxy還支持用戶自行編寫插件，可以編寫腳本對請求進行處理，然後把修改後的請求發出去。

1、安裝 

首先需要在機器安裝python3以及pip3.之後通過pip3安裝

pip3 install mitmproxy

如果安裝mitmproxy過程中報錯MoleNotFoundError: No mole named '_ssl'，就需要安裝一下OpenSSL，然後再重新編譯安裝一下python3。

安裝好openSSL後再執行pip3 install mitmproxy

2、使用 

安裝後，直接在命令行輸入mitmproxy就會進入它的交互界面：

這時候mitmproxy已經開始監聽8080埠(默認)，接著，我們可以去瀏覽器設置代理。瀏覽器設置代理的方式有很多,這里不多做介紹。

設置完代理後，訪問瀏覽器的請求都會被發到mitmproxy上，mitmproxy根據規則對請求進行攔截(不配置攔截規則的話則都不攔截)，所有經過的請求都會被輸出：

在交互界面上可以通過快捷鍵操作請求。輸入問號』?』，可以查看快捷鍵的文檔。

3、下面介紹一些常用的快捷鍵和功能

① 請求過濾  

在請求列表交互界面，按下f鍵後，可以輸入一些過濾規則：

具體的過濾語法可以按下』?『鍵後，再按下方向鍵右』—>』或者l鍵。

② 請求攔截 

按下i鍵後，可以對指定的請求進行攔截。按mitmproxy收到指定條件的請求時，不會立馬把它轉發出去，而是等待我們執行resume操作後，才會把請求轉發出去——在這期間我們甚至可以對請求進行手動修改。

紅色字體表示該請求被攔截，之後我們可以按入a鍵來恢復該請求，可以輸入A鍵恢復所有被攔截的請求。

③ 查看/編輯請求 

把指示游標移動到某個請求上，按回車可以查看請求的內容。或者滑鼠直接點擊請求也可以。

之後通過左右方向鍵可以查看request、response、detail等信息。

如果要編輯請求，可以在這個界面輸入e，然後會讓我們選擇編輯哪塊內容：

之後就會進入vim編輯界面編輯相應的內容了（保存後會生效）。

④ 重發請求 

mitmproxy的游標指向某個請求時，按下r鍵可以重發這個請求(重發前可以對該請求進行編輯)。

按下』:』鍵後，可以輸入命令，這樣我們就可以通過過濾規則批量的重發請求

replay.client是mitmproxy內置的一個命令，我們也可以自行編寫命令。命令的編寫可以參考官網文檔，這里不做介紹。

⑤ 插件開發 

我們可以編寫插件，然後再啟動的時候指定插件，mitmproxy處理請求的時候會執行一個插件的鏈，這樣我們就可以對請求進行編輯然後再發送出去了。

借用官網的插件demo：

這個方法對每一個請求進行處理，然後列印序號。通過mitmproxy -s test.py來讓插件生效。通過插件可以綁定各種連接事件。感興趣的朋友可以自行去mitmproxy官網看文檔，這里不多做介紹。

⑥ 保存抓到的請求數據 

通過w快捷鍵我們可以把這次抓到的請求包保存到文件上。

通過mitmproxy -r file可以讀取以前抓取的請求信息進行分析。

優點：

命令行操作，可以在無GUI界面的伺服器上使用

對於這幾個抓包神器，我總結了下使用場景：

只抓http協議的話：

推薦使用mitmproxy。mitmproxy豐富的功能不僅可以滿足我們的抓包需求，還可以提升我們的工作效率。比如測試可以抓包後一鍵重發請求來重現bug，開發調試的時候可以修改請求內容等等。

如果是在線上的沒有GUI的伺服器：

推薦使用tcpmp，雖然mitmproxy也可以支持命令行抓包，但是生產環境的伺服器最好不要亂安裝第三方插件。另外，大多數伺服器都有裝tcpmp。我們可以通過把請求的內容輸出到文件，然後拷貝會自己的電腦用wireshark分析。

想要抓取http以外的協議的話：

直接上wireshark。功能強大。對於Charles，感覺用了mitmproxy之後，就基本用不上Charles了。Charles好像也可以編輯後再發送，但是感覺不是很好用，可能我用的不是很熟吧。

C. 跪求好心人分享Charles(抓包神器) V4.6.1 中文免費版軟體免費百度雲資源

charles中文破解版.rar 免費下載

鏈接:
https://pan..com/s/1GtnWF-pQQLoxYaxzBvc67w

是一個HTTP代理伺服器,HTTP監視器,反轉代理伺服器，當瀏覽器連接Charles的代理訪問互聯網時，Charles可以監控瀏覽器發送和接收的所有數據。它允許一個開發者查看所有連接互聯網的HTTP通信，這些包括request, response和HTTP headers （包含cookies與caching信息）。

D. 有沒有一款類似網路爬蟲的數據抓取工具，可以抓取windows應用程序的數據

ForeSpider數據採集系統是天津市前嗅網路科技有限公司自主知識產權的通用性互聯網數據採集軟體。軟體幾乎可以採集互聯網上所有公開的數據，通過可視化的操作流程，從建表、過濾、採集到入庫一步到位。支持正則表達式操作，更有強大的面向對象的腳本語言系統。
台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
軟體特點：
一．通用性：可以抓取互聯網上幾乎100 %的數據
1.支持用戶登錄。
2.支持Cookie技術。
3.支持驗證碼識別。
4.支持HTTPS安全協議。
5.支持OAuth認證。
6.支持POST請求。
7.支持搜索欄的關鍵詞搜索採集。
8.支持JS動態生成頁面採集。
9.支持IP代理採集。
10.支持圖片採集。
11.支持本地目錄採集。
12.內置面向對象的腳本語言系統，配置腳本可以採集幾乎100%的互聯網信息。

二．高質量數據：精準採集所需數據
1.獨立知識產權JS引擎，精準採集。
2.內部集成資料庫，數據直接採集入庫。
3.內部創建數據表結構，抓取數據後直接存入資料庫相應欄位。
4.根據dom結構自動過濾無關信息。
5.通過模板配置鏈接抽取和數據抽取，目標網站的所有可見內容均可採集，智能過濾無關信息。
6.採集前數據可預覽採集，隨時調整模板配置，提升數據精度和質量。
7.欄位的數據支持多種處理方式。
8.支持正則表達式，精準處理數據。
9.支持腳本配置，精確處理欄位的數據。

三．高性能：千萬級的採集速度
1.C++編寫的爬蟲，具備絕佳採集性能。
2.支持多線程採集。
3.台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。
4.伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。
5.並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
6.軟體性能穩健，穩定性好。

四．簡易高效：節約70%的配置時間
1.完全可視化的配置界面，操作流程順暢簡易。
2.基本不需要計算機基礎，代碼薄弱人員也可快速上手，降低操作門檻，節省企業爬蟲工程師成本。
3.過濾採集入庫一步到位，集成表結構配置、鏈接過濾、欄位取值、採集預覽、數據入庫。
4.數據智能排重。
5.內置瀏覽器，欄位取值直接在瀏覽器上可視化定位。

五． 數據管理：多次排重
1. 內置資料庫，數據採集完畢直接存儲入庫。
2. 在軟體內部創建數據表和數據欄位，直接關聯資料庫。
3. 採集數據時配置數據模板，網頁數據直接存入對應數據表的相應欄位。
4. 正式採集之前預覽採集結果，有問題及時修正配置。
5. 數據表可導出為csv格式，在Excel工作表中瀏覽。
6. 數據可智能排除，二次清洗過濾。

六． 智能：智能模擬用戶和瀏覽器行為
1.智能模擬瀏覽器和用戶行為，突破反爬蟲限制。
2.自動抓取網頁的各類參數和下載過程的各類參數。
3.支持動態IP代理加速，智能過濾無效IP代理，提升代理的利用效率和採集質量。
4.支持動態調整數據抓取策略，多種策略讓您的數據無需重采，不再擔心漏采，數據採集更智能。
5.自動定時採集。
6.設置採集任務條數，自動停止採集。
7.設置文件大小閾值，自動過濾超大文件。
8.自由設置瀏覽器是否加速，自動過濾頁面的flash等無關內容。
9.智能定位欄位取值區域。
10.可以根據字元串特徵自動定位取值區域。
11.智能識別表格的多值，表格數據可以完美存入相應欄位。

七． 優質服務
1.數據採集完全在本地進行，保證數據安全性。
2.提供大量免費的各個網站配置模板在線下載，用戶可以自由導入導出。
3.免費升級後續不斷開發的更多功能。
4.免費更換2次綁定的計算機。
5.為用戶提供各類高端定製化服務，全方位來滿足用戶的數據需求。

E. 網路爬蟲抓取數據 有什麼好的應用

一般抓數據的話可以學習Python，但是這個需要代碼的知識。
如果是沒有代碼知識的小白可以試試用成熟的採集器。
目前市面比較成熟的有八爪魚，後羿等等，但是我個人習慣八爪魚的界面，用起來也好上手，主要是他家的教程容易看懂。可以試試。

F. 有哪些抓包工具

第五名：TCPDump（網路類）

根據白帽子黑客抓包工具的使用率，將TCPmp排在第五的位置。

第一名：BurpSuite (web 報文)

BurpSuite是現在Web安全滲透的必備工具。

它是一個集成平台，平台中匯集了可以用來攻擊web應用的工具，這些工具有很多介面，共享一個擴展性比較強的框架。

G. 常用的抓包工具都有哪些

常用的抓包工具有：fiddler抓包工具、Charles抓包工具、Firebug抓包工具、httpwatch抓包工具、Wireshark抓包工具、SmartSniff 抓包工具。

1、fiddler抓包工具，是客戶端和服務端的http代理，客戶端所有的請求都要先經過fiddler，到響應的服務端，然後端返回的所有數據也都要經過fiddler，fiddler也是最常用的抓包工具之一。

2、Charles抓包工具也是比較常用的，和fiddler差不多，請求介面和返回數據的顯示方式不一樣，Charles是樹狀結構比較清晰，fiddler是按照時間倒敘排的。

3、Firebug抓包工具是瀏覽器firefox瀏覽器自帶插件，支持很多種瀏覽器，直接按f12,就可以打開，用起來比較方便。

4、httpwatch抓包工具是強大的網頁數據分析工具，安裝簡單，不需要設置代理和證書，但只能看不能修改，，集成在Internet Explorer工具欄。

5、Wireshark抓包工具很強大，可以捕捉網路中的數據，並為用戶提供關於網路和上層協議的各種信息。但是如果只是抓取http和https的話，還是用fiddler和Charles比較簡潔一點。

6、SmartSniff抓包工具是一款方便小巧的 TCP/IP 數據包捕獲軟體，網路監視實用程序。

(7)免費網路數據抓取軟體擴展閱讀：

抓包工具在我們工作中主要用在：

A：抓取發送給伺服器的請求，觀察下它的請求時間還有發送內容等等；

B：去觀察某個頁面下載組件消耗時間太長，找出原因，要開發做性能調優；

C：或者我們去做斷點或者是調試代碼等等。

抓包工具所具備的幾個功能：

1）它提供類似Sniffer的包分析功能，可以幫助我們詳細拆分IP結構內容，帶我們深入的了解TCP/IP協議；

2）它可以用來分析軟體佔用埠及通訊情況比重的工具；

3）它可以讓我們從海量IP數據包中，找出我們需要的IP數據包，還能通過用戶端的情況，幫助我們能截獲各類敏感數據包。