什麼軟體可以抓取網路

① 四大網路抓包神器，總有一款適合你~

無論是開發還是測試，在工作中經常會遇到需要抓包的時候。本篇文章 主要介紹如何在各個平台下，高效的抓包。

目前的抓包軟體總體可以分為兩類：

一種是設置代理抓取http包，比如Charles、mitmproxy這些軟體。

另一種是直接抓取經過網卡的所有協議包，其中最出名就是大名鼎鼎的wireshark以及linux自帶的抓包軟體tcpmp。

下面重點介紹一下這四個抓包工具的特點以及使用。

wireshark想必大多數程序員都不會陌生。wireshark在各個平台都可以安裝使用，它 可以抓取經過指定網卡的所有協議。 wireshark雖然很強大，但是對初學者其實不是很友好。

這也正是由於它太強大，它可以抓取所有包，所以初學者在使用時面對茫茫數據流不知所措。初學者需要認真的去學習怎麼過濾得到自己感興趣的包，但是如果不熟悉wireshark的過濾語法，要過濾數據包將舉步維艱。

過濾語法簡單介紹

wireshark的過濾語法總結起來其實也很簡單，就是 以協議開頭，後面可以跟著協議的屬性，然後加上一些判斷符號， 比如contains、==、>、<等等。比如只想展示http的協議內容，則直接在過濾器輸入框中輸入http即可。

如下圖：

比如我 只想看http協議的請求頭中uri包含』/api』的協議，就可以這么寫：

如果想通過目標ip或者來源ip來過濾包，就不可以以http協議為前綴了，因為這些是ip協議的相關屬性。 通過目標ip來過濾可以這么寫：

上面表示目標機器的ip是61.135.217.100並且協議是http的包。

wireshark支持很多種協議，我們可以通過右上角的expression來打開搜索支持的協議，還可以找出協議支持的屬性，然後填入期待的值，軟體會自動為我們構建過濾語句。

優點：

功能強大，可以抓取所有協議的包

抓到的包容易分析

缺點：

由於線上伺服器沒有GUI，只有命令行，因此無法在線上伺服器使用

無法分析https數據包，由於wireshark是在鏈路層獲取的數據包信息，所以獲取到的https包是加密後的數據，因此無法分析包內容。當然，我們可以對https數據包進行解密， 但是操作具有一定的復雜度，可能要消耗很多時間。

tcpmp是linux上自帶的一個抓包軟體(mac也有)，功能強大，也可以抓取經過指定網卡的所有協議包。

由於是命令行工具，tcpmp抓取到的包不易於分析，一個常見的做法是將tcpmp抓到的包輸出到某個文件，然後將文件拷貝下來用wireshark分析。

一些簡單的過濾參數：

抓包內容輸出到文件：

之後我們可以把test.cap直接用wireshark打開，就可以很直觀的分析包了。

用tcpmp輸出cap文件包：

tcpmp-r test.cap

Charles是一款http抓包工具，它是通過代理來實現的抓包。也就是我們在訪問網頁時需要配置代理，將代理指向Charles監聽的埠，之後我們的http請求都會發向Charles的埠，之後Charles會幫我們轉發並記錄協議內容。

Charles的使用非常簡單，配置好代理後，Charles就開始抓包了。

我們可以直接通過Charles的GUi查看包的內容：

上圖中的unknown表示https加密後的數據，所以看到不協議的具體內容。我們可以通過安裝Charles的證書，讓Charles也可以查看https協議的具體內容。

優點 :

使用簡單，只需配置一下代理地址就可以

要抓取https協議的配置也很簡單，只要安裝下charles的證書就可以了

mitmproxy是python寫的一款http抓包工具，雖然只支持http抓包，但是它的特性非常強大，它不僅可以抓包，還可以對請求進行攔截、重現等操作。和Charles一樣，它的原理也是基於代理，使用的時候需要設置代理指向它。

mitmproxy是命令行工具，但是也自帶了mitmweb工具，可以讓用戶在網頁上操作。另外，mitmproxy還支持用戶自行編寫插件，可以編寫腳本對請求進行處理，然後把修改後的請求發出去。

1、安裝 

首先需要在機器安裝python3以及pip3.之後通過pip3安裝

pip3 install mitmproxy

如果安裝mitmproxy過程中報錯MoleNotFoundError: No mole named '_ssl'，就需要安裝一下OpenSSL，然後再重新編譯安裝一下python3。

安裝好openSSL後再執行pip3 install mitmproxy

2、使用 

安裝後，直接在命令行輸入mitmproxy就會進入它的交互界面：

這時候mitmproxy已經開始監聽8080埠(默認)，接著，我們可以去瀏覽器設置代理。瀏覽器設置代理的方式有很多,這里不多做介紹。

設置完代理後，訪問瀏覽器的請求都會被發到mitmproxy上，mitmproxy根據規則對請求進行攔截(不配置攔截規則的話則都不攔截)，所有經過的請求都會被輸出：

在交互界面上可以通過快捷鍵操作請求。輸入問號』?』，可以查看快捷鍵的文檔。

3、下面介紹一些常用的快捷鍵和功能

① 請求過濾  

在請求列表交互界面，按下f鍵後，可以輸入一些過濾規則：

具體的過濾語法可以按下』?『鍵後，再按下方向鍵右』—>』或者l鍵。

② 請求攔截 

按下i鍵後，可以對指定的請求進行攔截。按mitmproxy收到指定條件的請求時，不會立馬把它轉發出去，而是等待我們執行resume操作後，才會把請求轉發出去——在這期間我們甚至可以對請求進行手動修改。

紅色字體表示該請求被攔截，之後我們可以按入a鍵來恢復該請求，可以輸入A鍵恢復所有被攔截的請求。

③ 查看/編輯請求 

把指示游標移動到某個請求上，按回車可以查看請求的內容。或者滑鼠直接點擊請求也可以。

之後通過左右方向鍵可以查看request、response、detail等信息。

如果要編輯請求，可以在這個界面輸入e，然後會讓我們選擇編輯哪塊內容：

之後就會進入vim編輯界面編輯相應的內容了（保存後會生效）。

④ 重發請求 

mitmproxy的游標指向某個請求時，按下r鍵可以重發這個請求(重發前可以對該請求進行編輯)。

按下』:』鍵後，可以輸入命令，這樣我們就可以通過過濾規則批量的重發請求

replay.client是mitmproxy內置的一個命令，我們也可以自行編寫命令。命令的編寫可以參考官網文檔，這里不做介紹。

⑤ 插件開發 

我們可以編寫插件，然後再啟動的時候指定插件，mitmproxy處理請求的時候會執行一個插件的鏈，這樣我們就可以對請求進行編輯然後再發送出去了。

借用官網的插件demo：

這個方法對每一個請求進行處理，然後列印序號。通過mitmproxy -s test.py來讓插件生效。通過插件可以綁定各種連接事件。感興趣的朋友可以自行去mitmproxy官網看文檔，這里不多做介紹。

⑥ 保存抓到的請求數據 

通過w快捷鍵我們可以把這次抓到的請求包保存到文件上。

通過mitmproxy -r file可以讀取以前抓取的請求信息進行分析。

優點：

命令行操作，可以在無GUI界面的伺服器上使用

對於這幾個抓包神器，我總結了下使用場景：

只抓http協議的話：

推薦使用mitmproxy。mitmproxy豐富的功能不僅可以滿足我們的抓包需求，還可以提升我們的工作效率。比如測試可以抓包後一鍵重發請求來重現bug，開發調試的時候可以修改請求內容等等。

如果是在線上的沒有GUI的伺服器：

推薦使用tcpmp，雖然mitmproxy也可以支持命令行抓包，但是生產環境的伺服器最好不要亂安裝第三方插件。另外，大多數伺服器都有裝tcpmp。我們可以通過把請求的內容輸出到文件，然後拷貝會自己的電腦用wireshark分析。

想要抓取http以外的協議的話：

直接上wireshark。功能強大。對於Charles，感覺用了mitmproxy之後，就基本用不上Charles了。Charles好像也可以編輯後再發送，但是感覺不是很好用，可能我用的不是很熟吧。

② 電腦如何抓取不在同一網路的手機數據包

電腦抓取不在同一網路的手機數據包的方法。
首先你可以選擇各類抓包軟體，如fiddler，charles等等，確定好抓包埠，一般是8888，並在手機上安裝好相應的證書。具體方法如下：
1、首先手機連接wifi。
2、打開手機設置，個人熱點，打開運隱熱點。
3、將手機與電腦通過數據線連接，然後電腦會通過你的手機聯網。
4、查看活動網路，余絕將你本地網線的網路給禁用，剩下那個是手機提供的網路。
5、打開fiddler，查看旁毀廳當前網路ip，然後配置你手機wifi的代理為當前fiddler上顯示的ip，埠號還是按照之前的8888。
然後你操作手機，就能通過電腦抓到數據包，裡面有些步驟我省略了，因為既然有這個需求的，應該不是菜鳥了，自己能把我省略的配置好。有什麼問題可以留言，看到就會解答。

③ 除了網路爬蟲，還有哪些方法可以採集數據

這里介紹3個非常不錯的網路爬蟲工具，可以自動抓取網站數據，操作簡單、易學易懂，不需要編寫一行代碼，感興趣的朋友可以嘗試一下：

01

八爪魚採集器

這是一個非常不錯的國產網路爬蟲軟體，目前僅支持Windows平台，個人使用完全免費，只需簡單創建任務，設置欄位，就可採集大部分網頁數據，內置了大量數據採集模板，可以輕松爬此漏慧取天貓、京東、淘寶、大眾點評等熱門網站，官方自帶有非常詳細的入門教學文檔和示例，非常適合初學者學習和掌握：

02

後羿採集器

這是一個非常智能的網路爬蟲軟體，完美兼容3大操作搜遲平台，個人使用完全免費，基於人工智慧技術，可以輕松識別網頁中的數據，包括列表、鏈接、圖片等，支持自動翻頁和數據導出功能，對於小白使用來說，非常不錯，當然，官方也自帶有非常豐富的入門教程，可以幫助初學者更好的掌握和使用：

03

火車採集器

這是一個功能強大的網路爬蟲軟體，在業界非常流行，也非常受歡迎，集成了數據從採集、處理、分析到挖掘的全過程，可以靈活抓取網路上任意散亂的數據（規則設置非常智能），並通過一系列准確的分析得到有價值的結果，官方自帶有非常詳細的使用文檔和教程，初學者學習的話，很容易掌握：

目前，就分享這3個不錯的網路爬蟲工具吧，對於日常爬取大部分網站來說，完全夠用了，只要你熟悉一下使用過程，很快就能掌握的，當然，如果你了解Python等編程語言，也可森答以使用scrapy等框架，網上也有相關教程和資料，介紹的非常詳細，感興趣的話，可以搜一下，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言進行補充。

④ 有哪些不錯的爬蟲軟體是可以免費爬取網頁數據的

這里介紹2個不錯的爬蟲軟體—Excel和八爪魚，對於規整的靜態網頁來說，使用Excel就可以爬取，稍微復雜一些的網頁，可以使用八爪魚來爬取，下面我簡單介紹一下這2個軟體，主要內容如下：

Excel

Excel大部分人都應該使用過，除了日常的數據統計處理外，也可以爬取網頁數據，下面我簡單介紹一下爬取過程，主要步驟如下，這里以爬取PM2.5數據為例：

1.首先，新建一個Excel文件並打開，依次點擊菜單欄的「數據」->「自網站」，如下：

2.接著，在彈出的「新建Web查詢」對話框中輸入需要爬取的網址，點擊「轉到」，就會載入出我們需要爬取的網頁，如下：

3.然後，點擊右下角的「導入」按鈕，選擇需要存放數據的工作表或新建工作表，點擊「確定」按鈕，就會自動導入數據，成功導入後的數據如下：

4.這里如果你需要定時刷新數據，可以點擊菜單欄的「屬性」，在彈出的對話框中設置刷新頻率，就可定時刷新數據，如下：

八爪魚

這是一個專門用於採集數據的爬蟲軟體，簡單好學，容易掌握，只需要設置一下頁面要爬取的元素，就可以自動爬取數據，並且可以保存為Excel或導出資料庫，下面我簡單介紹一下這個軟體的安裝和使用：

1.下載安裝八爪魚，這個直接到官網上下載就行，如下，直接點擊下載安裝就行：

2.安裝完成後，打開這個軟體，枯握在主頁面中點擊「自定義採集」，如下：

3.接著在任務頁面中輸入需要爬取的網頁地址，如下，這里以爬取大眾點評數據為例:

4.點擊「保存網址」，就能自動打開網頁，如下：

5.接著，我們就可以直接選取需消卜要爬取的標簽數據，如下，按著操作提示一步一步往下走就行，很簡單：

6.設置完成後，直接點擊「啟動本地採集」，就能自動開始爬取數據，成功爬取後的數據如下，就是我們剛才設置的標簽數據：

7.這里點擊「導出數據」，可以將爬取的數據導出為你需要的格式，如下，可以是Excel、CSV、資料庫等：

至此，我們就完成了利用Excel和八爪魚來爬取網頁數據。總的來說，這2個軟體使用起來都非常簡單，只要你熟悉一下相關操作，很快就能掌握的，當然，你也可以使用其他爬蟲軟體，像火車頭等，基本功能和八爪魚差不多，網上也有相關資沒橋慶料和教程，感興趣的話，可以搜一下，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言。

⑤ 爬蟲軟體都有什麼，想從網上爬一些數據，必須寫代碼嗎

這個不一定，爬蟲只是一個數據獲取的過程，不一定非得會代碼，目前網上有許多現成的軟體都可以直接爬取數據，下面我簡單介紹3個，分別是後羿、八爪魚和火車頭，感興趣的朋友可以嘗試一下：

01

簡單軟體—後羿採集器

這是一款非常適合小白的網頁採集器，完美支持3大操作平台，個人使用完全免費，基於人工智慧技術，只需輸入網頁地址，軟體就會自動提取、解析出數據，支持數據預覽、導出和自動翻頁功能，簡單實用，不需配置任何規則，如果你想快速獲取網頁數據，又對代碼不熟悉，可以使用一下這個軟體，非常容易學習：

02

國產軟體—八爪魚採集器

這是一個非常純粹的國產軟體，和後羿採集器不同，八爪魚採集器目前僅支持Windows平台，基本功能完全免費，高級功能的話，需要付費購買，目前支持簡易兆毀燃採集和自定義採集2種方式，自帶有許多現成的數據採集模板，可以快速採集某寶、某東等熱門網站數據，支持數據預覽和導出，對余睜於網站數據採集來說，也是一個不錯的選擇：

03

專業軟體—火車頭採集

這是一款非常專業、功能強大的數據採集軟體，和八爪魚一樣，目前也僅支持Windows平台，免費版可供個人直接使用，自動集成了數據從採集、清洗到分析的全過程，可快速設置抓取規則爬取網頁數據（靈活、智能、強大），不需編寫一行代碼，如果你對代碼不熟悉，沒有任何基礎，只是想單純的獲取網頁數據，可以使用一下這個軟體，也非常不錯：

目前，就分享這3個爬蟲軟體吧，對於日常使用來說，完全夠用了，當然，除了以上3個軟體，還有許多其他爬蟲軟體，像神策、造數族虛等也都非常不錯，只要你熟悉一下使用過程，很快就能掌握的，網上也有相關教程和資料，介紹的非常詳細，感興趣的話，可以搜一下，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言進行補充。

⑥ 好用的爬蟲抓取軟體有哪些

可以用八爪魚採集器。

網路爬蟲（又稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

隨著網路的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰。搜索引擎（Search Engine），例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：

（1）不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通過搜索引擎所返回的結果包含大量用戶不關心的網頁。

（2）通用搜索引擎的目標是盡可能大的網路覆蓋率，有限的搜索引擎伺服器資源與無限的網路數據資源之間的矛盾將進一步加深。

（3）萬維網數據形式的豐富和網路技術的不斷發展，圖片、資料庫、音頻、視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。

（4）通用搜索引擎大多提供基於關鍵字的檢索，難以支持根據語義信息提出的查詢。

⑦ 網路爬蟲抓取數據 有什麼好的應用

一般抓數據的話可以學習Python，但是這個需要代碼的知識。
如果是沒有代碼知識的小白可以試試用成熟的採集器。
目前市面比較成熟的有八爪魚，後羿等等，但是我個人習慣八爪魚的界面，用起來也好上手，主要是他家的教程容易看懂。可以試試。

⑧ winpcap4.1.3是什麼軟體

WinPcap4.1.3是一款非常實用的網路封包強力抓取工具。
這或腔款軟體能夠幫助用戶截取正在傳輸的網路數據包，無論數據包處於畢粗何種狀態能夠被衫數衫軟體識別並截取。同時，用戶還可以為軟體添加自定義的篩選規則，用於精準識別目標封包，將無用的封包過濾。軟體適用於64位操作系統，用戶在下載安裝後就可以直接使用了。

⑨ 抓包工具都有哪些

抓包工具有：fiddler抓包工具、Charles抓包工具、Firebug抓包工具、httpwatch抓包工具、Wireshark抓包工具、SmartSniff 抓包工具。

1、fiddler抓包工具，是客戶端和服務端的http代理，客戶端所有的請求都要先經過fiddler，到響應的服務端，然後端返回的所有數據也都要經過fiddler，fiddler也是最常用的抓包工具之一。

2、Charles抓包工具也是比較常用的，和fiddler差不多，請求介面和返回數據的顯示方式不一樣，Charles是樹狀結構比較清晰，fiddler是按照時間倒敘排的。

3、Firebug抓包工具是瀏覽器firefox瀏覽器自帶插件，支持很多種瀏覽器，直接按f12,就可以打開，用起來比較方便。

4、httpwatch抓包工具是強大的網頁數據分析工具，安裝簡單，不需要設置代理和證書，但只能看不能修改，，集成在Internet Explorer工具欄。

5、Wireshark抓包工具很強大，可以捕捉網路中的數據，並為用戶提供關於網路和上層協議的各種信息。但是如果只是抓取http和https的話，還是用fiddler和Charles比較簡潔一點。

6、SmartSniff抓包工具是一款方便小巧的 TCP/IP 數據包捕獲軟體，網路監視實用程序。

(9)什麼軟體可以抓取網路擴展閱讀：

抓包工具在我們工作中主要用在：

A：抓取發送給伺服器的請求，觀察下它的請求時間還有發送內容等等；

B：去觀察某個頁面下載組件消耗時間太長，找出原因，要開發做性能調優；

C：或者我們去做斷點或者是調試代碼等等。

抓包工具所具備的幾個功能：

1）它提供類似Sniffer的包分析功能，可以幫助我們詳細拆分IP結構內容，帶我們深入的了解TCP/IP協議；

2）它可以用來分析軟體佔用埠及通訊情況比重的工具；

3）它可以讓我們從海量IP數據包中，找出我們需要的IP數據包，還能通過用戶端的情況，幫助我們能截獲各類敏感數據包。

⑩ 抓包工具有哪些

你在編程的時候才需要做抓包操作，你沒有必要專門下載一個工具，你只要使用chrome瀏覽器會自動的帶一款工具，而且非常有用。