A. 网络数据包分析软件
目前使用的比较多的网络数据包分析软件主要有:Wireshark(或者是:Ethereal)。依靠这些软件抓取需要的信息包:首先可以根据自己的需要,设置各种灵活的过滤条件,捕获你所需要的信息包,然后对各种抓取到的信息包进行数据包分析,尤其在网络出现各种故障时,该技术显得特别有用。另外,就是可以捕获到非加密传输的用户名和密码。(例如:ftp 传输、telnet传输等都是明文传输)
B. 关于网络嗅探软件
1、WireShark WireShark是一个开源免费的高性能网络协议分析软件,它的前身就是非常着名的网络分析软件Ethereal。你可以使用它来解决网络疑难问题,进行网络协议分析,以及作为软件或通信协议的开发参考,同时也可以用来作为学习各种网络协议的教学工具等等。WireShark支持现在已经出现了绝大多数的以太网网卡,以及主流的无线网卡。WireShark具有如下所示的特点:(1) 支持多种操作系统平台,可以运行于Windows、Linux、Mac OS X10.5.5、Solaris和FreeBSD等操作系统上;(2) 支持超过上千种的网络协议,并且还会不断的增加对新协议的支持;(3) 支持实时捕捉,然后可在离线状态下进行分析;(4) 支持对VOIP数据包进行分析;(5) 支持对通过IPsec、ISAKMP、Kerberos、SNMPv3、SSL/TLS、WEP和WPA/WPA2等协议加密了的数据包解密;(6) 可以实时获取来自以太网、IEEE 802.11、PPP/HDLC、ATM、蓝牙、令牌环和FDDI(光纤)等网络中的数据包;(7) 支持读取和分析许多其它网络嗅探软件保存的文件格式,包括Tcpmp、Sniffer pro、EtherPeek、Microsoft Network Monitor和CISCO Secure IDS 等软件;(8) 支持以各种过滤条件进行捕捉,支持通过设置显示过滤来显示指定的内容,并能以不同的颜色来显示过滤后的报文;(9) 具有网络报文数据统计功能;(10) 可以将它捕捉到的数据导出为XML、PostScript、CSV及普通文本文件的格式。运行WireShark所需的文件:现在WireShark的最终版本是1.0.5,我们可以到www.wireshark.org/download/上下载它。如果WireShark要在Windows系统下运行时,还需要一个名为Winpcap的驱动库,现在它的稳定版本是WinPcap 4.0.2,最新的测试版本是WinPcap 4.1 beta3,我们可以从 http://www.winpcap.org上下载。如果是在Linux系统下使用时,就应当使用Libpcap驱动库,它现在的版本是Libpcap1.0.0,我们可以从www.tcpmp.org上下载。2、Tcpmp和WinmpTcpmp是一个老牌的使用最频繁的网络协议分析软件之一,它是一个基于命令行的工具。Tcpmp通过使用基本的命令表达式,来过滤网络接口卡上要捕捉的流量。它支持现在已经出现了绝大多数的以太网适配器。Tcpmp是一个工作在被动模式下的网络嗅探器。我们可以用它来在Linux系统下捕获网络中进出某台主机接口卡中的数据包,或者整个网络段中的数据包,然后对这些捕获到的网络协议(如TCP、ARP)数据包进行分析和输出,来发现网络中正在发生的各种状况。例如当出现网络连通性故障时,通过对TCP三次握手过程进行分析,可以得出问题出现在哪个步骤。而许多网络或安全专家,都喜欢用它来发现网络中是否存在ARP地址欺骗。我们也可以将它捕获到的数据包先写入到一个文件当中,然后用WireShark等有图形界面的嗅探器读取 它的命令格式为:tcpmp [ -adeflnNOpqStvx ] [ -c 数量 ] [ -F 文件名 ][ -i 网络接口 ] [ -r 文件名][ -s snaplen] [ -T 类型 ] [ -w 文件名 ] [表达式 ]我们可以使用-i参数来指定要捕捉的网络接口卡,用-r来读取已经存在的捕捉文件,用-w来将捕捉到的数据写入到一个文件中。至于其它的参数,我们可以从它的man文档中得到详细的说明,或者通过输入“tcpmp –-help”来到它的帮助信息。Tcpm有一个非常重要的特点就是可以使用正则表达式来作为过滤网络报文的条件,这使得它的使用变得非常灵活。我们可以通过它内建的各种关键字来指定想要过滤的条件,一旦一个网络数据包满足表达式的条件,则这个数据包就会被捕获。如果我们没有给出任何条件,那么所有通过指定网络接口卡中的网络报文都会被捕获。 Tcpmp使用以下三种类型的关键字:(1)、用于表式类型的关键字,主要有Host、Net和Port。它们分别用来指定主机的IP地址、指定网络地址和指定端口。如果你没有指定关键字,它就会使用缺省的Host类型。(2)、用于表式传输方向的关键字,主要有Src、Dst。分别用来指定要捕捉的源IP地址是什么或目的IP地址是什么的包。(3)、用来表式捕捉什么协议的关键字,主要有ip,arp,tcp,udp等。这些关键字之间可以使用逻辑运算关键字来连接,以便于我们指定某个范围或排除某个主机等。这些逻辑运算关键字也有三个,分别是取非运算“not”,或者可以用“!”符号表示;与运算“and”,可以用“&&” 符号表示;或运算“or”,可以用“||”符号表示。Tcpmp的关键字还有很多,我就不在此全部列出。其它的可以通过它的帮助文档来得到它们的详细说明。运行Tcpmp需要的文件:Tcpmp可以很好地运行在UNIX、Linux和Mac OSX操作系统上,它现在的最新版本是TCPDUMP 4.0.0,我们可以从www.tcpmp.org上下载它的二进制包。同时,要运行它,也需要系统中安装有Libpcap1.0.0这个驱动库。 3、 DSniffDSniff是一个非常强大的网络嗅探软件套件,它是最先将传统的被动嗅探方式向主动方式改进的网络嗅探软件之一。DSniff软件套件中包含了许多具有特殊功能的网络嗅探软件,这些特殊的网络嗅探软件可以使用一系列的主动攻击方法,将网络流量重新定向到网络嗅探器主机,使得网络嗅探器有机会捕获到网络中某台主机或整个网络的流量。这样一来,我们就可以将DSniff在交换或路由的网络环境中,以及Cable modem拔号上网的环境中使用。甚至,当安装有DSniff的网络嗅探器不直接连接到目标网络当中,它依然可以通过运程的方式捕获到目标网络中的网络报文。DSniff支持Telnet 、Ftp、Smtp、P0P3、HTTP,以及其它的一些高层网络应用协议。它的套件当中,有一些网络嗅探软件具有特殊的窃取密码的方法,可以用来支持对SSL和SSH加密了的数据进行捕获和解密。DSniff支持现在已经出现了的绝大多数的以太网网卡。 4、 EttercapEttercap也是一个高级网络嗅探软件,它可以在使用交换机的网络环境中使用。Ettercap能够对大多数的网络协议数据包进行解码,不论这个数据包是不是加密过了的。它也支持现在已经出现了的绝大多数以太网网卡。Ettercap还拥有一些独特的方法,用来捕获主机或整个网络的流量,并对这些流量进行相应的分析 5、NetStumblerNetStumbler是一个用来寻找使用IEEE802.11a/b/g标准的无线局域网工具。它支持 包括PCMCIA 无线适配器在内的绝大多数主流无线适配器,同时,还加入了对全球 GPS 卫星定位系统的支持
C. 求好用的数据抓取软件,各种格式的网页都能抓取的。
我最近买了一套数据抓取软件powercap,加密网站数据也能抓,也是别人推荐的,有试用版本的,你可以先试试。
D. 如何在Windows系统上用抓包软件Wireshark截获iPhone等网络通讯数据
Wireshark抓包软件:Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。
Connectify
Hotspot软件:能够将电脑的无线网卡变身为无线路由器共享无线网络的软件
带无线网卡的Windows电脑
软件名称:Connectify
Pro
破解版
v6.0.0.28615
[附序列号]软件大小:6.45MB更新时间:
配置Connectify
Hotspot
软件名称:Wireshark(网络包分析工具)
捕获网络数据包
V1.12.1
步骤:
1、两款软件安装完成后,运行Connectify
Hotspot,打开右下角的Connectify
Hotspot窗口,设置Password,等下在iPhone上我们要用此密码验证。第二个Internet
to
Share要选择Windows电脑的无线网卡,我这里直接显示的是Wi-Fi。然后Share
Over同样选择Wi-Fi。下面一项是加密方式,这跟设置无线路由器的加密方式一样。这里使用默认的WPA2。然后点击Start
Hotspot按钮就可以将这台Windows电脑的无线网卡变身成一个无线路由器了。
iPhone连接Connectify
Hotspot
1、Connectify
Hotspot成功运行后,打开iPhone手机,进入设置
-
无线局域网。这里就会看到一个新的无线网络,如图名为Connectify-me。点击它,然后输入我们在Connectify
Hotspot上设置的密码就可以连接了。
2、连接成功后可以在iPhone上打开浏览器试着打开一个网页,看能否打开。如果能够打开,就说明成功了。
用Wireshark抓包获取iPhone网络通讯数据
1、运行Wireshark,在窗口上点击Interface
List,看哪张网卡正在发送和接受数据包的,从Packets那一项可以看出。点击网卡前面的选择框选中,然后点Start按钮开始抓包。如下图:
2、现在你就可以在iPhone上运行各种网络应用了,只要他们有网络通讯传输任何数据,Wireshark都可以截获到这些数据。比如下图就是我用iPhone的浏览器Safari访问了一下Connectify的网站,Wireshark抓到的HTTP包。我使用了http过滤器,只显示了所有的HTTP包。这样我们就成功地使用Wireshark抓取到了iPhone的网络数据了。
E. 抓包工具有哪些
你在编程的时候才需要做抓包操作,你没有必要专门下载一个工具,你只要使用chrome浏览器会自动的带一款工具,而且非常有用。
F. 现在有什么好用的网页数据自动抓取软件么
你可以网络搜索一个叫 火车头 的软件。
火车采集器软件是一款网页抓取工具,是用于网站信息采集,网站信息抓取,包括图片、文字等信息采集处理发布,是目前使用人数最多的互联网数据采集软件。
G. 什么软件可以监视本机所有的网络数据包
sniffer,科来,Netflow,当然前提之下网络必须是在同一个
冲突域
的,也就是通过hub连接的,如果是通过交换机连接的,那么交换机必须要支持span,否则就没办法监控了。
H. windows 抓包工具有哪些
Wireshark抓包软件:Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。
Connectify Hotspot软件:能够将电脑的无线网卡变身为无线路由器共享无线网络的软件
带无线网卡的Windows电脑
软件名称:Connectify Pro 破解版 v6.0.0.28615 [附序列号]软件大小:6.45MB更新时间:
配置Connectify Hotspot
软件名称:Wireshark(网络包分析工具) 捕获网络数据包 V1.12.1
步骤:
1、两款软件安装完成后,运行Connectify Hotspot,打开右下角的Connectify Hotspot窗口,设置Password,等下在iPhone上我们要用此密码验证。第二个Internet to Share要选择Windows电脑的无线网卡,我这里直接显示的是Wi-Fi。然后Share Over同样选择Wi-Fi。下面一项是加密方式,这跟设置无线路由器的加密方式一样。这里使用默认的WPA2。然后点击Start Hotspot按钮就可以将这台Windows电脑的无线网卡变身成一个无线路由器了。
iPhone连接Connectify Hotspot
1、Connectify Hotspot成功运行后,打开iPhone手机,进入设置 - 无线局域网。这里就会看到一个新的无线网络,如图名为Connectify-me。点击它,然后输入我们在Connectify Hotspot上设置的密码就可以连接了。
2、连接成功后可以在iPhone上打开浏览器试着打开一个网页,看能否打开。如果能够打开,就说明成功了。
用Wireshark抓包获取iPhone网络通讯数据
1、运行Wireshark,在窗口上点击Interface List,看哪张网卡正在发送和接受数据包的,从Packets那一项可以看出。点击网卡前面的选择框选中,然后点Start按钮开始抓包。如下图:
2、现在你就可以在iPhone上运行各种网络应用了,只要他们有网络通讯传输任何数据,Wireshark都可以截获到这些数据。比如下图就是我用iPhone的浏览器Safari访问了一下Connectify的网站,Wireshark抓到的HTTP包。我使用了http过滤器,只显示了所有的HTTP包。这样我们就成功地使用Wireshark抓取到了iPhone的网络数据了。
以上就是在Windows系统上用抓包软件Wireshark截获iPhone等网络通讯数据方法,希望对大家有所帮助!
I. 怎么用VBA或网络爬虫程序抓取网站数据
VBA网抓常用方法
1、xmlhttp/winhttp法:
用xmlhttp/winhttp模拟向服务器发送请求,接收服务器返回的数据。
优点:效率高,基本无兼容性问题。
缺点:需要借助如fiddler的工具来模拟http请求。
2、IE/webbrowser法:
创建IE控件或webbrowser控件,结合htmlfile对象的方法和属性,模拟浏览器操作,获取浏览器页面的数据。
优点:这个方法可以模拟大部分的浏览器操作。所见即所得,浏览器能看到的数据就能用代码获取。
缺点:各种弹窗相当烦人,兼容性也确实是个很伤脑筋的问题。上传文件在IE里根本无法实现。
3、QueryTables法:
因为它是excel自带,所以勉强也算是一种方法。其实此法和xmlhttp类似,也是GET或POST方式发送请求,然后得到服务器的response返回到单元格内。
优点:excel自带,可以通过录制宏得到代码,处理table很方便
。代码简短,适合快速获取一些存在于源代码的table里的数据。
缺点:无法模拟referer等发包头
也可以利用采集工具进行采集网页端的数据,无需写代码。
J. 网络爬虫抓取数据 有什么好的应用
网络爬虫抓取数据,首先要自己会写代码。
学习爬虫可以从下面一些知识点入手学习。
1、http相关知识。
2、浏览器拦截、抓包。
3、python2 中编码知识,python3 中bytes 和str类型转换。
4、抓取javascript 动态生成的内容。
4、模拟post、get,header等
5、cookie处理,登录。
6、代理访问。
7、多线程访问、python 3 asyncio 异步。
8、正则表达式、xpath等
等等。。。。
还有scrapy requests等第三方库的使用。
如果不想学代码,最简单的就是使用网站爬虫工具来做。