① 大數據分析工具有哪些
1、Hadoop
Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。
2、HPCC
HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了“重大挑戰項目：高性能計算與 通信”的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。
3、Storm
Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。
4、Apache Drill
為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為“Drill”的開源項目。Apache Drill 實現了 Google's Dremel.
據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，“Drill”已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。
5、RapidMiner
RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。
6、Pentaho BI
Pentaho BI 平台不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。
② 常見的大數據分析工具有哪些
大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助，而大數據分析是去分析海量的數據，所以就不得不藉助一些工具去分析大數據，。一般來說，數據分析工作中都是有很多層次的，這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。
首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據，數據的存儲是一個非常重要的事情，如果懂得資料庫技術，並且能夠操作好資料庫技術，這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。
1、MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
2、SQL Server的最新版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。
3、DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台;
接著說數據報表層。一般來說，當企業存儲了數據後，首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。
1、Crystal Report水晶報表，Bill報表，這都是全球最流行的報表工具，非常規范的報表設計思想，早期商業智能其實大部分人的理解就是報表系統，不藉助IT技術人員就可以獲取企業各種信息——報表。
2、Tableau軟體，這個軟體是近年來非常棒的一個軟體，當然它已經不是單純的數據報表軟體了，而是更為可視化的數據分析軟體，因為很多人經常用它來從資料庫中進行報表和可視化分析。
第三說的是數據分析層。這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具;
1、Excel軟體，首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作!但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體;
2、SPSS軟體：當前版本是18，名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體。
最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。
1、PowerPoint軟體：大部分人都是用PPT寫報告。
2、Visio、SmartDraw軟體：這些都是非常好用的流程圖、營銷圖表、地圖等，而且從這里可以得到很多零件;
3、Swiff Chart軟體：製作圖表的軟體，生成的是Flash
③ wireshark怎麼抓包分析網路故障實戰
【WireShark概覽】
1、Wireshark 是網路報文分析工具。網路報文分析工具的主要作用是嘗試捕獲網路報文， 並嘗試顯示報文盡可能詳細的內容。過去的此類工具要麼太貴，要麼是非公開的。 直到Wireshark（Ethereal）出現以後，這種情況才得以改變。Wireshark可以算得上是今天能使用的最好的開源網路分析軟體。2、WireShark簡史：1997年，Gerald Combs 需要一個工具追蹤網路問題，並且想學習網路知識。所以他開始開發Ethereal (Wireshark項目以前的名稱) 以解決自己的需求。1998年，Ethreal0.2.0版誕生了。此後不久，越來越多的人發現了它的潛力，並為其提供了底層分析。2006年Ethreal改名為Wireshark。2008年，在經過了十年的發展後，Wireshark發布了1.0版本。3、WireShark的主要作用，就是可以抓取各種埠的報文，包括有線網口、無線網口、USB口、LoopBack口等等，從而就可以很方便地進行協議學習、網路分析、系統排錯等後續任務。4、不同平台下的WireShark：目前WireShark支持幾乎所有主流報文文件，包括pcap，cap ，pkt，enc等等。但是不同平台下的WireShark卻有功能上的不同。總體來說，Linux版本WireShark的功能和特性比Windows版本的要豐富和強大。例如，Linux版本的WireShark可以直接抓取USB介面報文，而Windows版本就不行。
Figure 1，Linux下的WireShark
Figure 2，Windows下WireShark
Figure 3，各平台下的WireShark所支持的協議
各平台下的WireShark支持的協議如上圖所示。從圖中可以看到Linux下的版本功能最強大，由於平台本身特性，可以使WireShark幾乎支持所有協議。但由於我們平時工作中主要抓取乙太網報文，且絕大部分的操作系統都是Windows，所以本文還是以Windows平台下的WireShark為例來進行說明。
【如何正確使用WireShark抓取報文】
1、WireShark組網拓撲。為了抓到HostA與HostB之間的報文，下面介紹幾種WireShark組網。
i.在線抓取：如果WireShark本身就是組網中的一部分，那麼，很簡單，直接抓取報文就行了。
ii. 串聯抓取：串聯組網是在報文鏈路中間串聯一個設備，利用這個中間設備來抓取報文。這個中間設備可以是一個HUB，利用HUB會對域內報文進行廣播的特性，接在HUB上的WireShark也能收到報文。
若是WireShark有雙網卡，正確設置網路轉發，直接串接在鏈路上。
也可以利用Tap分路器對來去的報文進行分路，把報文引到WireShark上。
串聯組網的好處是報文都必須經過中間設備，所有包都能抓到。缺點是除非原本就已經規劃好，不然要把報文鏈路斷開，插入一個中間設備，會中斷流量，所以一般用於學習研究，不適用於實際業務網以及工業現場乙太網。
iii. 並聯抓取：並聯組網是將現有流量通過現網設備本身的特性將流量引出來。
若是網路本身通過HUB組網的，那麼將WireShark連上HUB就可以。
若是交換機組網，那直接連上也能抓取廣播報文。
當然，最常用的還是利用交換機的鏡像功能來抓包。
並聯組網的優點是不用破壞現有組網，適合有業務的在線網路以及工業現場乙太網。缺點是HUB組網已經不常見，而交換機組網的設備開啟鏡像後，對性能有非常大的影響。
2、 WireShark的安裝。WireShark是免費開源軟體，在網上可以很輕松獲取到。Windows版的WireShark分為32位而64位兩個版本，根據系統的情況來決定安裝哪一個版本，雖然64位系統裝32位軟體也能使用，但裝相應匹配的版本，兼容性及性能都會好一些。在Windows下，WireShark的底層抓包工具是Winpcap，一般來說WireShark安裝包內本身就包含了對應可用版本的Winpcap，在安裝的時候注意鉤選安裝就可以。安裝過程很簡單，不再贅述。
3、使用WireShark抓取網路報文。Step1. 選擇需要抓取的介面，點選Start就開始抓包。
4、使用WireShark抓取MPLS報文。對於mpls報文，wireshark可以直接抓取帶MPLS標簽的報文。
5、使用WireShark抓取帶Vlan Tag的報文。早期網卡的驅動不會對VLAN TAG進行處理，而是直接送給上層處理，在這種環境下，WireShark可以正常抓到帶VLAN TAG的報文。而Intel，broadcom，marvell的網卡則會對報文進行處理，去掉TAG後再送到上層處理，所以WireShark在這種情況下通常抓不到VLAN TAG。這時我們需要針對這些網卡做一些設置，WireShark才能夠抓取帶VLAN TAG的報文。1）. 更新網卡的最新驅動。2）. 按照以下說明修改注冊表：a) Intel：HKEY_LOCAL_MACHINE\SYSTEM \ControlSet001\Control\Class\{4D36E972-E325-11CE-BFC1-08002BE10318} \00xx（where xx is the instance of the network adapter that you need to see tags on. ）PCI或者PCI-X網卡增加dword:MonitorModeEnabled，通常設置為1即可 0 - disabled (Do not store bad packets, Do not store CRCs, Strip 802.1Q vlan tags) 1 - enabled (Store bad packets. Store CRCs. Do not strip 802.1Q vlan tags) PCI-Express網卡增加dword:MonitorMode，通常設置為1即可 0 - disabled (Do not store bad packets, Do not store CRCs, Strip 802.1Q vlan tags) 1 - enabled (Store bad packets. Store CRCs. Do not strip 802.1Q vlan btag) 2 - enabled strip vlan (Store bad packets. Store CRCs. Strip 802.1Q vlan tag as normal)；b) Broadcom：在HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet下搜索，找到"TxCoalescingTicks"並確認這是唯一的，增加一個新的字元串值"PreserveVlanInfoInRxPacket"，賦值1。c) Marvell Yukon 88E8055 PCI-E 千兆網卡："HKLM\SYSTEM \CurrentControlSet\Control\Class\{4D36E972-E325-11CE-BFC1-08002bE10318} \000"（where 000 is the number of the folder for the Marvel ethernet controller）增加DWORD：SkDisableVlanStrip：1；3）. 以Intel網卡為例，對網卡進行配置。選擇Intel網卡的本地連接，右鍵屬性
點擊「配置」按鈕。
在VLAN選項卡中，加入任意一個VLAN，激活介面的VLAN TAG上送功能。此時可以把「本地連接」介面看成是一個Trunk介面。
配置完VLAN後，如果發現系統禁用了「本地連接」介面，則只要啟用它，會看到網路連接中會出現一個新的子介面「本地連接2」。
在WireShark上查看抓取「本地連接」介面的報文。
可以看到已經可以抓到有VLAN TAG的報文了。
由於此時的子介面都是有VLAN屬性的，所以無法當成正常的網卡來用。如果想要在抓VLAN包的同時，還能夠與網路正常通信，只要再新建一個未標記的VLAN就行。
這時，會生成一個對應的子介面「本地連接3」，在這個介面上正確配置網路參數，就可以正常通信了。
④ 性能測試有那些免費工具
Grinder：Grinder是一個開源的JVM負載測試框架，它通過很多負載注射器來為分布式測試提供了便利。支持用於執行測試腳本的Jython腳本引擎HTTP測試可通過HTTP代理進行管理。根據項目網站的說法，Grinder的主要目標用戶是「理解他們所測代碼的人——Grinder不僅僅是帶有一組相關響應時間的『黑盒』測試。由於測試過程可以進行編碼——而不是簡單地腳本化，所以程序員能測試應用中內部的各個層次，而不僅僅是通過用戶界面測試響應時間。
Pylot：Pylot是一款開源的測試Webservice性能和擴展性的工具，它運行HTTP負載測試，這對容量計劃，確定基準點，分析以及系統調優都很有用處。Pylot產生並發負載(HTTPRequests)，檢驗伺服器響應，以及產生帶有metrics的報表。通過GUI或者shell/console來執行和監視testsuites。
Web Capacity Analysis Tool(WCAT)：這是一種輕量級負載生成實用工具，不僅能夠重現對Web伺服器(或負載平衡伺服器場)的腳本HTTP請求，同時還可以收集性能統計數據供日後分析之用。WCAT是多線程應用程序，並且支持從單個源控制多個負載測試客戶端，因此您可以模擬數千個並發用戶。該實用工具利用您的舊機器作為測試客戶端，其中每個測試客戶端又可以產生多個虛擬客戶端(最大數量取決於客戶端機器的網路適配器和其他硬體)。
fwptt：fwptt也是一個用來進行Web應用負載測試的工具。它可以記錄一般的請求，也可以記錄Ajax請求。它可以用來測試ASP.NET，JSP，PHP或是其它的Web應用。
JCrawler：JCrawler是一個開源(CPL)的Web應用壓力測試工具。通過其名字，你就可以知道這是一個用Java寫的像網頁爬蟲一樣的工具。只要你給其幾個URL，它就可以開始爬過去了，它用一種特殊的方式來產生你Web應用的負載。這個工具可以用來測試搜索引擎對你站點產生的負載。當然，其還有另一功能，你可以建立你的網站地圖和再點擊一下，將自動提交Sitemap給前5名的搜索引擎!
⑤ 關於網路嗅探軟體
1、WireShark WireShark是一個開源免費的高性能網路協議分析軟體，它的前身就是非常著名的網路分析軟體Ethereal。你可以使用它來解決網路疑難問題，進行網路協議分析，以及作為軟體或通信協議的開發參考，同時也可以用來作為學習各種網路協議的教學工具等等。WireShark支持現在已經出現了絕大多數的乙太網網卡，以及主流的無線網卡。WireShark具有如下所示的特點：(1) 支持多種操作系統平台，可以運行於Windows、Linux、Mac OS X10.5.5、Solaris和FreeBSD等操作系統上;(2) 支持超過上千種的網路協議，並且還會不斷的增加對新協議的支持;(3) 支持實時捕捉，然後可在離線狀態下進行分析;(4) 支持對VOIP數據包進行分析;(5) 支持對通過IPsec、ISAKMP、Kerberos、SNMPv3、SSL/TLS、WEP和WPA/WPA2等協議加密了的數據包解密;(6) 可以實時獲取來自乙太網、IEEE 802.11、PPP/HDLC、ATM、藍牙、令牌環和FDDI(光纖)等網路中的數據包;(7) 支持讀取和分析許多其它網路嗅探軟體保存的文件格式，包括Tcpmp、Sniffer pro、EtherPeek、Microsoft Network Monitor和CISCO Secure IDS 等軟體;(8) 支持以各種過濾條件進行捕捉，支持通過設置顯示過濾來顯示指定的內容，並能以不同的顏色來顯示過濾後的報文;(9) 具有網路報文數據統計功能;(10) 可以將它捕捉到的數據導出為XML、PostScript、CSV及普通文本文件的格式。運行WireShark所需的文件：現在WireShark的最終版本是1.0.5，我們可以到www.wireshark.org/download/上下載它。如果WireShark要在Windows系統下運行時，還需要一個名為Winpcap的驅動庫，現在它的穩定版本是WinPcap 4.0.2，最新的測試版本是WinPcap 4.1 beta3，我們可以從 http://www.winpcap.org上下載。如果是在Linux系統下使用時，就應當使用Libpcap驅動庫，它現在的版本是Libpcap1.0.0，我們可以從www.tcpmp.org上下載。2、Tcpmp和WinmpTcpmp是一個老牌的使用最頻繁的網路協議分析軟體之一，它是一個基於命令行的工具。Tcpmp通過使用基本的命令表達式，來過濾網路介面卡上要捕捉的流量。它支持現在已經出現了絕大多數的乙太網適配器。Tcpmp是一個工作在被動模式下的網路嗅探器。我們可以用它來在Linux系統下捕獲網路中進出某台主機介面卡中的數據包，或者整個網路段中的數據包，然後對這些捕獲到的網路協議(如TCP、ARP)數據包進行分析和輸出，來發現網路中正在發生的各種狀況。例如當出現網路連通性故障時，通過對TCP三次握手過程進行分析，可以得出問題出現在哪個步驟。而許多網路或安全專家，都喜歡用它來發現網路中是否存在ARP地址欺騙。我們也可以將它捕獲到的數據包先寫入到一個文件當中，然後用WireShark等有圖形界面的嗅探器讀取 它的命令格式為：tcpmp [ -adeflnNOpqStvx ] [ -c 數量 ] [ -F 文件名 ][ -i 網路介面 ] [ -r 文件名][ -s snaplen] [ -T 類型 ] [ -w 文件名 ] [表達式 ]我們可以使用-i參數來指定要捕捉的網路介面卡，用-r來讀取已經存在的捕捉文件，用-w來將捕捉到的數據寫入到一個文件中。至於其它的參數，我們可以從它的man文檔中得到詳細的說明，或者通過輸入「tcpmp –-help」來到它的幫助信息。Tcpm有一個非常重要的特點就是可以使用正則表達式來作為過濾網路報文的條件，這使得它的使用變得非常靈活。我們可以通過它內建的各種關鍵字來指定想要過濾的條件，一旦一個網路數據包滿足表達式的條件，則這個數據包就會被捕獲。如果我們沒有給出任何條件，那麼所有通過指定網路介面卡中的網路報文都會被捕獲。 Tcpmp使用以下三種類型的關鍵字：(1)、用於表式類型的關鍵字，主要有Host、Net和Port。它們分別用來指定主機的IP地址、指定網路地址和指定埠。如果你沒有指定關鍵字，它就會使用預設的Host類型。(2)、用於表式傳輸方向的關鍵字，主要有Src、Dst。分別用來指定要捕捉的源IP地址是什麼或目的IP地址是什麼的包。(3)、用來表式捕捉什麼協議的關鍵字，主要有ip，arp，tcp，udp等。這些關鍵字之間可以使用邏輯運算關鍵字來連接，以便於我們指定某個范圍或排除某個主機等。這些邏輯運算關鍵字也有三個，分別是取非運算「not」，或者可以用「!」符號表示;與運算「and」，可以用「&&」 符號表示;或運算「or」，可以用「||」符號表示。Tcpmp的關鍵字還有很多，我就不在此全部列出。其它的可以通過它的幫助文檔來得到它們的詳細說明。運行Tcpmp需要的文件：Tcpmp可以很好地運行在UNIX、Linux和Mac OSX操作系統上，它現在的最新版本是TCPDUMP 4.0.0，我們可以從www.tcpmp.org上下載它的二進制包。同時，要運行它，也需要系統中安裝有Libpcap1.0.0這個驅動庫。 3、 DSniffDSniff是一個非常強大的網路嗅探軟體套件，它是最先將傳統的被動嗅探方式向主動方式改進的網路嗅探軟體之一。DSniff軟體套件中包含了許多具有特殊功能的網路嗅探軟體，這些特殊的網路嗅探軟體可以使用一系列的主動攻擊方法，將網路流量重新定向到網路嗅探器主機，使得網路嗅探器有機會捕獲到網路中某台主機或整個網路的流量。這樣一來，我們就可以將DSniff在交換或路由的網路環境中，以及Cable modem拔號上網的環境中使用。甚至，當安裝有DSniff的網路嗅探器不直接連接到目標網路當中，它依然可以通過運程的方式捕獲到目標網路中的網路報文。DSniff支持Telnet 、Ftp、Smtp、P0P3、HTTP，以及其它的一些高層網路應用協議。它的套件當中，有一些網路嗅探軟體具有特殊的竊取密碼的方法，可以用來支持對SSL和SSH加密了的數據進行捕獲和解密。DSniff支持現在已經出現了的絕大多數的乙太網網卡。 4、 EttercapEttercap也是一個高級網路嗅探軟體，它可以在使用交換機的網路環境中使用。Ettercap能夠對大多數的網路協議數據包進行解碼，不論這個數據包是不是加密過了的。它也支持現在已經出現了的絕大多數乙太網網卡。Ettercap還擁有一些獨特的方法，用來捕獲主機或整個網路的流量，並對這些流量進行相應的分析 5、NetStumblerNetStumbler是一個用來尋找使用IEEE802.11a/b/g標準的無線區域網工具。它支持 包括PCMCIA 無線適配器在內的絕大多數主流無線適配器，同時，還加入了對全球 GPS 衛星定位系統的支持
⑥ JAVA開源大數據查詢分析引擎有哪些方案
在大數據處理分析過程中常用的六大工具：HadoopHadoop是一個能夠對大量數據進行分布式處理的軟體框架。但是Hadoop是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop還是可伸縮的，能夠處理PB級數據。此外，Hadoop依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。HPCCHPCC，(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了逗重大挑戰項目：高性能計算與通信地的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆比特網路技術，擴展研究和教育機構及網路連接能力。StormStorm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。ApacheDrill為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體會近日發起了一項名為逗Drill地的開源項目。ApacheDrill實現了Google'sDremel.據Hadoop廠商MapRTechnologies公司產品經理TomerShiran介紹，逗Drill地已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。RapidMinerRapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。
⑦ 網站數據分析常用工具有哪些
1、Hadoop
Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。
2、HPCC
HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了“重大挑戰項目：高性能計算與 通信”的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。
3、Storm
Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。
4、Apache Drill
為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為“Drill”的開源項目。Apache Drill 實現了 Google's Dremel.
據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，“Drill”已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。
5、RapidMiner
RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。
⑧ 網路數據分析工具有哪些
1、Hadoop
Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。
2、HPCC
HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了“重大挑戰項目：高性能計算與 通信”的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。
3、Storm
Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。
4、Apache Drill
為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為“Drill”的開源項目。Apache Drill 實現了 Google's Dremel.
據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，“Drill”已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。
5、RapidMiner
RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。
⑨ 軟體測試常見的測試工具有哪些是開源的
常用的軟體測試工具一般是：QTP+LoadRunner+QC
軟體測試中還需的工具如下：
功能測試工具：QTP（HP），WinRunner（MI），Robort（IBM），QARun（Compuware）
性能測試工具：LoadRunner（HP），WAS（MS），Robort（IBM）【必須下載相應的插件才支持性能方面的測試】，QALoad（Compuware）
測試管理工具：TestDirector/Quarlity Center【這兩個工具一個橫版一個豎版，功能完全一樣】，Rational TestManager
缺陷跟蹤工具：Bugzilla、Mantis
其他：Rational Purify、Rational PureCoverager
一般測試流程：
需求分析階段：只要就是對業務的學習，分析需求點。
測試計劃階段：測試組長就要根據SOW開始編寫《測試計劃》，其中包括人員，軟體硬體資源，測試點，集成順序，進度安排和風險識別等內容。
測試設計階段：測試方案一般由對需求很熟的高資深的測試工程師設計，測試方案要求根據《SRS》上的每個需求點設計出包括需求點簡介，測試思路和詳細測試方法三部分的方案。《測試方案》編寫完成後也需要進行評審。
測試方案階段：主要是對測試用例和規程的設計。測試用例是根據《測試方案》來編寫的，通過《測試方案》階段，測試人員對整個系統需求有了詳細的理解。這時開始編寫用例才能保證用例的可執行和對需求的覆蓋。測試用例需要包括測試項，用例級別，預置條件，操作步驟和預期結果。其中操作步驟和預期結果需要編寫詳細和明確。測試用例應該覆蓋測試方案，而測試方案又覆蓋了測試需求點，這樣才能保證客戶需求不遺漏。同樣，測試用例也需要評審。
測試執行階段：執行測試用例，及時提交有質量的Bug和測試日報，測試報告等相關文檔。