導航:首頁 > 網路安全 > 鄭州水災如何實現網路信號

鄭州水災如何實現網路信號

發布時間:2022-07-26 07:30:14

⑴ 極端氣溫、降雨-洪水模型(BP神經網路)的建立

極端氣溫、降雨與洪水之間有一定的聯系。根據1958~2007年廣西西江流域極端氣溫、極端降雨和梧州水文站洪水數據,以第5章相關分析所確定的顯著影響梧州水文站年最大流量的測站的相應極端氣候因素(表4.22)為輸入,建立人工神經網路模型。

4.5.1.1 BP神經網路概述

(1)基於BP演算法的多層前饋網路模型

採用BP演算法的多層前饋網路是至今為止應用最廣泛的神經網路,在多層的前饋網的應用中,如圖4.20所示的三層前饋網的應用最為普遍,其包括了輸入層、隱層和輸出層。

圖4.20 典型的三層BP神經網路結構

在正向傳播中,輸入信息從輸入層經隱含層逐層處理,並傳向輸出層。如果輸出層不能得到期望的輸出結果,則轉入反向傳播,將誤差信號沿原來的連同通路返回,通過修改各層神經元的權值,使得誤差最小。BP演算法流程如圖4.21所示。

圖4.21 BP演算法流程圖

容易看出,BP學習演算法中,各層權值調整均由3個因素決定,即學習率、本層輸出的誤差信號以及本層輸入信號y(或x)。其中,輸出層誤差信號同網路的期望輸出與實際輸出之差有關,直接反映了輸出誤差,而各隱層的誤差信號與前面各層的誤差信號都有關,是從輸出層開始逐層反傳過來的。

1988年,Cybenko指出兩個隱含層就可表示輸入圖形的任意輸出函數。如果BP網路只有兩個隱層,且輸入層、第一隱含層、第二隱層和輸出層的單元個數分別為n,p,q,m,則該網路可表示為BP(n,p,q,m)。

(2)研究區極端氣溫、極端降雨影響年最大流量過程概化

極端氣溫、極端降雨影響年最大流量的過程極其復雜,從極端降雨到年最大流量,中間要經過蒸散發、分流、下滲等環節,受到地形、地貌、下墊面、土壤地質以及人類活動等多種因素的影響。可將一個極端氣候-年最大流量間復雜的水過程概化為小尺度的水系統,該水系統的主要影響因子可通過對年最大流量影響顯著的站點的極端氣溫和極端降雨體現出來,而其中影響不明顯的站點可忽略,從而使問題得以簡化。

BP神經網路是一個非線形系統,可用於逼近非線形映射關系,也可用於逼近一個極為復雜的函數關系。極端氣候-年最大流量水系統是一個非常復雜的映射關系,可將之概化為一個系統。BP神經網路與研究流域的極端氣候-年最大流量水系統的結構是相似的,利用BP神經網路,對之進行模擬逼近。

(3)隱含層單元數的確定

隱含層單元數q與所研究的具體問題有關,目前尚無統一的確定方法,通常根據網路訓練情況採用試錯法確定。在訓練中網路的收斂採用輸出值Ykp與實測值tp的誤差平方和進行控制

變環境條件下的水資源保護與可持續利用研究

作者認為,雖然現今的BP神經網路還是一個黑箱模型,其參數沒有水文物理意義,在本節的研究過程中,將嘗試著利用極端氣候空間分析的結果來指導隱含層神經元個數的選取。

(4)傳遞函數的選擇

BP神經網路模型演算法存在需要較長的訓練時間、完全不能訓練、易陷入局部極小值等缺點,可通過對模型附加動量項或設置自適應學習速率來改良。本節採用MATLAB工具箱中帶有自適應學習速率進行反向傳播訓練的traingdm()函數來實現。

(5)模型數據的歸一化處理

由於BP網路的輸入層物理量及數值相差甚遠,為了加快網路收斂的速度,使網路在訓練過程中易於收斂,對輸入數據進行歸一化處理,即將輸入的原始數據都化為0~1之間的數。本節將年極端最高氣溫的數據乘以0.01;將極端最低氣溫的數據乘以0.1;年最大1d、3d、7d降雨量的數據乘以0.001;梧州水文站年最大流量的數據乘以0.00001,其他輸入數據也按類似的方法進行歸一化處理。

(6)年最大流量的修正

梧州水文站以上的流域集水面積為32.70萬km2,廣西境內流域集水面積為20.24萬km2,廣西境內流域集水面積占梧州水文站以上的流域集水面積的61.91%。因此,選取2003~2007年梧州水文站年最大流量和紅水河的天峨水文站年最大流量,分別按式4.10計算每年的貢獻率(表4.25),取其平均值作為廣西西江流域極端降雨對梧州水文站年最大流量的平均貢獻率,最後確定平均貢獻率為76.88%。

變環境條件下的水資源保護與可持續利用研究

表4.25 2003~2007年極端降雨對梧州水文站年最大流量的貢獻率

建立「年極端氣溫、降雨與梧州年最大流量模型」時,應把平均貢獻率與梧州水文站年最大流量的乘積作為模型輸入的修正年最大流量,而預測的年最大流量應該為輸出的年最大流量除以平均貢獻率76.88%,以克服極端氣溫和降雨研究范圍與梧州水文站集水面積不一致的問題。

4.5.1.2年極端氣溫、年最大1d降雨與梧州年最大流量的BP神經網路模型

(1)模型的建立

以1958~1997年年極端最高氣溫、年極端最低氣溫、年最大1d降雨量與梧州水文站年最大流量作為學習樣本擬合、建立「年極端氣溫、年最大1d降雨-梧州年最大流量BP神經網路模型」。以梧州氣象站的年極端最高氣溫,桂林、欽州氣象站的年極端最低氣溫,榜圩、馬隴、三門、黃冕、沙街、勾灘、天河、百壽、河池、貴港、金田、平南、大化、桂林、修仁、五將雨量站的年最大1d降雨量為輸入,梧州水文站年最大流量為輸出,隱含層層數取2,建立(19,p,q,1)BP神經網路模型,其中神經元數目p,q經試算分別取16和3,第一隱層、第二隱層的神經元採用tansig傳遞函數,輸出層的神經元採用線性傳遞函數,訓練函數選用traingdm,學習率取0.1,動量項取0.9,目標取0.0001,最大訓練次數取200000。BP網路模型參數見表4.26,結構如圖4.22所示。

圖4.22年極端氣溫、年最大1d降雨-梧州年最大流量BP模型結構圖

表4.26 BP網路模型參數一覽表

從結構上分析,梧州水文站年最大流量產生過程中,年最高氣溫、年最低氣溫和各支流相應的流量都有其閾值,而極端氣溫和極端降雨是其輸入,年最大流量是其輸出,這類似於人工神經元模型中的閾值、激活值、輸出等器件。輸入年最大1d降雨時選用的雨量站分布在14條支流上(表4.27),極端降雨發生後,流經14條支流匯入梧州,在這一過程中極端氣溫的變化影響極端降雨的蒸散發,選用的雨量站分布在年最大1d降雨四個自然分區的Ⅱ、Ⅲ、Ⅳ3個區。該過程可與BP神經網路結構進行類比(表4.28),其中, 14條支流相當於第一隱含層中的14個神經元,年最高氣溫和年最低氣溫相當於第一隱含層中的2個神經元,年最大1d降雨所在的3個分區相當於第二隱含層的3個神經元,年最高氣溫、年最低氣溫的影響值和各支流流量的奉獻值相當於隱含層中人工神經元的閾值,從整體上來說,BP神經網路的結構已經灰箱化。

表4.27 選用雨量站所在支流一覽表

表4.28 BP神經網路構件物理意義一覽表

(2)訓練效果分析

訓練樣本為40個,經過113617次訓練,達到精度要求。在命令窗口執行運行命令,網路開始學習和訓練,其訓練過程如圖4.23所示,訓練結果見表4.29和圖4.24。

表4.29年最大流量訓練結果

圖4.23 神經網路訓練過程圖

圖4.24年最大流量神經網路模型訓練結果

從圖4.26可知,訓練後的BP網路能較好地逼近給定的目標函數。從訓練樣本檢驗結果(表4.5)可得:1958~1997年40年中年最大流量模擬值與實測值的相對誤差小於10%和20%的分別為39年,40年,合格率為100%。說明「年極端氣溫、年最大1d降雨- 梧州年最大流量預測模型」的實際輸出與實測結果誤差很小,該模型的泛化能力較好,模擬結果較可靠。

(3)模型預測檢驗

把1998~2007年梧州氣象站的年極端最高氣溫,桂林、欽州氣象站的年極端最低氣溫,榜圩、馬隴、三門、黃冕、沙街、勾灘、天河、百壽、河池、貴港、金田、平南、大化、桂林、修仁、五將雨量站的年最大1d降雨量輸入到「年極端氣溫、年最大1d降雨梧州年最大流量BP神經網路模型」。程序運行後網路輸出預測值與已知的實際值進行比較,其預測檢驗結果見圖4.25,表4.30。

圖4.25年最大流量神經網路模型預測檢驗結果

表4.30 神經網路模型預測結果與實際結果比較

從預測檢驗結果可知:1998~2007年10年中年最大流量模擬值與實測值的相對誤差小於20%的為9年,合格率為90%,效果較好。

4.5.1.3年極端氣溫、年最大7d降雨與梧州年最大流量的BP神經網路模型

(1)模型的建立

以1958~1997年年極端最高氣溫、年極端最低氣溫、年最大7d降雨量和梧州水文站年最大流量作為學習樣本來擬合、建立「年極端氣溫、年最大7d降雨- 梧州年最大流量BP神經網路模型」。以梧州氣象站的年極端最高氣溫,桂林、欽州氣象站的年極端最低氣溫,鳳山、都安、馬隴、沙街、大湟江口、大安、大化、陽朔、五將雨量站的年最大7d降雨量為輸入,梧州水文站年最大流量為輸出,隱含層層數取2,建立(12,p,q,1)BP神經網路模型,其中,神經元數目p,q經試算分別取10和4,第一隱層、第二隱層的神經元採用tansig傳遞函數,輸出層的神經元採用線性傳遞函數,訓練函數選用traingdm,學習率取0.1,動量項取0.9,目標取0.0001,最大訓練次數取200000。BP網路模型參數見表4.31,結構如圖4.26所示。

表4.31 BP網路模型參數一覽表

圖4.26年極端氣溫、年最大7d降雨-梧州年最大流量BP模型結構圖

本節輸入年最大7d降雨時選用的雨量站分布在8條支流上(表4.32),在發生極端降雨後,流經8條支流匯入梧州,在這一過程中極端氣溫的變化影響極端降雨的蒸散發,且選用的雨量站分布在年最大7d降雨四個自然分區的Ⅰ、Ⅱ、Ⅲ、Ⅳ4個區中。該過程可與BP神經網路結構進行類比(表4.33),其中,8條支流相當於第一隱含層中的8個神經元,年最高氣溫和年最低氣溫相當於第一隱含層中的2個神經元,年最大7d降雨所在的4個分區相當於第二隱含層的4個神經元,整體上來說,BP神經網路的結構已經灰箱化。

表4.32 選用雨量站所在支流一覽表

表4.33 BP神經網路構件物理意義一覽表

(2)訓練效果分析

訓練樣本為40個,經過160876次的訓練,達到精度要求,在命令窗口執行運行命令,網路開始學習和訓練,其訓練過程如圖4.27所示,訓練結果見表4.34,圖4.28。

圖4.27 神經網路訓練過程圖

表4.34年最大流量訓練結果

圖4.28年最大流量神經網路模型訓練結果

從圖4.28可知,訓練後的BP網路能較好地逼近給定的目標函數。由訓練樣本檢驗結果(表4.34)可得:1958~1997年40年中年最大流量模擬值與實測值的相對誤差小於10%和20%的,分別為38年、40年,合格率為100%。說明「年極端氣溫、年最大7d降雨-梧州年最大流量BP神經網路模型」的泛化能力較好,模擬的結果較可靠。

(3)模型預測檢驗

把1998~2007年梧州氣象站的年極端最高氣溫,桂林、欽州氣象站的年極端最低氣溫,鳳山、都安、馬隴、沙街、大湟江口、大安、大化、陽朔、五將雨量站的年最大7d降雨量輸入到「年極端氣溫、年最大7d降雨- 梧州年最大流量BP神經網路模型」。程序運行後網路輸出預測值與已知的實際值進行比較,其預測結果見圖4.29和表4.35。

圖4.29年最大流量神經網路模型預測檢驗結果

表4.35 神經網路模型預測結果與實際結果比較

由預測檢驗結果可知:1998~2007年10年中年最大流量模擬值與實測值的相對誤差小於20%的為7年,合格率為70%,效果較好。

4.5.1.4 梧州年最大流量-年最高水位的BP神經網路模型

(1)模型的建立

以1941~1997年梧州水文站的年最大流量與年最高水位作為學習樣本來擬合、建立梧州水文站的「年最大流量-年最高水位BP神經網路模型」。以年最大流量為輸入,年最高水位為輸出,隱含層層數取1,建立(1,q,1)BP神經網路模型,其中,神經元數目q經試算取7,隱含層、輸出層的神經元採用線性傳遞函數,訓練函數選用traingdm,學習率取0.1,動量項取0.9,目標取0.00001,最大訓練次數取200000。BP網路模型參數見表4.36,結構如圖4.30所示。

表4.36 BP網路模型參數一覽表

圖4.30 梧州年最大流量—年最高水位BP模型結構圖

廣西西江流域主要河流有南盤江、紅水河、黔潯江、鬱江、柳江、桂江、賀江。7條主要河流相當於隱含層中的7個神經元(表4.37),整體上來說,BP神經網路的結構已經灰箱化。

表4.37 BP神經網路構件物理意義一覽表

(2)訓練效果分析

訓練樣本為57個,經過3327次訓練,誤差下降梯度已達到最小值,但誤差為3.00605×10-5,未達到精度要求。在命令窗口執行運行命令,網路開始學習和訓練,其訓練過程如圖4.31所示,訓練結果見圖4.32和表4.38。

表4.38年最高水位訓練結果

從圖4.32和表4.19可看出,訓練後的BP網路能較好地逼近給定的目標函數。對於訓練樣本,從檢驗結果可知:1941~1997年57年中年最高水位模擬值與實測值的相對誤差小於10%和20%的分別為56a,57a,合格率為100%。說明「年最大流量-年最高水位BP神經網路模型」的實際輸出與實測結果誤差很小,該模型的泛化能力較好,模擬的結果比較可靠。

圖4.31 神經網路訓練過程圖

圖4.32年最高水位神經網路模型訓練結果

(3)模型預測檢驗

把1998~2007年梧州水文站年最大流量輸入到「年最大流量-年最高水位BP神經網路模型」。程序運行後網路輸出預測值與已知的實際值進行比較,其預測結果見圖4.33,表4.39。

表4.39 神經網路模型預測結果與實際結果比較

從預測檢驗結果可知:1998~2007年10年中,年最高水位模擬值與實測值的相對誤差小於20%的為10年,合格率為100%,效果較好。

圖4.33年最高水位量神經網路模型預測檢驗結果

⑵ 鄭州汛情疊加疫情,當地市民該如何「闖關」

近期鄭州可謂是屋漏偏逢連夜雨,汛情還沒徹底過去,疫情又再次來襲,鄭州如何“闖關”,順利度過這個苦難時期,就成了擺在鄭州人民面前為止最大的難題了。

第三,災後重建和疫情防控雙線作戰,越是復雜,越要科學統籌。像水災、疫情這樣的大型災害,決不能各自為政,當地市民一定要聽從政府的統籌安排,對相關應急政策,要給與理解,並積極配合。在這個關鍵時刻,有些統籌安排,可能會影響到當地市民的正常生活,但是這都是為了盡快度過困難時期的必要措施,只有全民大力支持,才能更快的闖過這個難過,盡早恢復正常生活狀態。

一方有難,八方支持,鄭州在發生水災後,全國各地、社會各界都以不同形式給與了大量關注和幫助。疫情再襲後,政府部門也進行了最及時的應對,因此我相信鄭州一定會順利度過這個難關的。

⑶ 罕見暴雨致鄭州地鐵全線停運,12人死亡,遇到水災該如何自救

我們所生活的環境,每時每刻都會發生著各種各樣的變化 ,指社會經濟的不斷發展,人們對於安全意識的提高也有了不同程度的認識 。我們都知道,生命安全是我們每個人必須要重視的一個問題 ,當發生各種各樣的地質災害的時候,我們應該如何正確的逃生或者預防呢 。對於我們遇到相映的,所以在以及洪水,我們應該怎樣的逃生或者自救呢 ?對於這個問題,我們應該結合多個方面進行綜合分析 。

⑷ 水災數據挖掘可以與復雜網路想結合嗎

3月13日下午,南京郵電大學計算機學院、軟體學院院長、教授李濤在CIO時代APP微講座欄目作了題為《大數據時代的數據挖掘》的主題分享,深度詮釋了大數據及大數據時代下的數據挖掘。

眾所周知,大數據時代的大數據挖掘已成為各行各業的一大熱點。
一、數據挖掘
在大數據時代,數據的產生和收集是基礎,數據挖掘是關鍵,數據挖掘可以說是大數據最關鍵也是最基本的工作。通常而言,數據挖掘也稱為DataMining,或知識發現Knowledge Discovery from Data,泛指從大量數據中挖掘出隱含的、先前未知但潛在的有用信息和模式的一個工程化和系統化的過程。
不同的學者對數據挖掘有著不同的理解,但個人認為,數據挖掘的特性主要有以下四個方面:
1.應用性(A Combination of Theory and Application):數據挖掘是理論演算法和應用實踐的完美結合。數據挖掘源於實際生產生活中應用的需求,挖掘的數據來自於具體應用,同時通過數據挖掘發現的知識又要運用到實踐中去,輔助實際決策。所以,數據挖掘來自於應用實踐,同時也服務於應用實踐,數據是根本,數據挖掘應以數據為導向,其中涉及到演算法的設計與開發都需考慮到實際應用的需求,對問題進行抽象和泛化,將好的演算法應用於實際中,並在實際中得到檢驗。
2.工程性(An Engineering Process):數據挖掘是一個由多個步驟組成的工程化過程。數據挖掘的應用特性決定了數據挖掘不僅僅是演算法分析和應用,而是一個包含數據准備和管理、數據預處理和轉換、挖掘演算法開發和應用、結果展示和驗證以及知識積累和使用的完整過程。而且在實際應用中,典型的數據挖掘過程還是一個交互和循環的過程。
3.集合性(A Collection of Functionalities):數據挖掘是多種功能的集合。常用的數據挖掘功能包括數據探索分析、關聯規則挖掘、時間序列模式挖掘、分類預測、聚類分析、異常檢測、數據可視化和鏈接分析等。一個具體的應用案例往往涉及多個不同的功能。不同的功能通常有不同的理論和技術基礎,而且每一個功能都有不同的演算法支撐。
4.交叉性(An Interdisciplinary Field):數據挖掘是一門交叉學科,它利用了來自統計分析、模式識別、機器學習、人工智慧、信息檢索、資料庫等諸多不同領域的研究成果和學術思想。同時一些其他領域如隨機演算法、資訊理論、可視化、分布式計算和最優化也對數據挖掘的發展起到重要的作用。數據挖掘與這些相關領域的區別可以由前面提到的數據挖掘的3個特性來總結,最重要的是它更側重於應用。
綜上所述,應用性是數據挖掘的一個重要特性,是其區別於其他學科的關鍵,同時,其應用特性與其他特性相輔相成,這些特性在一定程度上決定了數據挖掘的研究與發展,同時,也為如何學習和掌握數據挖掘提出了指導性意見。如從研究發展來看,實際應用的需求是數據挖掘領域很多方法提出和發展的根源。從最開始的顧客交易數據分析(market basket analysis)、多媒體數據挖掘(multimedia data mining)、隱私保護數據挖掘(privacy-preserving data mining)到文本數據挖掘(text mining)和Web挖掘(Web mining),再到社交媒體挖掘(social media mining)都是由應用推動的。工程性和集合性決定了數據挖掘研究內容和方向的廣泛性。其中,工程性使得整個研究過程里的不同步驟都屬於數據挖掘的研究范疇。而集合性使得數據挖掘有多種不同的功能,而如何將多種功能聯系和結合起來,從一定程度上影響了數據挖掘研究方法的發展。比如,20世紀90年代中期,數據挖掘的研究主要集中在關聯規則和時間序列模式的挖掘。到20世紀90年代末,研究人員開始研究基於關聯規則和時間序列模式的分類演算法(如classification based on association),將兩種不同的數據挖掘功能有機地結合起來。21世紀初,一個研究的熱點是半監督學習(semi-supervised learning)和半監督聚類(semi-supervised clustering),也是將分類和聚類這兩種功能有機結合起來。近年來的一些其他研究方向如子空間聚類(subspace clustering)(特徵抽取和聚類的結合)和圖分類(graph classification)(圖挖掘和分類的結合)也是將多種功能聯系和結合在一起。最後,交叉性導致了研究思路和方法設計的多樣化。
前面提到的是數據挖掘的特性對研究發展及研究方法的影響,另外,數據挖掘的這些特性對如何學習和掌握數據挖掘提出了指導性的意見,對培養研究生、本科生均有一些指導意見,如應用性在指導數據挖掘時,應熟悉應用的業務和需求,需求才是數據挖掘的目的,業務和演算法、技術的緊密結合非常重要,了解業務、把握需求才能有針對性地對數據進行分析,挖掘其價值。因此,在實際應用中需要的是一種既懂業務,又懂數據挖掘演算法的人才。工程性決定了要掌握數據挖掘需有一定的工程能力,一個好的數據額挖掘人員首先是一名工程師,有很強大的處理大規模數據和開發原型系統的能力,這相當於在培養數據挖掘工程師時,對數據的處理能力和編程能力很重要。集合性使得在具體應用數據挖掘時,要做好底層不同功能和多種演算法積累。交叉性決定了在學習數據挖掘時要主動了解和學習相關領域的思想和技術。
因此,這些特性均是數據挖掘的特點,通過這四個特性可總結和學習數據挖掘。
二、大數據的特徵
大數據(bigdata)一詞經常被用以描述和指代信息爆炸時代產生的海量信息。研究大數據的意義在於發現和理解信息內容及信息與信息之間的聯系。研究大數據首先要理清和了解大數據的特點及基本概念,進而理解和認識大數據。
研究大數據首先要理解大數據的特徵和基本概念。業界普遍認為,大數據具有標準的「4V」特徵:
1.Volume(大量):數據體量巨大,從TB級別躍升到PB級別。
2.Variety(多樣):數據類型繁多,如網路日誌、視頻、圖片、地理位置信息等。
3.Velocity(高速):處理速度快,實時分析,這也是和傳統的數據挖掘技術有著本質的不同。
4.Value(價值):價值密度低,蘊含有效價值高,合理利用低密度價值的數據並對其進行正確、准確的分析,將會帶來巨大的商業和社會價值。
上述「4V」特點描述了大數據與以往部分抽樣的「小數據」的主要區別。然而,實踐是大數據的最終價值體現的唯一途徑。從實際應用和大數據處理的復雜性看,大數據還具有如下新的「4V」特點:
5.Variability(變化):在不同的場景、不同的研究目標下數據的結構和意義可能會發生變化,因此,在實際研究中要考慮具體的上下文場景(Context)。
6.Veracity(真實性):獲取真實、可靠的數據是保證分析結果准確、有效的前提。只有真實而准確的數據才能獲取真正有意義的結果。
7.Volatility(波動性)/Variance(差異):由於數據本身含有噪音及分析流程的不規范性,導致採用不同的演算法或不同分析過程與手段會得到不穩定的分析結果。
8.Visualization(可視化):在大數據環境下,通過數據可視化可以更加直觀地闡釋數據的意義,幫助理解數據,解釋結果。
綜上所述,以上「8V」特徵在大數據分析與數據挖掘中具有很強的指導意義。
三、大數據時代下的數據挖掘
在大數據時代,數據挖掘需考慮以下四個問題:
大數據挖掘的核心和本質是應用、演算法、數據和平台4個要素的有機結合。
因為數據挖掘是應用驅動的,來源於實踐,海量數據產生於應用之中。需用具體的應用數據作為驅動,以演算法、工具和平台作為支撐,最終將發現的知識和信息應用到實踐中去,從而提供量化的、合理的、可行的、且能產生巨大價值的信息。
挖掘大數據中隱含的有用信息需設計和開發相應的數據挖掘和學習演算法。演算法的設計和開發需以具體的應用數據作為驅動,同時在實際問題中得到應用和驗證,而演算法的實現和應用需要高效的處理平台,這個處理平台可以解決波動性問題。高效的處理平台需要有效分析海量數據,及時對多元數據進行集成,同時有力支持數據化對演算法及數據可視化的執行,並對數據分析的流程進行規范。
總之,應用、演算法、數據、平台這四個方面相結合的思想,是對大數據時代的數據挖掘理解與認識的綜合提煉,體現了大數據時代數據挖掘的本質與核心。這四個方面也是對相應研究方面的集成和架構,這四個架構具體從以下四個層面展開:
應用層(Application):關心的是數據的收集與演算法驗證,關鍵問題是理解與應用相關的語義和領域知識。
數據層(Data):數據的管理、存儲、訪問與安全,關心的是如何進行高效的數據使用。
演算法層(Algorithm):主要是數據挖掘、機器學習、近似演算法等演算法的設計與實現。
平台層(Infrastructure):數據的訪問和計算,計算平台處理分布式大規模的數據。
綜上所述,數據挖掘的演算法分為多個層次,在不同的層面有不同的研究內容,可以看到目前在做數據挖掘時的主要研究方向,如利用數據融合技術預處理稀疏、異構、不確定、不完整以及多來源數據;挖掘復雜動態變化的數據;測試通過局部學習和模型融合所得到的全局知識,並反饋相關信息給預處理階段;對數據並行分布化,達到有效使用的目的。
四、大數據挖掘系統的開發
1.背景目標
大數據時代的來臨使得數據的規模和復雜性都出現爆炸式的增長,促使不同應用領域的數據分析人員利用數據挖掘技術對數據進行分析。在應用領域中,如醫療保健、高端製造、金融等,一個典型的數據挖掘任務往往需要復雜的子任務配置,整合多種不同類型的挖掘演算法以及在分布式計算環境中高效運行。因此,在大數據時代進行數據挖掘應用的一個當務之急是要開發和建立計算平台和工具,支持應用領域的數據分析人員能夠有效地執行數據分析任務。
之前提到一個數據挖掘有多種任務、多種功能及不同的挖掘演算法,同時,需要一個高效的平台。因此,大數據時代的數據挖掘和應用的當務之急,便是開發和建立計算平台和工具,支持應用領域的數據分析人員能夠有效地執行數據分析任務。
2.相關產品
現有的數據挖掘工具
有Weka、SPSS和SQLServer,它們提供了友好的界面,方便用戶進行分析,然而這些工具並不適合進行大規模的數據分析,同時,在使用這些工具時用戶很難添加新的演算法程序。
流行的數據挖掘演算法庫
如Mahout、MLC++和MILK,這些演算法庫提供了大量的數據挖掘演算法。但這些演算法庫需要有高級編程技能才能進行任務配置和演算法集成。
最近出現的一些集成的數據挖掘產品
如Radoop和BC-PDM,它們提供友好的用戶界面來快速配置數據挖掘任務。但這些產品是基於Hadoop框架的,對非Hadoop演算法程序的支持非常有限。沒有明確地解決在多用戶和多任務情況下的資源分配。
3.FIU-Miner
為解決現有工具和產品在大數據挖掘中的局限性,我們團隊開發了一個新的平台——FIU-Miner,它代表了A Fast,Integrated,and User-Friendly System for Data Miningin Distributed Environment。它是一個用戶友好並支持在分布式環境中進行高效率計算和快速集成的數據挖掘系統。與現有數據挖掘平台相比,FIU-Miner提供了一組新的功能,能夠幫助數據分析人員方便並有效地開展各項復雜的數據挖掘任務。
與傳統的數據挖掘平台相比,它提供了一些新的功能,主要有以下幾個方面:
A.用戶友好、人性化、快速的數據挖掘任務配置。基於「軟體即服務」這一模式,FIU-Miner隱藏了與數據分析任務無關的低端細節。通過FIU-Miner提供的人性化用戶界面,用戶可以通過將現有演算法直接組裝成工作流,輕松完成一個復雜數據挖掘問題的任務配置,而不需要編寫任何代碼。
B.靈活的多語言程序集成。允許用戶將目前最先進的數據挖掘演算法直接導入系統演算法庫中,以此對分析工具集合進行擴充和管理。同時,由於FIU-Miner能夠正確地將任務分配到有合適運行環境的計算節點上,所以對這些導入的演算法沒有實現語言的限制。
C.異構環境中有效的資源管理。FIU-Miner支持在異構的計算環境中(包括圖形工作站、單個計算機、和伺服器等)運行數據挖掘任務。FIU-Miner綜合考慮各種因素(包括演算法實現、伺服器負載平衡和數據位置)來優化計算資源的利用率。
D.有效的程序調度和執行。
應用架構上包括用戶界面層、任務和系統管理層、邏輯資源層、異構的物理資源層。這種分層架構充分考慮了海量數據的分布式存儲、不同數據挖掘演算法的集成、多重任務的配置及系統用戶的交付功能。一個典型的數據挖掘任務在應用之中需要復雜的主任務配置,整合多種不同類型的挖掘演算法。因此,開發和建立這樣的計算平台和工具,支持應用領域的數據分析人員進行有效的分析是大數據挖掘中的一個重要任務。
FIU-Miner系統用在了不同方面:如高端製造業、倉庫智能管理、空間數據處理等,TerraFly GeoCloud是建立在TerraFly系統之上的、支持多種在線空間數據分析的一個平台。提供了一種類SQL語句的空間數據查詢與挖掘語言MapQL。它不但支持類SQL語句,更重要的是可根據用戶的不同要求,進行空間數據挖掘,渲染和畫圖查詢得到空間數據。通過構建空間數據分析的工作流來優化分析流程,提高分析效率。
製造業是指大規模地把原材料加工成成品的工業生產過程。高端製造業是指製造業中新出現的具有高技術含量、高附加值、強競爭力的產業。典型的高端製造業包括電子半導體生產、精密儀器製造、生物制葯等。這些製造領域往往涉及嚴密的工程設計、復雜的裝配生產線、大量的控制加工設備與工藝參數、精確的過程式控制制和材料的嚴格規范。產量和品質極大地依賴流程管控和優化決策。因此,製造企業不遺餘力地採用各種措施優化生產流程、調優控制參數、提高產品品質和產量,從而提高企業的競爭力。
在空間數據處理方面,TerraFly GeoCloud對多種在線空間數據分析。對傳統數據分析而言,其難點在於MapQL語句比較難寫,任務之間的關系比較復雜,順序執行之間空間數據分許效率較低。而FIU-Miner可有效解決以上三個難點。
總結而言,大數據的復雜特徵對數據挖掘在理論和演算法研究方面提出了新的要求和挑戰。大數據是現象,核心是挖掘數據中蘊含的潛在信息,並使它們發揮價值。數據挖掘是理論技術和實際應用的完美結合。數據挖掘是理論和實踐相結合的一個例子。
-

⑸ 鄭州水災嚴重,對全國交通影響有多大

我看到了這樣一條消息,鄭州水災嚴重,對全國交通影響有多大?關於鄭州暴雨事件,我相信大家都關注,而且這次的事件造成很大的社會傷害,暴雨之下,鄭州市內大部分區域斷水斷電,多條高速公路封路,列車,飛機停運。鄭州對外交通停擺,對全國的交通運輸也產生了較大的影響。而且鄭州,素有中國鐵路心臟之撐,這里不論高鐵還是普鐵的數量都在中國居於前列,其線路多,規模大,覆蓋廣。所以,此次鄭州事件會給國家帶來一些很大的損失。所以說,這場水災對鄭州的水災對經濟,交通,糧食產量均產生了巨大的影響。但是,每次我國面對任何天災時,只要大家團結一致,就一定能共度難關,所有的不好都會過去,一定要相信,這個世界還是美好的。只要大家一起共同去支援鄭州,就會取得勝利。

⑹ 水災的時候移動手機沒有信號,有誰知道原因嗎

移動手機沒有信號,是因為移動基站信號塔可能壞了,最大的可能是移動信號塔的供電系統出了問題,移動基站有應急蓄電池電源,一般只能供電20小時左右,如果供電線路被水充壞了,短時間無法修復,電池電量用完基站就停止工作,當然就沒有信號了

⑺ 鄭州災後停電斷網,甚至出現以物易物的情況,當失去互聯網,我們該怎麼

鄭州出現水災之後停電斷網,很多人出現的情況就是手機裡面有錢,但是自己沒有錢,你手機裡面有錢,你想支付的話,你起碼得用到網路吧。斷水斷網斷電手機能不能開機是個問題,開機了之後你有沒有支付的網路也是個問題。

平常我們在手機的移動支付上面就應該留個心眼,你不要錢包裡面一分現金都沒有,你手機有可能遇到關機的情況,也可能遇到丟失的情況,還可能遇到極端的斷水斷電斷網的情況。那手機沒有辦法發揮作用了,你不能餓死啊,你仍然需要消費啊,最基本的你要吃東西你要喝東西,你不能單純指望別人的救援,所以你要有現金錢包裡面正常放個幾十塊錢幾百塊錢的現金,可以在危機關頭起到很大的作用。

⑻ 鄭州暴雨導致地鐵被雨水倒灌,從此次災難中該吸取哪些教訓

最近的中國大事就是鄭州暴雨,最後變成洪水災害,洪水淹沒了城市、沖垮了農田、帶走了很多人的性命、破壞了無數個家庭,讓鄭州人民無家可歸,在這一次的洪水災害中,人們應該吸取怎樣的教訓?

第三,地鐵必須選擇有應急口,一旦有事故發生,給地鐵中的人一條逃亡的生路,而不是只能在那個小小的空間裡面等待救援。



⑼ 發洪水導致網路無法使用一般是因為什麼

洪水把信號塔(基站)給泡了

⑽ 洪災後的鄭州,給我們帶來了哪些思考

我在網上看到了這一條消息,洪災後的鄭州,給我們帶來了哪些思考?此次的鄭州事件,引發了很多人的關注。而且這次的事件,不僅給鄭州帶來了很大的損失,也給國家帶來了很大的損失。每次到災難時刻,總會有說風涼話的,也會有惡意攻擊的。在今天仍有利益之爭的全球環境下,外界某些勢力對中國治理能力和制度體系進行攻擊,並不是新聞。因此我們自己要有定力,要堅持做好自己的事。遇到災難的時候,全國人民要團結一致,這樣才會減少更多的損失,才會取得勝利。各種各樣的都有,確實,在水災事件,最需要的就是人民的團結一致,如果人民不團結,就會犧牲更多的人,損失更多的經濟財產。面對災難時,我們要做的就是團結一致、共度難關。其實,災難不可怕,可怕的是人們的不團結。團結一致、眾志成城,災難總會消失在我們眼前。

閱讀全文

與鄭州水災如何實現網路信號相關的資料

熱點內容
華為手機怎麼設定自動斷網路 瀏覽:605
老人機網路忙線怎麼解除 瀏覽:712
網路賣房哪個平台最真實 瀏覽:29
方糖音箱怎麼設置網路連接 瀏覽:225
看網路電視哪個應用好 瀏覽:935
為什麼手機要關機才能連上網路 瀏覽:891
咕咚網路機頂盒無法連接 瀏覽:210
移動網路三層解耦指哪三層 瀏覽:148
手機4g哪個網路好 瀏覽:746
親子網路游戲有哪些 瀏覽:737
手機網路跳屏的原因 瀏覽:774
貓的無線網路開關在哪 瀏覽:572
手機明明有信號卻顯示沒網路 瀏覽:113
全國1至7月網路犯罪有多少 瀏覽:437
網路連接EPA 瀏覽:756
小米電視連接路由器網路不可用 瀏覽:332
旅遊網路營銷行動計劃 瀏覽:601
昌平防雨網路橋架哪裡有 瀏覽:746
網路連接表被刪了 瀏覽:631
遠程網路股票有哪些 瀏覽:751

友情鏈接