❶ 復雜網路 --- 社會網路分析
「社會網路」指的是社會成員及其相互關系的集合。社會網路中所說的「點」是各個社會成員,而社會網路中的「邊」指的是成員之間的各種社會關系。成員間的關系可以是有向的,也可以是無向的。同時,社會關系可以表現為多種形式,如人與人之間的朋友關系、上下級關系、科研合作關系等,組織成員之間的溝通關系,國家之間的貿易關系等。社會網路分析(Social Network Analysis)就是要對社會網路中行為者之間的關系進行量化研究,是社會網路理論中的一個具體工具。
因此,社會網路分析關注的焦點是關系和關系的模式,採用的方式和方法從概念上有別於傳統的統計分析和數據處理方法。
社會網路通常表達人類的個體通過各種關系連接起來,比如朋友、婚姻、商業等,這些連接宏觀上呈現出一定的模式。很早的時候,一些社會學家開始關注人們交往的模式。Ebel等進行了一個電子郵件版的小世界問題的實驗,完成了Kiel大學的5000個學生的112天電子郵件連接數據,節點為電子郵件地址,連接為消息的傳遞,得到帶指數截斷的冪律度分布,指數為r=1.18。同時證明,該網路是小世界的,平均分隔為4.94。
社會網路分析,可以解決或可以嘗試解決下列問題:
「中心性」是社會網路分析的重點之一,用於分析個人或組織在其社會網路中具有怎樣的權力,或者說居於怎樣的中心地位,這一思想是社會網路分析者最早探討的內容之一。
點度中心度表示與該點直接相連的點的個數,無向圖為(n-1),有向圖為(入度,出度)。
個體的中心度(Centrality)測量個體處於網路中心的程度,反映了該點在網路中的重要性程度。網路中每個個體都有一個中心度,刻畫了個體特性。除了計算網路中個體的中心度外,還可以計算整個網路的集中趨勢(可簡稱為中心勢,Centralization)。網路中心勢刻畫的是整個網路中各個點的差異性程度,一個網路只有一個中心勢。
根據計算方法的不同,中心度和中心勢都可以分為3種:點度中心度/點度中心勢、中間中心度/中間中心勢、接近中心度/接近中心勢。
在一個社會網路中,如果一個個體與其他個體之間存在大量的直接聯系,那麼該個體就居於中心地位,在該網路中擁有較大的「權力」。在這種思想的指導下,網路中一個點的點度中心性就可以用網路中與該點之間有聯系的點的數目來衡量,這就是點度中心度。
網路中心勢指的是網路中點的集中趨勢,其計算依據如下步驟:首先找到圖中的最大點度中心度的數值,然後計算該值與任何其他點的中心度的差值,再計算這些「差值」的總和,最後用這個總和除以各個「差值」總和的最大可能值。
在網路中,如果一個個體位於許多其他兩個個體之間的路徑上,可以認為該個體居於重要地位,因為他具有控制其他兩個個體之間的交往能力,這種特性用中間中心度描述,它測量的是個體對資源控制的程度。一個個體在網路中占據這樣的位置越多,代表它具有很高的中間中心性,就有越多的個體需要通過它才能發生聯系。
中間中心勢定義為網路中 中間中心性最高的節點的中間中心性與其他節點的中間中心性的差距,用於分析網路整體結構。中間中心勢越高,表示該網路中的節點可能分為多個小團體,而且過於依賴某一個節點傳遞關系,說明該節點在網路中處於極其重要的地位。
接近中心性用來描述網路中的個體不受他人「控制」的能力。在計算接近中心度的時候,我們關注的是捷徑,而不是直接關系。如果一個點通過比較短的路徑與許多其他點相連,我們就說該點具有較高的接近中心性。
對一個社會網路來說,接近中心勢越高,表明網路中節點的差異性越大;反之,則表明網路中節點間的差異越小。
註:以上公式都是針對無向圖,如果是有向圖則根據定義相應修改公式即可
當網路中某些個體之間的關系特別緊密,以至於結合成一個次級團體時,這樣的團體在社會網路分析中被稱為凝聚子群。分析網路中存在多少個這樣的子群,子群內部成員之間關系的特點,子群之間關系特點,一個子群的成員與另一個子群成員之間的關系特點等就是凝聚子群分析。
由於凝聚子群成員之間的關系十分緊密,因此有的學者也將凝聚子群分析形象地稱為「小團體分析」或「社區現象」。
常用的社區檢測方法主要有如下幾種:
(1)基於圖分割的方法,如Kernighan-Lin演算法,譜平分法等;
(2)基於層次聚類的方法,如GN演算法、Newman快速演算法等;
(3)基於模塊度優化的方法,如貪婪演算法、模擬退火演算法、Memetic演算法、PSO演算法、進化多目標優化演算法等。
凝聚子群密度(External-Internallndex,E-IIndex)主要用來衡量一個大的網路中小團體現象是否十分嚴重,在分析組織管理等問題時非常有效。
最差的情形是大團體很散漫,核心小團體卻有高度內聚力。另外一種情況是,大團體中有許多內聚力很高的小團體,很可能就會出現小團體間相互斗爭的現象。凝聚子群密度的取值范圍為[-1,+1]。該值越向1靠近,意味著派系林立的程度越大;該值越接近-1,意味著派系林立的程度越小;該值越接近0,表明關系越趨向於隨機分布,未出現派系林立的情形。
E-I Index可以說是企業管理者的一個重要的危機指數。當一個企業的E-I Index過高時,就表示該企業中的小團體有可能結合緊密而開始圖謀小團體私利,從而傷害到整個企業的利益。其實E-I Index不僅僅可以應用到企業管理領域,也可以應用到其他領域,比如用來研究某一學科領域學者之間的關系。如果該網路存在凝聚子群,並且凝聚子群的密度較高,說明處於這個凝聚子群內部的這部分學者之間聯系緊密,在信息分享和科研合作方面交往頻繁,而處於子群外部的成員則不能得到足夠的信息和科研合作機會。從一定程度上來說,這種情況也是不利於該學科領域發展的。
核心-邊緣(Core-Periphery)結構分析的目的是研究社會網路中哪些節點處於核心地位,哪些節點處於邊緣地位。核心-邊緣結構分析具有較廣的應用性,可用於分析精英網路、論文引用關系網路以及組織關系網路等多種社會現象。
根據關系數據的類型(定類數據和定比數據),核心—邊緣結構有不同的形式。定類數據和定比數據是統計學中的基本概念,一般來說,定類數據是用類別來表示的,通常用數字表示這些類別,但是這些數值不能用來進行數學計算;定比數據是用數值來表示的,可以用來進行數學計算。如果數據是定類數據,可以構建離散的核心-邊緣模型;如果數據是定比數據,可以構建連續的核心-邊緣模型。
離散的核心-邊緣模型,根據核心成員和邊緣成員之間關系的有無及緊密程度,又可分為3種:核心-邊緣全關聯模型、核心-邊緣局部關聯模型、核心-邊緣關系缺失模型。如果把核心和邊緣之間的關系看成是缺失值,就構成了核心-邊緣關系缺失模型。
這里介紹適用於定類數據的4種離散的核心-邊緣模型:
參考
❷ 復雜網路為什麼那麼火
復雜網路(Complex Network),具有自組織、自相似、吸引子、小世界、無標度中部分或全部性質的網路稱為復雜網路。
復雜網路研究的內容主要包括:網路的幾何性質,網路的形成機制,網路演化的統計規律,網路上的模型性質,以及網路的結構穩定性,網路的演化動力學機制等問題。其中在自然科學領域,網路研究的基本測度包括:度(degree)及其分布特徵,度的相關性,集聚程度及其分布特徵,最短距離及其分布特徵,介數(betweenness)及其分布特徵,連通集團豎渣的規模分布。
這么火的原因主要是因為:通過對復雜網路的研究,人們可以對模糊世界進行量化和可預測,目前只有基於復雜網路的研究成果,能夠在一定的范圍內對事物的發展和運行進行簡單預測,並且能夠對網路崩潰進行一定的預告。同時對復雜網路研究的念沖過程中,會產生大量的實際可用的模型,而且這些模型已經在實際的生產和組織結構中進行了大量的應用,取得了大量的實際成果。
國余高悄內最早在這方面有所建樹的是錢學森院士,這個東東實在不是我等老百姓能玩的了的。、
錢老對復雜網路的定義:具有自組織、自相似、吸引子、小世界、無標度中部分或全部性質的網路稱為復雜網路。
❸ 復雜網路現在都應用在什麼領域,都是怎樣的應用
主要運用在生物 比如物種絕滅或大量繁殖
社會學 比如社會人際網路
物理 比如兄搭賀電網
醫學比如神經網路
電信比如無線網路
主要都是研枝棚究度及度分羨派布
❹ 復雜網路介紹(Network Analysis)
網路,清悉數學上稱為圖,最早研究始於1736年歐拉的哥尼斯堡七橋問題,但是之後關於圖的研究發展緩慢,直到1936年,才有了第一本關於圖論研究的著作。
1960年,數學家Erdos和Renyi建立了隨機圖理論,為構造網路提供了一種新的方法。在這種方法中,兩個節點之間是否有邊連接不再是確定的事情,而是根據一個概率決定,這樣生成的網路稱作隨機網路。隨機圖的思想主宰復雜網路研究長達四十年之久,然而,直到近幾年,科學家們對大量的現實網路的實際數據進行計算研究後得到的許多結果,絕大多數的實際網路並不是完全隨機的,既不是規則網路,也不是隨機網路,而是具有與前兩者皆不同的統計特徵的網路。這樣的一•些網路稱為復雜網路,對於復雜網路的研究標志著網路研究的第三階段的到來。
1998年,Watts及其導師Strogatz在Nature上的文章《Collective Dynamics of Small-world Networks》,刻畫了現實世界中的網路所具有的大的凝聚系數和短的平均路徑長度的小世界特性。隨後,1999年,Barabasi及其博士生Albert在Science上的文章《Emergence of Scaling in Random Networks》提出無尺度網路模型(度分布為冪律分布),,刻畫了實際網路中普遍存在的「富者更富」的現象,從此開啟了復雜網路研究的新紀元。
隨著研究的深入,越來越多關於復雜網路的性質被發掘出來,其中很重要的一項研究是2002年Girvan和Newman在PNAS上的一篇文章《Community structure in social and biological networks》,指出復雜網路中普遍存在著聚類特性,每一個類稱之為一個社團(community),並提出了一個發現這些社團的演算法。從此,熱門對復雜網路中的社團發現問題進行了大量研究,產生了大量的演算法。
許多復雜系統都可以建模成一種復雜網路進行分析,比如常見的電力網路、航空網路、交通網路、計算機網路以及社交網路等等。復雜網路不僅是一種數據的表現形式,它同樣也是一種科學研究的手段。
復雜網路的定義
錢學森對於復雜網路給出了一種嚴格的定義:
復雜網路具有網路平均路徑長度較小、聚類系數較大、節點度分度服從冪律分布等相同特性
言外之意,復雜網路就是指一種呈現高度復雜性的網路,其特點主要具體體現在如下幾個方面:
小世界特性(Small world theory)又被稱之為是六度空間理論或者是六度分割理論(Six degrees of separation)。小世界特性指出:社交網路中的任何一個成員和任何一個陌生人之間所間隔的人不會超過六個。
在考慮網路特徵的時候,通常使用兩個特徵來衡量網路:
對於規則網路,任意兩個點(個體)之間的特徵路徑長度長(通過多少個體聯系在一起),但聚合系數高(你是朋友的朋友的朋友的幾率襪旦高)。對於隨機網路,任意兩個點之間的特徵路徑長度短,但聚合系數低。而小世界網路,點之間特徵路徑長度小,接近隨機網路,而聚合系數依舊相當高,接近規則網路。
復雜網路的小世界特性跟網路中的信息傳播有著密切的聯系。實際的社會、生態、等網路都是小世界網路,在這樣的系統里,信息傳遞速度快,並且少量改變幾個連接,就可以劇烈地改變網路的性能,如對已存在的網路進行調整,如蜂窩電話網,改動很少答好乎幾條線路,就可以顯著提高性能。
現實世界的網路大部分都不是隨機網路,少數的節點往往擁有大量的連接,而大部分節點卻很少,節點的度數分布符合冪率分布,而這就被稱為是網路的無標度特性(Scale-free)。將度分布符合冪律分布的復雜網路稱為無標度網路。
例如,知乎中用戶的fellow數的分布情況:
無標度特性反映了復雜網路具有嚴重的異質性,其各節點之間的連接狀況(度數)具有嚴重的不均勻分布性:網路中少數稱之為Hub點的節點擁有極其多的連接,而大多數節點只有很少量的連接。少數Hub點對無標度網路的運行起著主導的作用。從廣義上說,無標度網路的無標度性是描述大量復雜系統整體上嚴重不均勻分布的一種內在性質。
其實復雜網路的無標度特性與網路的魯棒性分析具有密切的關系。無標度網路中冪律分布特性的存在極大地提高了高度數節點存在的可能性,因此,無標度網路同時顯現出針對隨機故障的魯棒性和針對蓄意攻擊的脆弱性。這種魯棒且脆弱性對網路容錯和抗攻擊能力有很大影響。
研究表明,無標度網路具有很強的容錯性,但是對基於節點度值的選擇性攻擊而言,其抗攻擊能力相當差,高度數節點的存在極大地削弱了網路的魯棒性,一個惡意攻擊者只需選擇攻擊網路很少的一部分高度數節點,就能使網路迅速癱瘓。
人以類聚,物以群分。復雜網路中的節點往往也呈現出集群特性。例如,社會網路中總是存在熟人圈或朋友圈,其中每個成員都認識其他成員。集群程度的意義是網路集團化的程度;這是一種網路的內聚傾向。連通集團概念反映的是一個大網路中各集聚的小網路分布和相互聯系的狀況。例如,它可以反映這個朋友圈與另一個朋友圈的相互關系。
下圖為網路聚集現象的一種描述:
真實網路所表現出來的小世界特性、無尺度冪律分布或高聚集度等現象促使人們從理論上構造出多樣的網路模型,以解釋這些統計特性,探索形成這些網路的演化機制。本節介紹了幾個經典網路模型的原理和構造方法,包括ER隨機網路模型、BA無尺度網路模型和小世界模型。
ErdOs-Renyi隨機網路模型(簡稱ER隨機網路模型)是匈牙利數學家Erdos和Renyi提出的一種網路模型。1959年,為了描述通信和生命科學中的網路,Erdos和Renyi提出,通過在網路節點間隨機地布置連接,就可以有效地模擬出這類系統。這種方法及相關定理的簡明扼要,導致了圖論研究的復興,數學界也因此出現了研究隨機網路的新領域。ER隨機網路模型在計算機科學、統計物理、生命科學、通信工程等領域都得到了廣泛應用。
ER隨機網路模型是個機會均等的網路模型。在該網路模型中,給定一定數目的個體(節點),它和其他任意一個個體(節點)之間有相互關系(連接)的概率相同,記為戶。因為一個節點連接k個其他節點的概率,會隨著k值的增大而呈指數遞減。這樣,如果定義是為每個個體所連接的其他個體的數目,可以知道連接概率p(k)服從鍾形的泊松(Poisson)分布,有時隨機網路也稱作指數網路。
隨機網路理論有一項重要預測:盡管連接是隨機安置的,但由此形成的網路卻是高度民主的,也就是說,絕大部分節點的連接數目會大致相同。實際上,隨機網路中連接數目比平均數高許多或低許多的節點,都十分罕見。
在過去40多年裡,科學家習慣於將所有復雜網路都看作是隨機網路。在1998年研究描繪萬維網(以網頁為節點、以超級鏈接為邊)的項目時,學者們原以為會發現一個隨機網路:人們會根據自己的興趣,來決定將網路文件鏈接到哪些網站,而個人興趣是多種多樣的,可選擇的網頁數量也極其龐大,因而最終的鏈接模式將呈現出相當隨機的結果。
然而,事實並非如此。因為在萬維網上,並非所有的節點都是平等的。在選擇將網頁鏈接到何處時,人們可以從數十億個網站中進行選擇。然而,我們中的大部分人只熟悉整個萬維網的一小部分,這一小部分中往往包含那些擁有較多鏈接的站點,因為這樣的站點更容易為人所知。只要鏈接到這些站點,就等於造就或加強了對它們的偏好。這種「擇優連接(Preferential Attachment)」的過程,也發生在其他網路中。在Internet上,那些具有較多連接的路由器通常也擁有更大的帶寬,因而新用戶就更傾向於連接到這些路由器上。在美國的生物技術產業內,某些知名公司更容易吸引到同盟者,而這又進一步加強了它在未來合作中的吸引力。類似地,在論文引用網路(論文為節點,引用關系為邊)中,被引用次數較多的科學文獻,會吸引更多的研究者去閱讀並引用它。針對這些網路的「擇優連接」的新特性,學者提出了BA無尺度網路模型。
無尺度網路的發現,使人類對於復雜網路的認識進入了一個新的天地。無尺度網路的最主要特徵是節點的度分布服從冪次定律。BA模型是無尺度網路(Scale-free Network)的第一個抽象模型。由於考慮了系統的成長性(Growth)和擇優連接性,BA模型給我們帶來了很多啟發,並且可以應用於多種實際網路。但是BA模型的兩個基本假定,對於解釋許多現實中的現象來說過於簡單,與現實的網路還有較大的距離。
有學者試圖對BA模型進行擴展,即根據現實中的網路,增添某些假定,以便進一步探索復雜網路系統的規律。對BA模型的擴充可以考慮三個因素:擇優選擇的成本、邊的重新連接、網路的初始狀態。擴充的BA模型可以更好地模擬現實世界中的網路現象。
1999年,丸Barabasi和兄Albert在對互聯網的研究中發現了無尺度網路,使人類對於復雜網路系統有了全新的認識。過去,人們習慣於將所有復雜網路看作是隨機網路,但Barabasi和Albert發現互聯網實際上是由少數高連接性的頁面組織起來的,80%以上頁面的鏈接數不到4個。只佔節點總數不到萬分之一的極少數節點,卻有1000個以上的鏈接。這種網頁的鏈接分布遵循所謂的「冪次定律」:任何一個節點擁有是條連接的概率,與1/k成正比。它不像鍾形曲線那樣具有一個集中度很高的峰值,而是一條連續遞減的曲線。如果取雙對數坐標系來描述冪次定律,得到的是一條直線。
Scale-free網路指的是節點的度分布符合冪律分布的網路,由於其缺乏一個描述問題的特徵尺度而被稱為無尺度網路。其後的幾年中,研究者們在許多不同的領域中都發現了無尺度網路。從生態系統到人際關系,從食物鏈到代謝系統,處處可以看到無尺度網路。
為什麼隨機模型與實際不相符合呢?Barabasi和Albert在深入分析了ER模型之後,發現問題在於ER模型討論的網路是一個既定規模的,不會繼續擴展的網路。正是由於現實當中的網路往往具有不斷成長的特性,早進入的節點(老節點)獲得連接的概率就更大。當網路擴張到一定規模以後,這些老節點很容易成為擁有大量連接的集散節點。這就是網路的「成長性」。
其次,ER模型中每個節點與其他節點連接時,建立連接的概率是相同的。也就是說,網路當中所有的節點都是平等的。這一情況與實際也不相符。例如,新成立的網站選擇與其他網站鏈接時,自然是在人們所熟知的網站中選擇一個進行鏈接,新的個人主頁上的超文本鏈接更有可能指向新浪、雅虎等著名的站點。由此,那些熟知的網站將獲得更多的鏈接,這種特性稱為「擇優連接」。這種現象也稱為「馬太效應(Matthew Effect)」或「富者更富(Rich Get Richer)」。
「成長性」和「擇優連接」這兩種機制解釋了網路當中集散節點的存在。
BA無尺度模型的關鍵在於,它把實際復雜網路的無尺度特性歸結為增長和優先連接這兩個非常簡單的機制。當然,這也不可避免地使得BA無尺度網路模型和真實網路相比存在一些明顯的限制。比如,一些實際網路的局域特性對網路演化結果的影響、外界對網路節點及其連接邊刪除的影響等。
一般自然的或者人造的現實網路與外界之間有節點交換,節點間連接也在不斷變化,網路自身具有一定的自組織能力,會對自身或者外界的變化作出相應的反應。因此,在BA模型基礎上,可以把模型的動力學過程進行推廣,包括對網路中已有節點或者連接的隨機刪除及其相應的連接補償機制。
對每一個時間步長,考慮如下三種假設:
復雜網路研究中一個重要的發現是絕大多數大規模真實網路的平均路徑長度比想像的小得多,稱之為「小世界現象」,或稱「六度分離(Six Degrees of Separation)」。
所謂小世界現象,是來自社會網路(Social Networks)中的基本現象,即每個人只需要很少的中間人(平均6個)就可以和全世界的人建立起聯系。在這一理論中,每個人可看作是網路的一個節點,並有大量路徑連接著他們,相連接的節點表示互相認識的人。
1998年,Watts和Strogatz引入了一個介於規則網路和完全隨機網路之間的單參數小世界網路模型,稱為WS小世界模型,該模型較好地體現了社會網路的小平均路徑長度和大聚類系數兩種現象。
WS小世界模型的構造方法如下:
在WS小世界模型中,p=0對應於規則網路,p=l則對應於完全隨機網路,通過調節聲的值就可以控制從規則網路到完全隨機圖的過渡。因此,WS小世界網路是介於規則網路和隨機網路之間的一種網路。
WS小世界模型構造演算法中的隨機化過程有可能破壞網路的連通性。因此,Newman和Watts稍後提出了NW小世界模型。NW小世界模型的構造方法如下:
NW模型只是將WS小世界模型構造中的「隨機化重連」改為「隨機化加邊」。
NW模型不同於WS模型之處在於它不切斷規則網路中的原始邊,而是以概率p重新連接一對節點。這樣構造出來的網路同時具有大的聚類數和小的平均距離。NW模型的優點在於其簡化了理論分析,因為WS模型可能存在孤立節點,但NW模型不會。當戶足夠小和N足夠大時,NW小世界模型本質上就等同於WS小世界模型。
小世界網路模型反映了實際網路所具有的一些特性,例如朋友關系網,大部分人的朋友都是和他們住在同一個地方,其地理位置不是很遠,或只在同一單位工作或學習的同事和同學。另一方面,也有些人住得較遠的,甚至是遠在異國他鄉的朋友,這種情形好比WS小世界模型中通過重新連線或在NW小世界模型中通過加入連線產生的遠程連接。
小世界網路模型的主要特徵之一是節點之間的平均距離隨遠程連接的個數而指數下降。對於規則網路,平均距離L可估計為L正比於N;而對於小世界網路模型,L正比於ln(N)/1n(K)。例如,對於一個千萬人口的城市,人與人的平均接觸距離是6左右,這使得生活人群之間的距離大大縮短。該模型由一個規則的環組成,通常是一個一維的幾乎具有周期性邊界條件的環(即環中每個節點幾乎都連接到一固定數目的鄰近節點)和少量的隨機選取節點連接成的「捷徑」 (重新連接現存的邊)。小世界網路同時具有「高網路聚集度」和「低平均路徑」的特性。
從小世界網路模型中可以看到,只要改變很少的幾個連接,就可以劇烈的改變網路的性能。這樣的性質也可以應用其他網路,尤其是對已有網路的調整方面。例如,蜂窩電話網,改動很少幾條線路(低成本、低工作量)的連接,就可以顯著提高性能。也可以應用到互聯網的主幹路由器上,以改變流量和提高傳輸速度。同樣的思路也可以應用到電子郵件的快速傳遞、特定Web站點的定位等。
如果學習復雜網路,目前認為最好的視頻教程:
【社交計算與社會網路分析】Network Analysis
1) 復雜網路中聚類演算法總結
2) Network Analysis復雜網路分析總結
3) 復雜網路和社會網路
❺ 大數據與復雜網路
寫這篇文章,有兩個原因:
看了李院士的《大數據研究的科學價值》,有些感觸。
我自己做了一段時間社交,也有一些想法。
之前也寫過復雜網路的東西,但是都非常膚淺,沒有真正的理解復雜網路,近期看了一些資料,有了進一步的理解。
李院士的文章,是從科學家的角度,理解大數據的價值。從文章中,我了解到以下幾點:
數據inside:未來數據將數據轉換為產品或者服務的人。
分析即服務:Aaas。構建一個統一的數據分析平台,提供豐富的api,供數據分析師進行分析,挖掘金礦。是一件很有用,同時也很有錢途的事業。
大數據的存儲、計算、挖掘分析的技術,還需要更進一步的發展。一些同學,規劃自己的職業生涯,把這個作為儲備,現在開始學習,是一個非常好的選擇。我之前做過一些存儲相關的東西,存儲還是要往多層方向發展。
在大數據中的個體之間存在著關系,有可能大數據的本質就是復雜網路的本質。為研究指名了一個方向。
第四範式:之前的研究都需要有模型,在大數據的背景之下:所有的模型都是錯誤的,進一步說,沒有模型你也可以成功。
文章中,李院士提到大數據的本質,可能就是復雜網路的本質。這是因為大數據個體之間都是關系的。舉個例子,互聯網。個體是網頁,網頁和網頁之間通過超鏈接互相鏈接,當然也可能有單向的。互聯網就是一個復雜網路。其中的關系已經被驗證了意義的重大——PageRank演算法——搜索引擎的核心之一。另一方面,大數據的產生,整體分為兩類:1)生物科學中,人腦細胞、神經元,基因等等。都是大數據。桐改2)還有就是社會群體產生的。國內現在火熱的微博。就每天會產生很大量的數據。在這兩類中,我們都要考慮個體之間的關系,都有一些參數和性質:平均路徑長度、度分布、聚集系數、核數和介數等。這些都可以歸結到復雜網路的研究當中。不過,大數據的研究剛剛開始,其本質是否就是復雜網路所能解釋的還很難說。復雜網路本身也在發展演變的過程中,幾年之後,那時的復雜網路也不是現在的樣子。但是,社交網路確確實實是復雜網路的體現。所以,通過復雜網路的理論,研究大數據,研究社交網路,一定是一個很好的方向。
說了半天的復雜網路,到底復雜網路是什麼呢?這里,我只說說我對復雜網路的淺顯理解。也歡迎大家指點、討論。我們一般所說的復雜網路具備兩個特點:
無尺度
小世界
看起來很玄的兩個詞,那麼該如何理解呢?無尺度的概念,比較好理解:就是網路中的度分布滿足冪律分布。冪律分布可以理解度的分布比較集中。我們以新浪微博為例,粉絲上千萬那的人非常少,百萬的人也非常少。更多的是幾百粉絲的。直白一點說,就是粉絲非常多的人很少,很集中。粉絲比較少的,分布就比較廣,比較多。我之前做微博數據分析的時候,有統計過幾乎所有用戶的粉絲數分布的。完全符合冪律的分布。如果大家需要,可以和我進一步討論之類。我也可以找找之前的統計數據。
小世界我覺得需要從兩個角度考慮:第一個,就是網路中兩點的平均最短路徑很小。著名的米爾格拉姆實驗的第一個結果就是:六度分隔。意思就是在我們的世界上,你想聯系任何一個人,你不認識的,平均就需要找5、6個人就可以了。隨著社會的發展,facebook等社交網路興起,這個度越來越小。有報道說,已經是4.5個人就可以了。這個事情比較有意思,前些日子,還有個開發者做了一個微博應用,計算你到某個明星的距離。很多人會想,是不是很遠,是不是計算很復雜?其實都不是的,小世界的特性告訴我們,這個值會很小。同時,即使在線讀取關注,深度搜索的暴力方式解決,這也是很快的。第二個,不僅僅平均最短路徑很小,如果消息在網路中耐鎮傳播,會以很大的概率,通過最短路徑傳播到目的地。這個很重要,這個是根本。這個是,現在微博上進行微博營銷的根本所在。如果沒有這個特性,通過轉發,甚至是大號的轉發,很難出現傳播爆發的情況,很難讓更多的人知道。所以這個很重要,這個也是米爾格拉姆試驗的第二個重要的結果。
其實上面兩個結果,都有對應的模型,能夠很好的證明,而且,在實際的社交網路中,也得到的驗證。局畝判大家感興趣,可以自己研究。
那麼大數據,我們作為程序員、作為研究者,能夠做什麼呢?其實前面也說過了,主要就三點:
存儲
計算
演算法
我們圍繞著這三塊進行,無論是工程開發者,還是研究者,都可以在這個過程中發現問題,歸納共性,提煉本質,然後上升到科學的高度。
我目前還沒有李老師的高度,我也是圍繞著微博做了一些復雜網路相關的研究。我希望,以後,我的工作,也能夠為大數據科學進步,起到一點點作用。那我的工作,就真的有價值了。
下面是我自己感興趣的一些點,歡迎大家討論:
復雜網路社團結構的發現,對應社交網路中的圈子挖掘。
社交網路中,特定領域,人物影響力的排名。
社交網路中,信息傳播的研究
社交網路用戶關系的存儲
其中,1、2、4我做了比較多的嘗試,1、2效果還不錯,4沒有好的方法。3目前只是了解階段,還沒有開始動手。
僅以此文,拋磚引玉。
【完】