❶ 复杂网络 --- 社会网络分析
“社会网络”指的是社会成员及其相互关系的集合。社会网络中所说的“点”是各个社会成员,而社会网络中的“边”指的是成员之间的各种社会关系。成员间的关系可以是有向的,也可以是无向的。同时,社会关系可以表现为多种形式,如人与人之间的朋友关系、上下级关系、科研合作关系等,组织成员之间的沟通关系,国家之间的贸易关系等。社会网络分析(Social Network Analysis)就是要对社会网络中行为者之间的关系进行量化研究,是社会网络理论中的一个具体工具。
因此,社会网络分析关注的焦点是关系和关系的模式,采用的方式和方法从概念上有别于传统的统计分析和数据处理方法。
社会网络通常表达人类的个体通过各种关系连接起来,比如朋友、婚姻、商业等,这些连接宏观上呈现出一定的模式。很早的时候,一些社会学家开始关注人们交往的模式。Ebel等进行了一个电子邮件版的小世界问题的实验,完成了Kiel大学的5000个学生的112天电子邮件连接数据,节点为电子邮件地址,连接为消息的传递,得到带指数截断的幂律度分布,指数为r=1.18。同时证明,该网络是小世界的,平均分隔为4.94。
社会网络分析,可以解决或可以尝试解决下列问题:
“中心性”是社会网络分析的重点之一,用于分析个人或组织在其社会网络中具有怎样的权力,或者说居于怎样的中心地位,这一思想是社会网络分析者最早探讨的内容之一。
点度中心度表示与该点直接相连的点的个数,无向图为(n-1),有向图为(入度,出度)。
个体的中心度(Centrality)测量个体处于网络中心的程度,反映了该点在网络中的重要性程度。网络中每个个体都有一个中心度,刻画了个体特性。除了计算网络中个体的中心度外,还可以计算整个网络的集中趋势(可简称为中心势,Centralization)。网络中心势刻画的是整个网络中各个点的差异性程度,一个网络只有一个中心势。
根据计算方法的不同,中心度和中心势都可以分为3种:点度中心度/点度中心势、中间中心度/中间中心势、接近中心度/接近中心势。
在一个社会网络中,如果一个个体与其他个体之间存在大量的直接联系,那么该个体就居于中心地位,在该网络中拥有较大的“权力”。在这种思想的指导下,网络中一个点的点度中心性就可以用网络中与该点之间有联系的点的数目来衡量,这就是点度中心度。
网络中心势指的是网络中点的集中趋势,其计算依据如下步骤:首先找到图中的最大点度中心度的数值,然后计算该值与任何其他点的中心度的差值,再计算这些“差值”的总和,最后用这个总和除以各个“差值”总和的最大可能值。
在网络中,如果一个个体位于许多其他两个个体之间的路径上,可以认为该个体居于重要地位,因为他具有控制其他两个个体之间的交往能力,这种特性用中间中心度描述,它测量的是个体对资源控制的程度。一个个体在网络中占据这样的位置越多,代表它具有很高的中间中心性,就有越多的个体需要通过它才能发生联系。
中间中心势定义为网络中 中间中心性最高的节点的中间中心性与其他节点的中间中心性的差距,用于分析网络整体结构。中间中心势越高,表示该网络中的节点可能分为多个小团体,而且过于依赖某一个节点传递关系,说明该节点在网络中处于极其重要的地位。
接近中心性用来描述网络中的个体不受他人“控制”的能力。在计算接近中心度的时候,我们关注的是捷径,而不是直接关系。如果一个点通过比较短的路径与许多其他点相连,我们就说该点具有较高的接近中心性。
对一个社会网络来说,接近中心势越高,表明网络中节点的差异性越大;反之,则表明网络中节点间的差异越小。
注:以上公式都是针对无向图,如果是有向图则根据定义相应修改公式即可
当网络中某些个体之间的关系特别紧密,以至于结合成一个次级团体时,这样的团体在社会网络分析中被称为凝聚子群。分析网络中存在多少个这样的子群,子群内部成员之间关系的特点,子群之间关系特点,一个子群的成员与另一个子群成员之间的关系特点等就是凝聚子群分析。
由于凝聚子群成员之间的关系十分紧密,因此有的学者也将凝聚子群分析形象地称为“小团体分析”或“社区现象”。
常用的社区检测方法主要有如下几种:
(1)基于图分割的方法,如Kernighan-Lin算法,谱平分法等;
(2)基于层次聚类的方法,如GN算法、Newman快速算法等;
(3)基于模块度优化的方法,如贪婪算法、模拟退火算法、Memetic算法、PSO算法、进化多目标优化算法等。
凝聚子群密度(External-Internallndex,E-IIndex)主要用来衡量一个大的网络中小团体现象是否十分严重,在分析组织管理等问题时非常有效。
最差的情形是大团体很散漫,核心小团体却有高度内聚力。另外一种情况是,大团体中有许多内聚力很高的小团体,很可能就会出现小团体间相互斗争的现象。凝聚子群密度的取值范围为[-1,+1]。该值越向1靠近,意味着派系林立的程度越大;该值越接近-1,意味着派系林立的程度越小;该值越接近0,表明关系越趋向于随机分布,未出现派系林立的情形。
E-I Index可以说是企业管理者的一个重要的危机指数。当一个企业的E-I Index过高时,就表示该企业中的小团体有可能结合紧密而开始图谋小团体私利,从而伤害到整个企业的利益。其实E-I Index不仅仅可以应用到企业管理领域,也可以应用到其他领域,比如用来研究某一学科领域学者之间的关系。如果该网络存在凝聚子群,并且凝聚子群的密度较高,说明处于这个凝聚子群内部的这部分学者之间联系紧密,在信息分享和科研合作方面交往频繁,而处于子群外部的成员则不能得到足够的信息和科研合作机会。从一定程度上来说,这种情况也是不利于该学科领域发展的。
核心-边缘(Core-Periphery)结构分析的目的是研究社会网络中哪些节点处于核心地位,哪些节点处于边缘地位。核心-边缘结构分析具有较广的应用性,可用于分析精英网络、论文引用关系网络以及组织关系网络等多种社会现象。
根据关系数据的类型(定类数据和定比数据),核心—边缘结构有不同的形式。定类数据和定比数据是统计学中的基本概念,一般来说,定类数据是用类别来表示的,通常用数字表示这些类别,但是这些数值不能用来进行数学计算;定比数据是用数值来表示的,可以用来进行数学计算。如果数据是定类数据,可以构建离散的核心-边缘模型;如果数据是定比数据,可以构建连续的核心-边缘模型。
离散的核心-边缘模型,根据核心成员和边缘成员之间关系的有无及紧密程度,又可分为3种:核心-边缘全关联模型、核心-边缘局部关联模型、核心-边缘关系缺失模型。如果把核心和边缘之间的关系看成是缺失值,就构成了核心-边缘关系缺失模型。
这里介绍适用于定类数据的4种离散的核心-边缘模型:
参考
❷ 复杂网络为什么那么火
复杂网络(Complex Network),具有自组织、自相似、吸引子、小世界、无标度中部分或全部性质的网络称为复杂网络。
复杂网络研究的内容主要包括:网络的几何性质,网络的形成机制,网络演化的统计规律,网络上的模型性质,以及网络的结构稳定性,网络的演化动力学机制等问题。其中在自然科学领域,网络研究的基本测度包括:度(degree)及其分布特征,度的相关性,集聚程度及其分布特征,最短距离及其分布特征,介数(betweenness)及其分布特征,连通集团竖渣的规模分布。
这么火的原因主要是因为:通过对复杂网络的研究,人们可以对模糊世界进行量化和可预测,目前只有基于复杂网络的研究成果,能够在一定的范围内对事物的发展和运行进行简单预测,并且能够对网络崩溃进行一定的预告。同时对复杂网络研究的念冲过程中,会产生大量的实际可用的模型,而且这些模型已经在实际的生产和组织结构中进行了大量的应用,取得了大量的实际成果。
国余高悄内最早在这方面有所建树的是钱学森院士,这个东东实在不是我等老百姓能玩的了的。、
钱老对复杂网络的定义:具有自组织、自相似、吸引子、小世界、无标度中部分或全部性质的网络称为复杂网络。
❸ 复杂网络现在都应用在什么领域,都是怎样的应用
主要运用在生物 比如物种绝灭或大量繁殖
社会学 比如社会人际网络
物理 比如兄搭贺电网
医学比如神经网络
电信比如无线网络
主要都是研枝棚究度及度分羡派布
❹ 复杂网络介绍(Network Analysis)
网络,清悉数学上称为图,最早研究始于1736年欧拉的哥尼斯堡七桥问题,但是之后关于图的研究发展缓慢,直到1936年,才有了第一本关于图论研究的着作。
1960年,数学家Erdos和Renyi建立了随机图理论,为构造网络提供了一种新的方法。在这种方法中,两个节点之间是否有边连接不再是确定的事情,而是根据一个概率决定,这样生成的网络称作随机网络。随机图的思想主宰复杂网络研究长达四十年之久,然而,直到近几年,科学家们对大量的现实网络的实际数据进行计算研究后得到的许多结果,绝大多数的实际网络并不是完全随机的,既不是规则网络,也不是随机网络,而是具有与前两者皆不同的统计特征的网络。这样的一•些网络称为复杂网络,对于复杂网络的研究标志着网络研究的第三阶段的到来。
1998年,Watts及其导师Strogatz在Nature上的文章《Collective Dynamics of Small-world Networks》,刻画了现实世界中的网络所具有的大的凝聚系数和短的平均路径长度的小世界特性。随后,1999年,Barabasi及其博士生Albert在Science上的文章《Emergence of Scaling in Random Networks》提出无尺度网络模型(度分布为幂律分布),,刻画了实际网络中普遍存在的“富者更富”的现象,从此开启了复杂网络研究的新纪元。
随着研究的深入,越来越多关于复杂网络的性质被发掘出来,其中很重要的一项研究是2002年Girvan和Newman在PNAS上的一篇文章《Community structure in social and biological networks》,指出复杂网络中普遍存在着聚类特性,每一个类称之为一个社团(community),并提出了一个发现这些社团的算法。从此,热门对复杂网络中的社团发现问题进行了大量研究,产生了大量的算法。
许多复杂系统都可以建模成一种复杂网络进行分析,比如常见的电力网络、航空网络、交通网络、计算机网络以及社交网络等等。复杂网络不仅是一种数据的表现形式,它同样也是一种科学研究的手段。
复杂网络的定义
钱学森对于复杂网络给出了一种严格的定义:
复杂网络具有网络平均路径长度较小、聚类系数较大、节点度分度服从幂律分布等相同特性
言外之意,复杂网络就是指一种呈现高度复杂性的网络,其特点主要具体体现在如下几个方面:
小世界特性(Small world theory)又被称之为是六度空间理论或者是六度分割理论(Six degrees of separation)。小世界特性指出:社交网络中的任何一个成员和任何一个陌生人之间所间隔的人不会超过六个。
在考虑网络特征的时候,通常使用两个特征来衡量网络:
对于规则网络,任意两个点(个体)之间的特征路径长度长(通过多少个体联系在一起),但聚合系数高(你是朋友的朋友的朋友的几率袜旦高)。对于随机网络,任意两个点之间的特征路径长度短,但聚合系数低。而小世界网络,点之间特征路径长度小,接近随机网络,而聚合系数依旧相当高,接近规则网络。
复杂网络的小世界特性跟网络中的信息传播有着密切的联系。实际的社会、生态、等网络都是小世界网络,在这样的系统里,信息传递速度快,并且少量改变几个连接,就可以剧烈地改变网络的性能,如对已存在的网络进行调整,如蜂窝电话网,改动很少答好乎几条线路,就可以显着提高性能。
现实世界的网络大部分都不是随机网络,少数的节点往往拥有大量的连接,而大部分节点却很少,节点的度数分布符合幂率分布,而这就被称为是网络的无标度特性(Scale-free)。将度分布符合幂律分布的复杂网络称为无标度网络。
例如,知乎中用户的fellow数的分布情况:
无标度特性反映了复杂网络具有严重的异质性,其各节点之间的连接状况(度数)具有严重的不均匀分布性:网络中少数称之为Hub点的节点拥有极其多的连接,而大多数节点只有很少量的连接。少数Hub点对无标度网络的运行起着主导的作用。从广义上说,无标度网络的无标度性是描述大量复杂系统整体上严重不均匀分布的一种内在性质。
其实复杂网络的无标度特性与网络的鲁棒性分析具有密切的关系。无标度网络中幂律分布特性的存在极大地提高了高度数节点存在的可能性,因此,无标度网络同时显现出针对随机故障的鲁棒性和针对蓄意攻击的脆弱性。这种鲁棒且脆弱性对网络容错和抗攻击能力有很大影响。
研究表明,无标度网络具有很强的容错性,但是对基于节点度值的选择性攻击而言,其抗攻击能力相当差,高度数节点的存在极大地削弱了网络的鲁棒性,一个恶意攻击者只需选择攻击网络很少的一部分高度数节点,就能使网络迅速瘫痪。
人以类聚,物以群分。复杂网络中的节点往往也呈现出集群特性。例如,社会网络中总是存在熟人圈或朋友圈,其中每个成员都认识其他成员。集群程度的意义是网络集团化的程度;这是一种网络的内聚倾向。连通集团概念反映的是一个大网络中各集聚的小网络分布和相互联系的状况。例如,它可以反映这个朋友圈与另一个朋友圈的相互关系。
下图为网络聚集现象的一种描述:
真实网络所表现出来的小世界特性、无尺度幂律分布或高聚集度等现象促使人们从理论上构造出多样的网络模型,以解释这些统计特性,探索形成这些网络的演化机制。本节介绍了几个经典网络模型的原理和构造方法,包括ER随机网络模型、BA无尺度网络模型和小世界模型。
ErdOs-Renyi随机网络模型(简称ER随机网络模型)是匈牙利数学家Erdos和Renyi提出的一种网络模型。1959年,为了描述通信和生命科学中的网络,Erdos和Renyi提出,通过在网络节点间随机地布置连接,就可以有效地模拟出这类系统。这种方法及相关定理的简明扼要,导致了图论研究的复兴,数学界也因此出现了研究随机网络的新领域。ER随机网络模型在计算机科学、统计物理、生命科学、通信工程等领域都得到了广泛应用。
ER随机网络模型是个机会均等的网络模型。在该网络模型中,给定一定数目的个体(节点),它和其他任意一个个体(节点)之间有相互关系(连接)的概率相同,记为户。因为一个节点连接k个其他节点的概率,会随着k值的增大而呈指数递减。这样,如果定义是为每个个体所连接的其他个体的数目,可以知道连接概率p(k)服从钟形的泊松(Poisson)分布,有时随机网络也称作指数网络。
随机网络理论有一项重要预测:尽管连接是随机安置的,但由此形成的网络却是高度民主的,也就是说,绝大部分节点的连接数目会大致相同。实际上,随机网络中连接数目比平均数高许多或低许多的节点,都十分罕见。
在过去40多年里,科学家习惯于将所有复杂网络都看作是随机网络。在1998年研究描绘万维网(以网页为节点、以超级链接为边)的项目时,学者们原以为会发现一个随机网络:人们会根据自己的兴趣,来决定将网络文件链接到哪些网站,而个人兴趣是多种多样的,可选择的网页数量也极其庞大,因而最终的链接模式将呈现出相当随机的结果。
然而,事实并非如此。因为在万维网上,并非所有的节点都是平等的。在选择将网页链接到何处时,人们可以从数十亿个网站中进行选择。然而,我们中的大部分人只熟悉整个万维网的一小部分,这一小部分中往往包含那些拥有较多链接的站点,因为这样的站点更容易为人所知。只要链接到这些站点,就等于造就或加强了对它们的偏好。这种“择优连接(Preferential Attachment)”的过程,也发生在其他网络中。在Internet上,那些具有较多连接的路由器通常也拥有更大的带宽,因而新用户就更倾向于连接到这些路由器上。在美国的生物技术产业内,某些知名公司更容易吸引到同盟者,而这又进一步加强了它在未来合作中的吸引力。类似地,在论文引用网络(论文为节点,引用关系为边)中,被引用次数较多的科学文献,会吸引更多的研究者去阅读并引用它。针对这些网络的“择优连接”的新特性,学者提出了BA无尺度网络模型。
无尺度网络的发现,使人类对于复杂网络的认识进入了一个新的天地。无尺度网络的最主要特征是节点的度分布服从幂次定律。BA模型是无尺度网络(Scale-free Network)的第一个抽象模型。由于考虑了系统的成长性(Growth)和择优连接性,BA模型给我们带来了很多启发,并且可以应用于多种实际网络。但是BA模型的两个基本假定,对于解释许多现实中的现象来说过于简单,与现实的网络还有较大的距离。
有学者试图对BA模型进行扩展,即根据现实中的网络,增添某些假定,以便进一步探索复杂网络系统的规律。对BA模型的扩充可以考虑三个因素:择优选择的成本、边的重新连接、网络的初始状态。扩充的BA模型可以更好地模拟现实世界中的网络现象。
1999年,丸Barabasi和兄Albert在对互联网的研究中发现了无尺度网络,使人类对于复杂网络系统有了全新的认识。过去,人们习惯于将所有复杂网络看作是随机网络,但Barabasi和Albert发现互联网实际上是由少数高连接性的页面组织起来的,80%以上页面的链接数不到4个。只占节点总数不到万分之一的极少数节点,却有1000个以上的链接。这种网页的链接分布遵循所谓的“幂次定律”:任何一个节点拥有是条连接的概率,与1/k成正比。它不像钟形曲线那样具有一个集中度很高的峰值,而是一条连续递减的曲线。如果取双对数坐标系来描述幂次定律,得到的是一条直线。
Scale-free网络指的是节点的度分布符合幂律分布的网络,由于其缺乏一个描述问题的特征尺度而被称为无尺度网络。其后的几年中,研究者们在许多不同的领域中都发现了无尺度网络。从生态系统到人际关系,从食物链到代谢系统,处处可以看到无尺度网络。
为什么随机模型与实际不相符合呢?Barabasi和Albert在深入分析了ER模型之后,发现问题在于ER模型讨论的网络是一个既定规模的,不会继续扩展的网络。正是由于现实当中的网络往往具有不断成长的特性,早进入的节点(老节点)获得连接的概率就更大。当网络扩张到一定规模以后,这些老节点很容易成为拥有大量连接的集散节点。这就是网络的“成长性”。
其次,ER模型中每个节点与其他节点连接时,建立连接的概率是相同的。也就是说,网络当中所有的节点都是平等的。这一情况与实际也不相符。例如,新成立的网站选择与其他网站链接时,自然是在人们所熟知的网站中选择一个进行链接,新的个人主页上的超文本链接更有可能指向新浪、雅虎等着名的站点。由此,那些熟知的网站将获得更多的链接,这种特性称为“择优连接”。这种现象也称为“马太效应(Matthew Effect)”或“富者更富(Rich Get Richer)”。
“成长性”和“择优连接”这两种机制解释了网络当中集散节点的存在。
BA无尺度模型的关键在于,它把实际复杂网络的无尺度特性归结为增长和优先连接这两个非常简单的机制。当然,这也不可避免地使得BA无尺度网络模型和真实网络相比存在一些明显的限制。比如,一些实际网络的局域特性对网络演化结果的影响、外界对网络节点及其连接边删除的影响等。
一般自然的或者人造的现实网络与外界之间有节点交换,节点间连接也在不断变化,网络自身具有一定的自组织能力,会对自身或者外界的变化作出相应的反应。因此,在BA模型基础上,可以把模型的动力学过程进行推广,包括对网络中已有节点或者连接的随机删除及其相应的连接补偿机制。
对每一个时间步长,考虑如下三种假设:
复杂网络研究中一个重要的发现是绝大多数大规模真实网络的平均路径长度比想象的小得多,称之为“小世界现象”,或称“六度分离(Six Degrees of Separation)”。
所谓小世界现象,是来自社会网络(Social Networks)中的基本现象,即每个人只需要很少的中间人(平均6个)就可以和全世界的人建立起联系。在这一理论中,每个人可看作是网络的一个节点,并有大量路径连接着他们,相连接的节点表示互相认识的人。
1998年,Watts和Strogatz引入了一个介于规则网络和完全随机网络之间的单参数小世界网络模型,称为WS小世界模型,该模型较好地体现了社会网络的小平均路径长度和大聚类系数两种现象。
WS小世界模型的构造方法如下:
在WS小世界模型中,p=0对应于规则网络,p=l则对应于完全随机网络,通过调节声的值就可以控制从规则网络到完全随机图的过渡。因此,WS小世界网络是介于规则网络和随机网络之间的一种网络。
WS小世界模型构造算法中的随机化过程有可能破坏网络的连通性。因此,Newman和Watts稍后提出了NW小世界模型。NW小世界模型的构造方法如下:
NW模型只是将WS小世界模型构造中的“随机化重连”改为“随机化加边”。
NW模型不同于WS模型之处在于它不切断规则网络中的原始边,而是以概率p重新连接一对节点。这样构造出来的网络同时具有大的聚类数和小的平均距离。NW模型的优点在于其简化了理论分析,因为WS模型可能存在孤立节点,但NW模型不会。当户足够小和N足够大时,NW小世界模型本质上就等同于WS小世界模型。
小世界网络模型反映了实际网络所具有的一些特性,例如朋友关系网,大部分人的朋友都是和他们住在同一个地方,其地理位置不是很远,或只在同一单位工作或学习的同事和同学。另一方面,也有些人住得较远的,甚至是远在异国他乡的朋友,这种情形好比WS小世界模型中通过重新连线或在NW小世界模型中通过加入连线产生的远程连接。
小世界网络模型的主要特征之一是节点之间的平均距离随远程连接的个数而指数下降。对于规则网络,平均距离L可估计为L正比于N;而对于小世界网络模型,L正比于ln(N)/1n(K)。例如,对于一个千万人口的城市,人与人的平均接触距离是6左右,这使得生活人群之间的距离大大缩短。该模型由一个规则的环组成,通常是一个一维的几乎具有周期性边界条件的环(即环中每个节点几乎都连接到一固定数目的邻近节点)和少量的随机选取节点连接成的“捷径” (重新连接现存的边)。小世界网络同时具有“高网络聚集度”和“低平均路径”的特性。
从小世界网络模型中可以看到,只要改变很少的几个连接,就可以剧烈的改变网络的性能。这样的性质也可以应用其他网络,尤其是对已有网络的调整方面。例如,蜂窝电话网,改动很少几条线路(低成本、低工作量)的连接,就可以显着提高性能。也可以应用到互联网的主干路由器上,以改变流量和提高传输速度。同样的思路也可以应用到电子邮件的快速传递、特定Web站点的定位等。
如果学习复杂网络,目前认为最好的视频教程:
【社交计算与社会网络分析】Network Analysis
1) 复杂网络中聚类算法总结
2) Network Analysis复杂网络分析总结
3) 复杂网络和社会网络
❺ 大数据与复杂网络
写这篇文章,有两个原因:
看了李院士的《大数据研究的科学价值》,有些感触。
我自己做了一段时间社交,也有一些想法。
之前也写过复杂网络的东西,但是都非常肤浅,没有真正的理解复杂网络,近期看了一些资料,有了进一步的理解。
李院士的文章,是从科学家的角度,理解大数据的价值。从文章中,我了解到以下几点:
数据inside:未来数据将数据转换为产品或者服务的人。
分析即服务:Aaas。构建一个统一的数据分析平台,提供丰富的api,供数据分析师进行分析,挖掘金矿。是一件很有用,同时也很有钱途的事业。
大数据的存储、计算、挖掘分析的技术,还需要更进一步的发展。一些同学,规划自己的职业生涯,把这个作为储备,现在开始学习,是一个非常好的选择。我之前做过一些存储相关的东西,存储还是要往多层方向发展。
在大数据中的个体之间存在着关系,有可能大数据的本质就是复杂网络的本质。为研究指名了一个方向。
第四范式:之前的研究都需要有模型,在大数据的背景之下:所有的模型都是错误的,进一步说,没有模型你也可以成功。
文章中,李院士提到大数据的本质,可能就是复杂网络的本质。这是因为大数据个体之间都是关系的。举个例子,互联网。个体是网页,网页和网页之间通过超链接互相链接,当然也可能有单向的。互联网就是一个复杂网络。其中的关系已经被验证了意义的重大——PageRank算法——搜索引擎的核心之一。另一方面,大数据的产生,整体分为两类:1)生物科学中,人脑细胞、神经元,基因等等。都是大数据。桐改2)还有就是社会群体产生的。国内现在火热的微博。就每天会产生很大量的数据。在这两类中,我们都要考虑个体之间的关系,都有一些参数和性质:平均路径长度、度分布、聚集系数、核数和介数等。这些都可以归结到复杂网络的研究当中。不过,大数据的研究刚刚开始,其本质是否就是复杂网络所能解释的还很难说。复杂网络本身也在发展演变的过程中,几年之后,那时的复杂网络也不是现在的样子。但是,社交网络确确实实是复杂网络的体现。所以,通过复杂网络的理论,研究大数据,研究社交网络,一定是一个很好的方向。
说了半天的复杂网络,到底复杂网络是什么呢?这里,我只说说我对复杂网络的浅显理解。也欢迎大家指点、讨论。我们一般所说的复杂网络具备两个特点:
无尺度
小世界
看起来很玄的两个词,那么该如何理解呢?无尺度的概念,比较好理解:就是网络中的度分布满足幂律分布。幂律分布可以理解度的分布比较集中。我们以新浪微博为例,粉丝上千万那的人非常少,百万的人也非常少。更多的是几百粉丝的。直白一点说,就是粉丝非常多的人很少,很集中。粉丝比较少的,分布就比较广,比较多。我之前做微博数据分析的时候,有统计过几乎所有用户的粉丝数分布的。完全符合幂律的分布。如果大家需要,可以和我进一步讨论之类。我也可以找找之前的统计数据。
小世界我觉得需要从两个角度考虑:第一个,就是网络中两点的平均最短路径很小。着名的米尔格拉姆实验的第一个结果就是:六度分隔。意思就是在我们的世界上,你想联系任何一个人,你不认识的,平均就需要找5、6个人就可以了。随着社会的发展,facebook等社交网络兴起,这个度越来越小。有报道说,已经是4.5个人就可以了。这个事情比较有意思,前些日子,还有个开发者做了一个微博应用,计算你到某个明星的距离。很多人会想,是不是很远,是不是计算很复杂?其实都不是的,小世界的特性告诉我们,这个值会很小。同时,即使在线读取关注,深度搜索的暴力方式解决,这也是很快的。第二个,不仅仅平均最短路径很小,如果消息在网络中耐镇传播,会以很大的概率,通过最短路径传播到目的地。这个很重要,这个是根本。这个是,现在微博上进行微博营销的根本所在。如果没有这个特性,通过转发,甚至是大号的转发,很难出现传播爆发的情况,很难让更多的人知道。所以这个很重要,这个也是米尔格拉姆试验的第二个重要的结果。
其实上面两个结果,都有对应的模型,能够很好的证明,而且,在实际的社交网络中,也得到的验证。局亩判大家感兴趣,可以自己研究。
那么大数据,我们作为程序员、作为研究者,能够做什么呢?其实前面也说过了,主要就三点:
存储
计算
算法
我们围绕着这三块进行,无论是工程开发者,还是研究者,都可以在这个过程中发现问题,归纳共性,提炼本质,然后上升到科学的高度。
我目前还没有李老师的高度,我也是围绕着微博做了一些复杂网络相关的研究。我希望,以后,我的工作,也能够为大数据科学进步,起到一点点作用。那我的工作,就真的有价值了。
下面是我自己感兴趣的一些点,欢迎大家讨论:
复杂网络社团结构的发现,对应社交网络中的圈子挖掘。
社交网络中,特定领域,人物影响力的排名。
社交网络中,信息传播的研究
社交网络用户关系的存储
其中,1、2、4我做了比较多的尝试,1、2效果还不错,4没有好的方法。3目前只是了解阶段,还没有开始动手。
仅以此文,抛砖引玉。
【完】