Ⅰ 如何统计和分析利用网络大数据
如何统计和分析利用网络大数据?
大数据给互联网带来的是空前的信息大爆炸,它不仅改变了互联网的数据应用模式,还将深深影响着人们的生产生活。深处在大数据时代中,人们认识到大数据已经将数据分析的认识从“向后分析”变成“向前分析”,改变了人们的思维模式,但同时大数据也向我们提出了数据采集、分析和使用等难题。在解决了这些难题的同时,也意味着大数据开始向纵深方向发展。
一、数据统计分析的内涵
近年来,包括互联网、物联网、云计算等信息技术在内的IT通信业迅速发展,数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇,因此现代信息社会已经进入了大数据时代。事实上,大数据改变的不只是人们的日常生活和工作模式、企业运作和经营模式,甚至还引起科学研究模式的根本性改变。一般意义上,大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。网络大数据是指“人、机、物”三元世界在网络空间中彼此交互与融合所产生并在互联网上可获得的大数据。
将数据应用到生活生产中,可以有效地帮助人们或企业对信息作出比较准确的判断,以便采取适当行动。数据分析是组织有目的地收集数据、分析数据,并使之成为信息的过程。也就是指个人或者企业为了解决生活生产中的决策或者营销等问题,运用分析方法对数据进行处理的过程。所谓的数据统计分析,就是运用统计学的方法对数据进行处理。在以往的市场调研工作中,数据统计分析能够帮助我们挖掘出数据中隐藏的信息,但是这种数据的分析是“向后分析”,分析的是已经发生过的事情。而在大数据中,数据的统计分析是“向前分析”,它具有预见性。
二、大数据的分析
1.可视化分析。
数据是结构化的,包括原始数据中的关系数据库,其数据就是半结构化的,譬如我们熟知的文本、图形、图像数据,同时也包括了网络的不同构型的数据。通过对各种数据的分析,就可以清晰的发现不同类型的知识结构和内容,包括反映表征的、带有普遍性的广义型知识;用于反映数据的汇聚模式或根据对象的属性区分其所属类别的特征型知识;差异和极端特例进行描述的差异型知识;反映一个事件和其他事件之间依赖或关联的关联型知识;根据当前历史和当前数据预测未来数据的预测型知识。当前已经出现了许多知识发现的新技术,其中之一就是可视化方法。数据可视化技术有3个鲜明的特点:第一,与用户的交互性强。用户不再是信息传播中的受者,还可以方便地以交互的方式管理和开发数据。第二,数据显示的多维性。在可视化的分析下,数据将每一维的值分类、排序、组合和显示,这样就可以看到表示对象或事件的数据的多个属性或变量。第三,最直观的可视性特点。数据可以用图像、曲线、二维图形、三维体和动画来显示,并可对其模式和相互关系进行可视化分析。
2.数据挖掘算法。
数据挖掘是指数据库中的知识发现,其历史可以追溯到1989年美国底特律市召开的第一届KDD国际学术会议上,而第一届知识发现和数据挖掘(DataMining,DM)国际学术会议是1995年加拿大召开的,会议上将数据库里存放的数据生动地比拟成矿床,从而“数据挖掘”这个名词很快就流传开来。数据挖掘的目的是在杂乱无章的数据库中,从大量数据中找到有用的、合适的数据,并将其隐含的、不为人知的潜在价值的信息揭示出来的过程。事实上,数据挖掘只是整个KDD过程中的一个步骤。
数据挖掘的定义没有统一的说法,其中“数据挖掘是一个从不完整的、不明确的、大量的并且包含噪声的具有很大随机性的实际应用数据中,提取出隐含其中、事先未被人们获知、却潜在有用的知识或模式的过程”是被广泛接受的定义。事实上,该定义中所包含的信息——大量真实的数据源包含着噪声;满足用户的需求的新知识;被理解接受的而且有效运用的知识;挖掘出的知识并不要求适用于所有领域,可以仅支持某个特定的应用发现问题。以上这些特点都表现了它对数据处理的作用,在有效处理海量且无序的数据时,还能够发现隐藏在这些数据中的有用的知识,最终为决策服务。从技术这个角度来说,数据挖掘就是利用一系列相关算法和技术从大量的数据中提取出为人们所需要的信息和知识,隐藏在数据背后的知识,可以以概念、模式、规律和规则等形式呈现出来。
3.预测性分析能力。
预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。大数据分析最终要实现的应用领域之一就是预测性分析,可视化分析和数据挖掘都是前期铺垫工作,只要在大数据中挖掘出信息的特点与联系,就可以建立科学的数据模型,通过模型带入新的数据,从而预测未来的数据。作为数据挖掘的一个子集,内存计算效率驱动预测分析,带来实时分析和洞察力,使实时事务数据流得到更快速的处理。实时事务的数据处理模式能够加强企业对信息的监控,也便于企业的业务管理和信息更新流通。此外,大数据的预测分析能力,能够帮助企业分析未来的数据信息,有效规避风险。在通过大数据的预测性分析之后,无论是个人还是企业,都可以比之前更好地理解和管理大数据。
尽管当前大数据的发展趋势良好,但网络大数据对于存储系统、传输系统和计算系统都提出了很多苛刻的要求,现有的数据中心技术很难满足网络大数据的需求。因此,科学技术的进步与发展对大数据的支持起着重要的作用,大数据的革命需要考虑对IT行业进行革命性的重构。网络大数据平台(包括计算平台、传输平台、存储平台等)是网络大数据技术链条中的瓶颈,特别是网络大数据的高速传输,需要革命性的新技术。此外,既然在大数据时代,任何数据都是有价值的,那么这些有价值的数据就成为了卖点,导致争夺和侵害的发生。事实上,只要有数据,就必然存在安全与隐私的问题。随着大数据时代的到来,网络数据的增多,使得个人数据面临着重大的风险和威胁,因此,网络需要制定更多合理的规定以保证网络环境的安全。
Ⅱ 信息如何在互联网上传播
一、信息技术的发展与信息传播
回顾人类传播史,我们不难发现,信息技术的发展起着历史性杠杆作用。信息技术的每次创新,都带来了信息传播的大革命,每一次革命都给人类的政治、经济、文化和社会生活带来不可估量的影响,推动着人类的文明不断向更高层次迈进。信息技术强而有力地改变着人类生产与生活的面貌,信息技术集中反映的标志就是信息传播方式的变革。人类的信息传播迄今可分为5个阶段(口头传播阶段、文字传播阶段、印刷传播阶段、电子传播阶段、网络传播阶段),前一个阶段向后一阶段的跃升无不以信息技术的革命性进步为前提。
随着互联网的迅猛发展,网络传播也得到了飞速发展。网络传播作为一种全新的现代化传播方式,有着与传播媒体截然不同的新特征。网络传播给我们的时代提供了最快捷、便利的传播方式,使人们如虎添翼。网络传播是人类有史以来增长最快的传播手段。网络传播在中国的出现和对中国文明的意义,不亚于中国人发明纸张的意义。
网络传播对于社会的影响是全面的,不仅影响着政治和经济方面,而且影响着我们的生活方式和思维方式。网络传播正在以不可抵挡的势头,迅速渗透到世界各国政治、经济、思想以及文化等诸多领域,改变着人们的生活,改变着世界的面貌。
然而,网络传播的特性决定了它与传统大众传播方式截然不同,也就不可避免地带来了一系列负面作用,如意识形态和文化渗透、假新闻假信息传播、色情泛滥、个人隐私遭到侵犯、知识产权遭到侵犯等等。所有这些,都期待着我们去研究和探讨。
因此,建立网络传播学的理论体系,并加快培养网络传播方面的人才,以加快中国网络传播业的发展,是一件非常有意义有价值的事情。
二、传统的传播学理论难以合理解释网络传播现象,使得网络传播学的建立成为必要
网络传播的出现和发展,拓宽了传播的广度和深度,打破了以往人类多种信息传播形式的界限,它既可以实现面对面传播,又可以实现点对点传播。当信息面对多个上网用户传播时,网络传播可谓大众传播工具,而个别独立的上网用户之间的交流可谓点对点的人际传播。网络传播将人际传播和大众传播融为一体。这种全新的、特殊的传播方式使传统的大众传播理论面临挑战。
网络传播融合了大众传播(单向)和人际传播(双向)的信息传播特征,在总体上形成一种散布型网状传播结构,在这种传播结构中,任何一个网结都能够生产、发布信息,所有网结生产、发布的信息都能够以非线性方式流入网络之中。网络传播将人际传播和大众传播融为一体。网络传播兼有人际传播与大众传播的优势,又突破了人际传播与大众传播的局限。
网络传播具有人际传播的交互性,受众可以直接迅速地反馈信息,发表意见。同时,网络传播中,受众接受信息时有很大的自由选择度,可以主动选取自己感兴趣的内容。同时,网络传播突破了人际传播一对一或一对多的局限,在总体上,是一种多对多的网状传播模式。
在传播学研究中,考察和分析各种制度和制度因素在大众传播活动中的作用是其中一个重要的研究领域,这种研究称为“控制研究”。它包含两个方面:一是考察外部制度对传媒机构及其活动的控制和影响,二是考察传媒机构的内部制度对信息的生产、加工和传播活动的制约。
对于传统的大众传播媒体来说,社会控制不难实施。国家和政府通过规定大众传播体制,制定有关法律、法规和政策,来保障媒介活动为国家制度、意识形态以及各种国家目标的实现服务。包括对媒体的活动进行法制和行政的管理,对媒体的创办进行审批登记;限制或禁止某些信息内容的传播;分配传播资源等等。
对于无边无际的网络世界而言,这种实实在在的社会控制几乎无法做到。由于网络传播容量的无限性,物质载体的无形性,仅从技术上来看,要想控制网络传播都是不可能的。每天,互联网上都会有成百成千的新网站出现,要想控制住每一个网站对信息的传播完全是空想。国家无法对其进行审批登记,也无法用经济力量对其进行控制(建立一个网站的资金非常之少),甚至想要限制或禁止某些信息的传播,都不可能完全做到。社会控制,对于网络来说,显得十分苍白无力。
众所周知,在传统的“沙漏式”传播模式下,记者和编辑站在“把关人”的岗位上,控制着新闻信息的生产与传播,决定着从四面八方涌来的新闻的命运:让哪些新闻通过这个狭窄的“漏口”传播出去;哪些新闻不能传播,就地“封藏”。不仅如引,他们还担负着“议程设置”的职责,即将某信息放在何版面(节目)位置刊播、设计多大版面(节目时间)刊播、以什么方式组织报道,等等。
在网络时代,受众拥有前所未有的权力:不仅可以自由选取自己感兴趣的信息,而且可以在网上自由地发布信息;信息的重要与否,不再完全由传播者决定,而是可以由受众自己决定。尽管在许多场合下,例如知名的新闻类网站,对网络新闻仍然有编辑权,仍然有网络记者和网络编辑在充当“把关人”角色,但是,由于受众享有极大的选择权和主动权,新闻传播者的地位受到削弱,权力在向受众倾斜。所有这一切都将使社会控制趋向弱化。
在网络传播中,受众可以对信息进行自由选择,包括选择信息内容和信息的接收形式以及接收时间和顺序。网上媒体采用多媒体技术向网上发布信息,不仅发布关于该信息的文本,还能显示图像、声音,供受众自由选用。在信息的编排上,网上媒体除少数重大新闻事件采取同步传播外,对大多数信息采取异步传播,将各种信息散布在网上,并随时更新,让受者去“点播”,使受者可以随时在网上按自己喜爱的顺序浏览或下载新闻信息。
在网络传播中,有条件的受众可以直接参与到信息的生产和传播过程中去,成为名副其实的传者。在网络传播中,受众与新闻传播者可以在一定程度上进行直接的双向交流。由于网络新闻传播较之传统新闻媒体的传播属性上所具有的种种差异,因而在互联网的新闻传播领域,以往一些传统的新闻理论与新闻实践的界线正在变得模糊以至消失:
一是新闻传播的区域界线。新闻信息一经上网,在空间上立即可以覆盖全球,成为在全世界范围内传播的信息。
二是发布信息的时间界线。一个网络新闻媒体可以按照不同的时间梯度发布信息,即时更新、日更新、周更新、月更新会并存于一个新闻网站中。以往新闻传媒特别是报刊媒体的刊期界线,在网际信息传播中已经开始消失。
三是各类传媒信息传播方式的界线。网络新闻传播可以同时调动文字、图片、声音和影像手段,增强传播效应,同时,还可以在网上运行各种内容丰富的信息数据库。以往报刊、广播和电视各种新闻传播媒体独有的优势,在网际新闻传播中已经开始融为一体,加之传统媒体未曾拥有过的信息传播优势,网络新闻媒体已经将这一切化合成一种人类历史上全新的信息传播方式。
总之,网络传播对传统的传播理论造成了巨大的冲击,使传统的传播理论面临挑战,造成社会控制的弱化,传播效果研究面临新课题,从而使得网络传播学的建立成为必要。
三、什么是网络传播
什么是网络传播,这是关系到网络传播学的任务和研究对象的首要问题。
在回答什么是网络传播之前,首先需要研讨什么是传播。许多学者对于传播作过种种描述和解释,有的把它说成是“信息共享”,,有的把它说成是“劝服影响”,也有的把它说成是“刺激反应”,还有人认为,传播是人类传递或交流信息的社会性行为;等等。郭庆光教授在其新着《传播学教程》中认为:“所谓传播,即社会信息的传递或社会信息系统的运行”。
那么何谓网络传播?
中国现代媒体委员会常务副主任诗兰认为,网络传播有三个基本的特点:全球性、交互性、超文本链接方式。因此,其给网络传播下的定义是:以全球海量信息为背景、以海量参与者为对象,参与者同时又是信息接收与发布者并随时可以对信息作出反馈,它的文本形成与阅读是在各种文本之间随意链接、并以文化程度不同而形成各种意义的超文本中完成的(《国际新闻界》2000年第6期第49页)。
还有人认为,“网络传播”是近年来广泛出现于传播学中的一个新名词。它是相对三大传播媒体即报纸、广播、电视而言的。网络传播是指以多媒体、网络化、数字化技术为核心的国际互联网络,也被称作网络传播,是现代信息革命的产物(《国际新闻界》2000年第6期第49页)。
我们认为,所谓网络传播其实就是指通过计算机网络的人类信息(包括新闻、知识等信息)传播活动。在网络传播中的信息,以数字形式存贮在光、磁等存贮介质上,通过计算机网络高速传播,并通过计算机或类似设备阅读使用。网络传播以计算机通信网络为基础,进行信息传递、交流和利用,从而达到其社会文化传播的目的。网络传播的读者人数巨大,可以通过互联网高速传播。
四、网络传播学的研究对象
我们刚才界定了网络传播学中的网络传播定义,它明白无误地确立了网络传播学的研究对象——人类网络传播活动。
网络传播学是传播学的一个分支,是传播学的子学科。传播学亦称“传学”,研究人类一切信息传播行为和传播过程发生、发展规律及其同人和社会关系的一门新兴学科。传播学研究传播的概念和本质,信息与对象交互作用的规律,信息的产生与获得、加工与传递、效能与反映,各种符号系统的形成及其在传播中的作用,各种传播媒介本身的地位和作用,传播与社会各领域、各系统的关系等。传播学将传播分为四个层次:(1)人的内向传播。如自言自语,触景生情,自我进行信息交流。(2)人际传播。即个人与个人之间符号交流的行为。(3)组织传播。即团体成员之间或团体之间的符号交流行为。(4)大众传播。即以印刷或电子为媒介,有目的的面向许多人的符号交流行为。20世纪30年代发韧于美国,第二次世界大战后传到西欧和日本,并逐渐为世界上许多国家所重视。联合国教科文组织专门设立了国际传播问题研究委员会,定期交流各国学者对传播学的研究成果。
网络传播是一种基于网络的信息双向交流。信息其实就是一种不确定性的减少或消除。网络传播学是以人类的网络传播活动为研究对象的。作为人类网络传播内容的信息,能够使人类减少或消除不确定性。
网络传播的出现,极大地改变了信息传播的方式,影响着人类知识的组织、传递和获取,对人类的文化和政府的政策带来深刻的影响。传播作为联系信息生产、积累和获取的中心环节,起着承上启下的作用。网络传播作为信息交流、传播的一种重要渠道,使信息得以广泛散发、吸收和利用。网络传播在人类的信息流通过程中将占有重要的地位,信息技术与手段的变革将对人类信息流通活动的方式产生深刻的影响。
五、网络传播学的学科属性
我们认为,网络传播学属于社会科学。理由主要有以下两条。
1.网络传播学的研究对象我们可以认定网络传播学属于社会科学。因为,网络传播学的研究对象是人类网络传播活动,而人类网络传播活动无疑是一种社会现象。虽然,网络传播学的研究中要涉及到大量的技术问题,但是,这改变不了网络传播学的社会科学性质。
2.络传播学是传播学的一个分支,是传播学的子学科。而传播学属于社会科学。我们由此也可以断定网络传播学属于社会科学。
六、网络传播学的相关学科
网络传播学的相关学科主要有:传播学、政治学、社会学、心理学、新闻学、经济学、计算机科学等。
网络传播学是传播学的一个分支,是传播学的子学科。而在网络传播活动中涉及到大量的政治问题,例如国际政治斗争往往会在网络传播中充分得以体现,如一些西方国家利用互联网进行政治颠覆活动。网络传播学的研究对象是人类网络传播活动,而人类网络传播活动是一种社会现象,在研究中要运用到社会学的原理和方法。网络传播活动是人的活动,研究中要运用心理学的方法与理论研究网络传播者和受众的心理活动。网络传播过程中要涉及到经济投入、产出问题,要运用经济学原理研究低成本高收益。网络传播学是计算机技术高度发展的产物,在研究中必然涉及到大量的技术问题。
七、网络传播学的研究现状与前瞻
进入90年代中期,互联网的规模快速扩张,成为全球最大的、最流行的计算机信息网络。它打破了传统的地缘政治、地缘经济、地缘文化的概念,形成了虚拟的以信息为主的跨国界、垮文化、跨语言的全新空间。在这一背景下,国内外学术界立刻形成了对互联网的评介、研究的热潮,新闻传播学者亦对互联网在信息传播领域产生的变革性影响给予了充分关注。
按照美国传播学者的定义,一种媒体使用的人数达到全国人口的五分之一,才能被称为大众传媒。在美国,达到5000万人使用的界限标准的大众传媒,广播用了38年,电视用了13年,有线电视用了10年,而互联网只用了5年。到1998年底,美国的网络用户已达6200万。因此,互联网作为继报刊、广播、电视之后的第四大传播媒体的概念被提出。从1995年起,国内的报刊社、广播电台、电视台纷纷在网上建立网站。在这一背景下,新闻传播学者开始将互联网研究的重点放在了其网络作用方面。
1997年10月16日—17日,中国报刊月报社、中国社会科学院新闻与传播研究所、央视调查咨询公司在北京联合主办了“全国电子报刊经营现状与发展趋势研讨会”。30余家中国新闻机构出席了这次会议。这是中国网络新闻媒体进行的第一次网络信息传播领域的理论研讨会议。由于当时中国新闻媒体上网者很少,只有人民日报网络版、华声报电子版等少数中国新闻机构在会上作了介绍性发言,会议邀请了华尔街日报网络版主管给中国新闻界介绍他们的经验和体会。
1999年7月1—2日,中国记协在杭州主持召开了’99全国网络新闻媒体理论研讨会。50余家中国新闻机构网络版的负责人出席了这次会议。30多家新闻机构向大会提交了论文。10多家新闻机构的代表在会议上发言,与会代表从近年来各自的网络新闻传播实践出发,广泛交流了对网络信息传播各个领域的看法。
1.国外的研究
国外不少代表性的相关着作在国内外形成很大影响,而且这些着作大多被翻译成中文。其中包括尼葛洛庞蒂的《数字化生存》(胡泳等译,海南出版社1996年12月出版)、比尔·盖茨的《未来之路》(辜正坤主译,北京大学出版社1996年1月出版)、《未来时速:数字神经系统与商务新思维》(蒋显NFDA1、姜明译,北京大学出版社1999年4月出版)、埃瑟·戴森的《2.0版数字化时代的生活设计》(胡泳、范海燕译,海南出版社1998年8月出版)、尼尔·巴雷特的《数字化犯罪》(郝海洋译,辽宁教育出版社1998年出版)、唐·泰普斯科特的《数字化成长——网络世代的崛起》(陈晓开、袁世佩译,东北财经大学出版社,1999年3月出版)、查克·马丁的《数字化经济》(中国建材工业出版社,1999年6月出版)等。
这些译着虽然并不能被看作是网络传播学的着作,只能说是相关着作,但是它们打开了国内各界人士的眼界,促使中国人关注正在来临的信息时代、网络时代、数字时代。其中《数字化生存》一书1998年被《新周刊》第53期评为《20年来最有影响的20本书》之一。
2.国内着作
国内学者近年来,撰写了多种评介信息高速公路和互联网的专着。如胡泳、范海燕合着的《网络为王》(海南出版社1997年1月出版),是国内第一部全面介绍互联网的诞生、发展、现状及未来趋势的着作。紧随其后出版的是罗伊撰写的《无网不胜》(兵器工业出版社1997年9月出版)。郭良主编的《网络文化丛书》(中国人民大学出版,1997年12月出版)由8位年轻学者执笔,共7本着作组成,力图用中国人的视角,从文化的角度考察网络。作为中国学者为网络时代立言的原创着作,继续推出的有萧琛撰写的《全球网络经济》(华夏出版社1998年9月出版)、陈炎撰写的《Internet改变中国》(北京大学出版社,1999年1月出版)、严耕主编的《透视网络时代丛书》(北京出版社1999年1月出版)、姜奇平主编的《数字论坛丛书》(海洋出版社,1999年6月出版)、刘吉和金吾伦的《千年警醒:信息化与知识经济》(社会科学文献出版社1998)、明安香的《信息高速公路与大众传播》(华夏出版社1999年2月)等。
3.网络传播研究状况
网络传播的研究,已成为国内外新闻传播学者的一个新领域。近年来研究的广度和深度不断得到拓展,甚至连研究本身都与网络紧密结合,包括从网上获取资料、网上采访、网上调查等等。
新闻传播学者和直接从事网络传播的新闻传播者撰写的大量文章和论文,可分为以下方面:探讨网络传播对大众传播理论的影响,探讨网络传播与传统新闻传媒的关系,探讨新闻媒体网站的建设与经营,对国外网络传播法规的评介,对新闻从业人员使用网络状况的调查,硕士博士学位论文。
总起来看,对网络传播的研究尚处于起步阶段。因此,现阶段描述性的,对策性的,解释性的成果为多。
4.网络传播学研究前瞻
进入2000年以后,随着网络传播业的蓬勃发展,为网络传播学的深入研究奠定了坚实的实践基础。同时,国外相关研究成果也通过各种形式,尤其是互联网,传入中国,扩展了网络传播学研究者的视野。网络传播业的发展,促使新闻传播学的高等教育机构筹划如何培养网络新闻学或网络传播学的高级专门人才,激励新闻传播学的高等教育机构和研究机构对网络传播学的原理方法作深入的研究。可以预计网络传播学在21世纪必然会掀起一个新的研究热潮。
Ⅲ 电脑怎样通过互联网传输数据
网络中数据传输过程
我们每天都在使用互联网,我们电脑上的数据是怎么样通过互联网传输到到另外的一台电脑上的呢?
我们知道现在的互联网中使用的TCP/IP协议是基于,OSI(开放系统互联)的七层参考模型的,(虽然不是完全符合)从上到下分别为 应用层 表示层 会话层 传输层 网络层 数据链路层和物理层。其中数据链路层又可是分为两个子层分别为逻辑链路控制层(Logic Link Control,LLC )和介质访问控制层((Media Access Control,MAC )也就是平常说的MAC层。LLC对两个节点中的链路进行初始化,防止连接中断,保持可靠的通信。MAC层用来检验包含在每个桢中的地址信息。在下面会分析到。还要明白一点路由器是在网路层的,而网卡在数据链路层。
我们知道,ARP(Address Resolution Protocol,地址转换协议)被当作底层协议,用于IP地址到物理地址的转换。在以太网中,所有对IP的访问最终都转化为对网卡MAC地址的访问。如果主机A的ARP列表中,到主机B的IP地址与MAC地址对应不正确,由A发往B数据包就会发向错误的MAC地址,当然无法顺利到达B,结 果是A与B根本不能进行通信。
首先我们分析一下在同一个网段的情况。假设有两台电脑分别命名为A和B,A需要相B发送数据的话,A主机首先把目标设备B的IP地址与自己的子网掩码进行“与”操作,以判断目标设备与自己是否位于同一网段内。如果目标设备在同一网段内,并且A没有获得与目标设备B的IP地址相对应的MAC地址信息,则源设备(A)以第二层广播的形式(目标MAC地址为全1)发送ARP请求报文,在ARP请求报文中包含了源设备(A)与目标设备(B)的IP地址。同一网段中的所有其他设备都可以收到并分析这个ARP请求报文,如果某设备发现报文中的目标IP地址与自己的IP地址相同,则它向源设备发回ARP响应报文,通过该报文使源设备获得目标设备的MAC地址信息。为了减少广播量,网络设备通过ARP表在缓存中保存IP与MAC地址的映射信息。在一次 ARP的请求与响应过程中,通信双方都把对方的MAC地址与IP地址的对应关系保存在各自的ARP表中,以在后续的通信中使用。ARP表使用老化机制,删除在一段时间内没有使用过的IP与MAC地址的映射关系。一个最基本的网络拓扑结构:
PC-A并不需要获取远程主机(PC-C)的MAC地址,而是把IP分组发向缺省网关,由网关IP分组的完成转发过程。如果源主机(PC-A)没有缺省网关MAC地址的缓存记录,则它会通过ARP协议获取网关的MAC地址,因此在A的ARP表中只观察到网关的MAC地址记录,而观察不到远程主机的 MAC地址。在以太网(Ethernet)中,一个网络设备要和另一个网络设备进行直接通信,
除了知道目标设备的网络层逻辑地址(如IP地址)外,还要知道目标设备的第二层物理地址(MAC地址)。ARP协议的基本功能就是通过目标设备的IP地址,查询目标设备的MAC地址,以保证通信的顺利进行。 数据包在网络中的发送是一个及其复杂的过程,上图只是一种很简单的情况,中间没有过多的中间节点,其实现实中只会比这个更复杂,但是大致的原理是一致的。
(1)PC-A要发送数据包到PC-C的话,如果PC-A没有PC-C的IP地址,则PC-A首先要发出一个dns的请求,路由器A或者dns解析服务器会给PC-A回应PC-C的ip地址,这样PC-A关于数据包第三层的IP地址信息就全了:源IP地址:PC-A,目的ip地址:PC-C。
(2)接下来PC-A要知道如何到达PC-C,然后,PC-A会发送一个arp的地址解析请求,发送这个地址解析请求,不是为了获得目标主机PC-C的MAC地址,而是把请求发送到了路由器A中,然后路由器A中的MAC地址会发送给源主机PC-A,这样PC-A的数据包的第二层信息也全了,源MAC地址:PC-A的MAC地址,目的MAC地址:路由器A的MAC地址,
(3)然后数据会到达交换机A,交换机A看到数据包的第二层目的MAC地址,是去往路由器A的,就把数据包发送到路由器A,路由器A收到数据包,首先查看数据包的第三层ip目的地址,如果在自己的路由表中有去往PC-C的路由,说明这是一个可路由的数据包。 (4)然后路由器进行IP重组和分组的过程。首先更换此数据包的第二层包头信息,路由器PC-A到达PC—C要经过一个广域网,在这里会封装很多广域网相关的协议。其作用也是为了找下一阶段的信息。同时对第二层和第三层的数据包重校验。把数据经过Internet发送出去。最后经过很多的节点发送到目标主机PC_C中。
现在我们想一个问题,PC-A和PC-C的MAC地址如果是相同的话,会不会影响正常的通讯呢!答案是不会影响的,因为这两个主机所处的局域网被广域网分隔开了,通过对发包过程的分析可以看出来,不会有任何的问题。而如果在同一个局域网中的话,那么就会产生通讯的混乱。当数据发送到交换机是,这是的端口信息会有两个相同的MAC地址,而这时数据会发送到两个主机上,这样信息就会混乱。因此这也是保证MAC地址唯一性的一个理由。
我暂且按我的理解说说吧。
先看一下计算机网络OSI模型的七个层次:
┌—————┐
│ 应用层 │←第七层
├—————┤
│ 表示层 │
├—————┤
│ 会话层 │
├—————┤
│ 传输层 │
├—————┤
│ 网络层 │
├—————┤
│数据链路层│
├—————┤
│ 物理层 │←第一层
└—————┘
而我们现在用的网络通信协议TCP/IP协议者只划分了四成:
┌—————┐
│ 应用层 │ ←包括OSI的上三层
├—————┤
│ 传输层 │
├—————┤
│ 网络层 │
├—————┤
│网络接口层 │←包括OSI模型的下两层,也就是各种不同局域网。
└—————┘
两台计算机通信所必须需要的东西:IP地址(网络层)+端口号(传送层)。
两台计算机通信(TCP/IP协议)的最精简模型大致如下:
主机A---->路由器(零个或多个)---->主机B
举个例子:主机A上的应用程序a想要和主机B上面的应用程序b通信,大致如下
程序a将要通信的数据发到传送层,在传送层上加上与该应用程序对应的通信端口号(主机A上不同的应用程序有不同的端口号),如果是用的TCP的话就加上TCP头部,UDP就加上UDP头部。
在传送成加上头部之后继续向往下传到网络层,然后加上IP头部(标识主机地址以及一些其他的数据,这里就不详细说了)。
然后传给下层到数据链路层封装成帧,最后到物理层变成二进制数据经过编码之后向外传输。
在这个过程中可能会经过许多各种各样的局域网,举个例子:
主机A--->(局域网1--->路由器--->局域网2)--->主机B
这个模型比上面一个稍微详细点,其中括号里面的可以没有也可能有一个或多个,这个取决于你和谁通信,也就是主机B的位置。
主机A的数据已经到了具体的物理介质了,然后经过局域网1到了路由器,路由器接受主机A来的数据先经过解码,还原成数据帧,然后变成网络层数据,这个过程也就是主机A的数据经过网络层、数据链路层、物理层在路由器上面的一个反过程。
然后路由器分析主机A来的数据的IP头部(也就是在主机A的网络层加上的数据),并且修改头部中的一些内容之后继续把数据传送出去。
一直到主机B收到数据为止,主机B就按照主机A处理数据的反过程处理数据,直到把数据交付给主机B的应用程序b。完成主机A到主机B的单方向通信。
这里的主机A、B只是为了书写方便而已,可能通信的双方不一定就是个人PC,服务器与主机,主机与主机,服务器与服务器之间的通信大致都是这样的。
再举个例子,我们开网页上网络:
就是我们的主机浏览器的这个应用程序和网络的服务器之间的通信。应用成所用的协议就是HTTP,而服务器的端口号就是熟知端口号80.
大致过程就是上面所说,其中的细节很复杂,任何一个细节都可以写成一本书,对于非专业人员也没有必要深究。