移动网络中的大数据分析

❶ 大数据是什么

作者：李丽
链接：https://www.hu.com/question/23896161/answer/28624675
来源：知乎
着作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。
"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。
亚马逊网络服务（AWS）、大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。
研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限"。 大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。
二、大数据分析
从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？
1、可视化分析
大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了
2、数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3、预测性分析能力
大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4、数据质量和数据管理
大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
三、大数据技术
1、数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
2、数据存取：关系数据库、NOSQL、SQL等。
3、基础架构：云存储、分布式文件存储等。
4、数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
5、统计分析：假设检验、显着性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
6、数据挖掘：分类
（Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or
association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text,
Web ,图形图像，视频，音频等)
7、模型预测：预测模型、机器学习、建模仿真。
8、结果呈现：云计算、标签云、关系图等。
四、大数据特点
要理解大数据这一概念，首先要从"大"入手，"大"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。
1、
数据体量巨大。从TB级别，跃升到PB级别。
2、
数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。
3、
价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。
4、
处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。
大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。
五、大数据处理
大数据处理之一：采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
大数据处理之二：导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
大数据处理之三：统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
大数据处理之四：挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。
整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理
六、大数据应用与案例分析
大数据应用的关键，也是其必要条件，就在于"IT"与"经营"的融合，当然，这里的经营的内涵可以非常广泛，小至一个零售门店的经营，大至一个城市的经营。以下是关于各行各业，不同的组织机构在大数据方面的应用的案例，在此申明，以下案例均来源于网络，本文仅作引用，并在此基础上作简单的梳理和分类。
大数据应用案例之：医疗行业
[1] Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。
[2] 在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。
[3] 它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。
大数据应用案例之：能源行业
[1] 智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

[2] 维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。
大数据应用案例之：通信行业
[1] XO Communications通过使用IBM SPSS预测分析软件，减少了将近一半的客户流失率。XO现在可以预测客户的行为，发现行为趋势，并找出存在缺陷的环节，从而帮助公司及时采取措施，保留客户。此外，IBM新的Netezza网络分析加速器，将通过提供单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业制定更科学、合理决策。
[2] 电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。
[3] 中国移动通过大数据分析，对企业运营的全业务进行针对性的监控、预警、跟踪。系统在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。
[4] NTT docomo把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。

❷ 胶州收到移动发来的大数据分析的短信提醒怎么办

胶州收到移动发来的大数据分析的短信提醒表示你可能经过或者暂留过中高奉献地区。需要及时宝贝以及稿纸社区。
移动发来的大数据分析的短信提醒。
使用与其进行更新维护工作，设备会利用移动网络产生一定的数据。最后，移动网络供应商会为了更使得移动网络运作，会自主进行数据的采集反馈工作，最后以自身独立的数据反映出来，以供技术人5对其进行分析使用。1.2数据获取的过程。通常情况下，移动网络供应商使用数据采集、数据预处理与使用。

❸ 如何统计和分析利用网络大数据

如何统计和分析利用网络大数据?
大数据给互联网带来的是空前的信息大爆炸，它不仅改变了互联网的数据应用模式，还将深深影响着人们的生产生活。深处在大数据时代中，人们认识到大数据已经将数据分析的认识从“向后分析”变成“向前分析”，改变了人们的思维模式，但同时大数据也向我们提出了数据采集、分析和使用等难题。在解决了这些难题的同时，也意味着大数据开始向纵深方向发展。
一、数据统计分析的内涵
近年来，包括互联网、物联网、云计算等信息技术在内的IT通信业迅速发展，数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇，因此现代信息社会已经进入了大数据时代。事实上，大数据改变的不只是人们的日常生活和工作模式、企业运作和经营模式，甚至还引起科学研究模式的根本性改变。一般意义上，大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。网络大数据是指“人、机、物”三元世界在网络空间中彼此交互与融合所产生并在互联网上可获得的大数据。
将数据应用到生活生产中，可以有效地帮助人们或企业对信息作出比较准确的判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，并使之成为信息的过程。也就是指个人或者企业为了解决生活生产中的决策或者营销等问题，运用分析方法对数据进行处理的过程。所谓的数据统计分析，就是运用统计学的方法对数据进行处理。在以往的市场调研工作中，数据统计分析能够帮助我们挖掘出数据中隐藏的信息，但是这种数据的分析是“向后分析”，分析的是已经发生过的事情。而在大数据中，数据的统计分析是“向前分析”，它具有预见性。
二、大数据的分析
1.可视化分析。
数据是结构化的，包括原始数据中的关系数据库，其数据就是半结构化的，譬如我们熟知的文本、图形、图像数据，同时也包括了网络的不同构型的数据。通过对各种数据的分析，就可以清晰的发现不同类型的知识结构和内容，包括反映表征的、带有普遍性的广义型知识;用于反映数据的汇聚模式或根据对象的属性区分其所属类别的特征型知识;差异和极端特例进行描述的差异型知识;反映一个事件和其他事件之间依赖或关联的关联型知识;根据当前历史和当前数据预测未来数据的预测型知识。当前已经出现了许多知识发现的新技术，其中之一就是可视化方法。数据可视化技术有3个鲜明的特点：第一，与用户的交互性强。用户不再是信息传播中的受者，还可以方便地以交互的方式管理和开发数据。第二，数据显示的多维性。在可视化的分析下，数据将每一维的值分类、排序、组合和显示，这样就可以看到表示对象或事件的数据的多个属性或变量。第三，最直观的可视性特点。数据可以用图像、曲线、二维图形、三维体和动画来显示,并可对其模式和相互关系进行可视化分析。
2.数据挖掘算法。
数据挖掘是指数据库中的知识发现，其历史可以追溯到1989年美国底特律市召开的第一届KDD国际学术会议上，而第一届知识发现和数据挖掘(DataMining，DM)国际学术会议是1995年加拿大召开的，会议上将数据库里存放的数据生动地比拟成矿床，从而“数据挖掘”这个名词很快就流传开来。数据挖掘的目的是在杂乱无章的数据库中，从大量数据中找到有用的、合适的数据，并将其隐含的、不为人知的潜在价值的信息揭示出来的过程。事实上，数据挖掘只是整个KDD过程中的一个步骤。
数据挖掘的定义没有统一的说法，其中“数据挖掘是一个从不完整的、不明确的、大量的并且包含噪声的具有很大随机性的实际应用数据中，提取出隐含其中、事先未被人们获知、却潜在有用的知识或模式的过程”是被广泛接受的定义。事实上，该定义中所包含的信息——大量真实的数据源包含着噪声;满足用户的需求的新知识;被理解接受的而且有效运用的知识;挖掘出的知识并不要求适用于所有领域，可以仅支持某个特定的应用发现问题。以上这些特点都表现了它对数据处理的作用，在有效处理海量且无序的数据时，还能够发现隐藏在这些数据中的有用的知识，最终为决策服务。从技术这个角度来说，数据挖掘就是利用一系列相关算法和技术从大量的数据中提取出为人们所需要的信息和知识，隐藏在数据背后的知识，可以以概念、模式、规律和规则等形式呈现出来。
3.预测性分析能力。
预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。大数据分析最终要实现的应用领域之一就是预测性分析，可视化分析和数据挖掘都是前期铺垫工作，只要在大数据中挖掘出信息的特点与联系，就可以建立科学的数据模型，通过模型带入新的数据，从而预测未来的数据。作为数据挖掘的一个子集，内存计算效率驱动预测分析，带来实时分析和洞察力，使实时事务数据流得到更快速的处理。实时事务的数据处理模式能够加强企业对信息的监控，也便于企业的业务管理和信息更新流通。此外，大数据的预测分析能力，能够帮助企业分析未来的数据信息，有效规避风险。在通过大数据的预测性分析之后，无论是个人还是企业，都可以比之前更好地理解和管理大数据。
尽管当前大数据的发展趋势良好，但网络大数据对于存储系统、传输系统和计算系统都提出了很多苛刻的要求，现有的数据中心技术很难满足网络大数据的需求。因此，科学技术的进步与发展对大数据的支持起着重要的作用，大数据的革命需要考虑对IT行业进行革命性的重构。网络大数据平台(包括计算平台、传输平台、存储平台等)是网络大数据技术链条中的瓶颈，特别是网络大数据的高速传输，需要革命性的新技术。此外，既然在大数据时代，任何数据都是有价值的，那么这些有价值的数据就成为了卖点，导致争夺和侵害的发生。事实上，只要有数据，就必然存在安全与隐私的问题。随着大数据时代的到来，网络数据的增多，使得个人数据面临着重大的风险和威胁，因此，网络需要制定更多合理的规定以保证网络环境的安全。

❹ 大数据分析怎么进行移动网络优化

灵活迅捷的解析方式http://www.finebi.com/

原生渲染技术，专为移动处理器加速优化，相比传统解析方式，渲染的速度、交互操作的流畅度均有大幅提升。用户可在自己的APP工程中导入SDK集成，通过URL调用原生报表。

炫酷智能的钻取联动、准确及时的消息推送、随心批注分享等

❺ 大数据在网络优化中大有可为

大数据在网络优化中大有可为

网络优化是确保网络质量，提升网络资源利用率的有效手段。近年来，随着网络容量的不断提升、网络用户数的不断增加、网络设备的多样化，用新技术和新方法替代传统网络优化手段成为一种趋势，尤其是在大数据分析技术的兴起下，其在网络优化中的作用日渐突出。

网络优化的传统手段

网络优化是通过对现已投入运营的网络进行话务数据分析、现场测试数据采集、参数分析、硬件检查等，找出影响网络质量的原因，并且通过参数的修改、网络结构的调整、设备配置的调整和采取某些技术手段，确保系统高质量的运行，使现有网络资源获得最佳效益，以最经济的投入获得最大的收益。一般而言，传统的网络优化有以下几种方法：

一、话务统计分析法：通过话务统计报告中的各项指标，可以了解和分析基站的话务分布及变化情况，分析出网络逻辑或物理参数设置的不合理、网络结构的不合理、话务量不均、频率干扰及硬件故障等问题。

二、DT&CQT测试法：从用户的角度，借助测试仪表对网络进行驱车和定点测试。可分析空中接口的信令、覆盖服务、基站分布、呼叫失败、干扰、掉话等现象，定位异常事件的原因，为制定网络优化方案和实施网络优化提供依据。

三、用户投诉：通过用户投诉了解网络质量。即通过无处不在的用户通话发现的问题，进一步了解网络服务状况。

四、信令分析法：主要针对A接口、Abis等接口的数据进行跟踪分析。发现和定位切换局数据不全、信令负荷、硬件故障及话务量不均以及上、下行链路路径损耗过大的问题，还可以发现小区覆盖、一些无线干扰及隐性硬件故障等问题。

五、数据库核查与参数分析：对网络规划数据和现网配置参数、网络结构数据进行核查，找出网络数据中明显的数据错误，对参数设置策略进行合理性分析和总结。

六、网络设备告警的排查处理：硬件故障告警一般具有突发性，为了减小对用户的影响，需要快速的响应和处理。通过告警检查处理设备问题，保障设备的可用性，避免因设备告警导致网络性能问题。

在实际工作中，这几种方法都是相辅相成、互为印证的关系。网络优化就是利用上述几种方法，围绕接通率、掉话率、拥塞率和切换成功率等指标，通过性能统计测试数据分析制定实施优化方案系统调整重新制定优化目标性能统计测试的螺旋式循环上升，达到网络质量明显改善的目的。

网络优化亟待创新

当前，随着用户数的不断增长，随着网络容量的不断增加，随着网络复杂度的不断提升，以及网络设备的多样化，网络优化工作的难度正在不断提升，网络优化的方法和手段亟待创新。

首先，网络优化是一项技术难度大、涉及范围广、人员素质要求较高的工作，涉及的技术领域有交换技术、无线技术、频率配置、切换和和信令、话务统计分析等。传统网络优化工作多依赖于技术人员的经验，依赖人工进行统计分析。网络优化的自动化程度较低，优化过程需耗费大量的时间、人力、物力，造成了大量的资源浪费，影响网络问题解决的时效性。另外，优化工程师借助于个人经验对网络数据进行分析和对比，而非根据网络相关的数据综合得出优化方案，存在一定的局限性。

其次，随着我国移动通信事业迅速发展，我国移动互联网发展已正式进入全民时代，截至2014年1月，我国手机网民规模已达5亿。网络结构日益复杂，数据业务已经成为移动通信网络主要承载的业务，用户通过智能终端的即时互联通信行为，使移动网络成为大数据储存和流动的载体。高速变化的数据业务速率和巨大的网络吞吐量以及覆盖范围的动态实时变化，在很大程度上改变了现有网络规划和优化的模型，在网络优化工作中引入大数据是非常迫切和必要的。

最后，全球数据信息成为企业战略资产，市场竞争和政策管制要求越来越多的数据被长期保存。对于运营商的网络优化来说，也需要保存各类数据，以便进行用户行为分析和市场研究，通过大数据实践应用提升网络优化质量并助力市场决策，实现精细化营销策略，提升企业的核心竞争力。

面对上述挑战，运营商正尝试进行网络优化工作的创新，尝试在网络优化中引入新技术和新方法。而正在全球兴起的大数据分析技术，开始在网络优化中大显身手。

网络优化拥抱大数据

大数据（Big Data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、整理成为帮助企业经营决策目的的资讯。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。大数据具有数据量巨大、数据种类繁多、价值密度低及处理速度快的特点，同时具备规模性、高速性、多样性、价值性四大特征。

一般而言，利用大数据技术进行网络优化的过程可分为三个阶段：数据来源和获取、数据存储、数据分析。

数据来源和获取—对于运营商而言，通过现有网络可以收集大量的网络优化相关信令资源（含电路域、分组域）、DT测试&CQT测试数据，这些数据大都以用户的角度记录了终端与网络的信令交互，内含大量有价值的信息。如终端类型、小区位置、LAC、imsi、tmsi、用户业务使用行为、用户位置信息、通话相关信息、业务或信令、信令中包含的各种参数值。

设备层包含基站、BSC、核心网、传输网等配置参数和网络性能统计指标（呼叫成功率、掉话率、切换成功率、拥塞率、交换系统接通率等）、客户投诉数据等。

采集到的数据一般而言，经过IP骨干网传输到数据中心，进行存储。随着云计算技术的发展，未来数据中心将具备小型化、高性能、可靠性、可扩展性及绿色节能等特点。

数据存储—网络优化中涉及巨大的数据存储，包括信令层面的数据信息和设备存在的数据信息，这些数据只有妥善存储和长期运营，才能进一步挖掘其价值。传统数据仓库难以满足非结构化数据的处理需求。Google提出了GFS、BigTable、MapRece三项关键技术，推动了云计算的发展和运用。

源于云计算的虚拟资源池和并发计算能力，受到重视。2011年以来，中国移动、中国电信、中国联通相继推出“大云计划”、“天翼云”和“互联云”，大大缓解了数据中心IT资源的存储压力。

数据分析—数据的核心是发现价值，而驾驭数据的核心是分析，分析是大数据实践研究的最关键环节，尤其对于传统难以应对的非结构化数据。运营商利用自身在运营网络平台的优势，发展大数据在网络优化中的应用，可提高运营商在企业和个人用户中的影响力。

电信级的大数据分析可实现如下功能：第一，了解网络现状，包括网络的资源配置和使用情况，用户行为分析，用户分布等；第二，优化网络资源配置和使用，有针对性地进行网络维护优化和调整，提升网络运行质量，改善用户感知；第三，实施网络建设规划、网络优化性能预测，确保网络覆盖和资源利用最大化。对用户行为进行预测，提升用户体验，实现精细化网络运营。

网络优化相关的工具种类很多，针对不同的优化领域，常用的工具包括：路测数据分析软件、频率规划与优化软件、信令分析软件、话统数据分析平台、话单分析处理软件等。这些软件给网络优化工作带来了很大的便利，但往往只是针对网络优化过程中特定的领域，而网络优化是一个涉及全局的综合过程，因此需要引入大数据分析平台对这些优化工具所反映出来的问题进行集合并综合分析和判断，输出相关优化建议。

目前，大数据技术已经在网络优化工作中得到应用。中国电信就已经建设了引入大数据技术的网优平台，该平台可实现数据采集和获取、数据存储、数据分析，帮助中国电信利用分析结果优化网络质量并助力市场决策，实现精细化营销策略。利用信令数据支撑终端、网络、业务平台关联性分析，优化网络，实现网络价值的最大化。

总工点评

综合全球来看，对大数据认识、研究和应用还都处于初期阶段。中国三大电信运营商都在结合自身业务情况，积极推进大数据应用工作，目前还处于探索阶段，在数据采集、处理、应用方面仍处于初级阶段。电信运营商在国内拥有庞大的用户群和市场，利用自身海量的数据资源优势，探索以大数据为基础的网络优化解决方案，是推动产业升级、实现效率提升、提升企业核心竞争力、应对激烈市场竞争的重要手段。利用大数据将无线网、数据网、核心网、业务网优化进行整合，可以完整地优化整个业务生命期的所有网元，改善用户感知，是未来网络优化的趋势。

以上是小编为大家分享的关于大数据在网络优化中大有可为的相关内容，更多信息可以关注环球青藤分享更多干货

❻ 海量移动互联网数据 怎么做数据分析

一、数据量过大，数据中什么情况都可能存在。
如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至 过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时， 前面还能正常处理，突然到了某个地方问题出现了，程序终止了。
二、软硬件要求高，系统资源占用率高。
对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。
三、要求很高的处理方法和技巧。
这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。
下面我们来详细介绍一下处理海量数据的经验和技巧：
一、选用优秀的数据库工具
现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软 公司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要， 例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。
二、编写优良的程序代码
处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。
三、对海量数据进行分区操作
对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不 过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷， 而且还可以将日志，索引等放于不同的分区下。
四、建立广泛的索引
对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应 索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完 毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。
五、建立缓存机制
当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。
六、加大虚拟内存
如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理， 内存为1GB，1个P42.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区 上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为 4096*6 + 1024 =25600 M，解决了数据处理中的内存不足问题。
七、分批处理
海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处 理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还 需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。
八、使用临时表和中间表
数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合 并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作， 可按汇总步骤一步步来，不要一条语句完成，一口气吃掉一个胖子。
九、优化查询SQL语句
在对海量数据进行查询处理过程中，查询的SQL语句的性能对查询效率的影响是非常大的，编写高效优良的SQL脚本和存储 过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对SQL语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表 结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，运行3个小时没有出结果，这是一定要改用程序处理了。
十、使用文本格式进行处理
对一般的数据处理可以使用数据库，如果对复杂的数据处理，必须借助程序，那么在程序操作数据库和程序操作文本之间选择， 是一定要选择程序操作文本的，原因为：程序操作文本速度快；对文本进行处理不容易出错；文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者 csv格式（文本格式），对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库再做清洗。
十一、定制强大的清洗规则和出错处理机制
海量数据中存在着不一致性，极有可能出现某处的瑕疵。例如，同样的数据中的时间字段，有的可能为非标准的时间，出现的原因可能为应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规则和出错处理机制。
十二、建立视图或者物化视图
视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规则分散到各个基表中，查询或处理过程中可以基于视图进行，这样分散了磁盘I/O，正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。
十三、避免使用32位机子（极端情况）
目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。
十四、考虑操作系统问题
海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对操作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。
十五、使用数据仓库和多维数据库存储
数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。
十六、使用采样数据，进行数据挖掘
基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样 的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出 400万行，经测试软件测试处理的误差为千分之五，客户可以接受。
还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。
海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。
海量数据处理专题（一）——开篇
大数据量的问题是很多面试笔试中经常出现的问题，比如 google 腾讯 这样的一些涉及到海量数据的公司经常会问到。
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样 的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨 论。
本贴从解决这类问题的方法入手，开辟一系列专题来解决海量数据问题。拟包含 以下几个方面。
Bloom Filter
Hash
Bit-Map
堆(Heap)
双层桶划分
数据库索引
倒排索引（Inverted Index）
外排序
Trie树
MapRece
在这些解决方案之上，再借助一定的例子来剖析海量数据处理问题的解决方案。
最简单的一点专业的事情让专业的人去做吧 招聘懂的人来做才王道

❼ 大数据时代,大数据概念,大数据分析是什么意思

大数据概念就是指大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据时代是IT行业术语。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）。

(7)移动网络中的大数据分析扩展阅读：

大数据分析的实例应用：

数据分析成为巴西世界杯赛事外的精彩看点。伴随赛场上球员的奋力角逐，大数据也在全力演绎世界杯背后的分析故事。

一向以严谨着称的德国队引入专门处理大数据的足球解决方案，进行比赛数据分析，优化球队配置，并通过分析对手数据找到比赛的“制敌”方式；谷歌、微软、Opta等通过大数据分析预测赛果...... 大数据，不仅成为赛场上的“第12人”，也在某种程度上充当了世界杯的"预言帝"。

大数据分析邂逅世界杯，是大数据时代的必然发生，而大数据分析也将在未来改变我们生活的方方面面。

❽ 移动大数据的四个发展趋势

移动大数据的四个发展趋势
如果我告诉你，你可以做到从海量数据来源（包括各种各样的移动设备）中把数据提取到一个系统，然后只用少量的程序行数描述所需的信息就可以让结果轻松呈现，还可以做到实时处理这些数据，并且保持系统同时运行，你相信吗？
不用怀疑，你可以做到。
这首先要归功于信息爆炸时代移动数据的飞速发展。移动应用不停地产生大量信息，比如用户行为的信息（包括对话开始、事件发生、事务处理等），然后设备生成数据（崩溃数据、应用日志、位置数据、网络日志等）。这些数据的意义在于它们给大数据提供了源源不断的信息源去识别和分析手机用户一天的所见所闻。

不得不说，移动大数据时代是应运而生。而为了收集智能手机的数据，就不得不面临数据收集、分析和运行的挑战。毫无疑问，能够利用移动数据的企业和移动设备开发者在市场竞争中更有竞争力和业务优势。因为他们可以在一开始就准确地识别出影响用户行为的因素，有效地将客户需求分级，从而能够既有创造力又有效率地实现客户需求。
而在大数据实时分析的竞争中能否决胜的关键是内存数据库。内存数据库保证了大数据的动态分析——用指数级的速度处理以喷发状态产生的大量数据，然后及时产生结果。内存数据库能为以不同速度为移动设备进行实时和动态的内存数据处理，还可以导入其他数据来源例如汽车和家庭系统的数据。
大数据的分布式处理能够在计算机上实现跨集群操作，扩展到成千上万种设备上，比如Hadoop就用分布式处理方式完成了多项任务。然而对于这个高速运转、信息不停喷发的移动时代来说，分散处理并不是最有效最经济的方式。内存数据库的产生无疑给企业提供了利用实时数据的新工具：尽可能快地在数据产生之初就进行分析，发现其趋势并更快地做出反应，实现降低服务成本和提高收益的目标。那些企业级的流式数据库，比如StreamBase和KDB，包括CEPs和混合式，内存数据库开始利用新的算法和可视化技术来填充实时处理技术的缺口。移动大数据的提供者正在试图将内存数据库、动态处理技术、算法与可视化技术融为一体，让企业能够运用移动大数据，让它成为一种业务驱动力。
移动应用团队更能理解同步分析数据的重要性。为了留住用户，开发者要能够预见误差，了解误差对用户行为的影响，衡量新产品的效益，识别用户的参与趋势，检测客户端，这样才能赶在问题暴露在消极用户面前之前消灭它。
下面是我们观察到的移动大数据的四个发展趋势：
1. 事务处理最重要
“移动”最关键的就是交互活动和对其的监控。用户选择应用是出于不同的目的：娱乐、购物、学习、分享等；而一旦有任何因素干扰或者减慢他们实现目的的体验过程，用户很容易就会产生消极情绪。利用应用软件监控事务处理，让企业能对用户体验进行评估和回应，尽量避免用户卸载软件或者给出差评。如今对事务性数据和功能性数据的监控都很重要，也不能没有一个适应移动发展时代的战略了。
2. 三驾马车，三个“V”
Business Insider的最新报道指出，大数据有三个特点：大量（volume）、多样（variety）、高速（velocity），我们把它们概括成三个“V”。数据本身的产生非常快，而且形式多样，大小不一，数量还很大。更别提移动数据了，数量都是成倍地增长。而Cisco最近的报告表明，有数以百万计的人只通过移动设备连接互联网，很明显，这些设备产生了大量的数据。KashRangan说，有很多互动被忽略了没有得到分析，而这些就是被忽视的机会。更有趣的是，数据的多样性恰恰是由移动设备造成的。从用户跟踪到崩溃报告，有各种各样五花八门详细的应用数据，包括商业贸易、情感反应、心跳测量、住宿记录，甚至包括风象报告。移动应用越来越多地影响了人们的生活方式，结果是数据增长的速度也在不断上升。只要想想一个手机用户比如你我每天都被手机牢牢套住的情况就可以理解了。
3. 测度是关键
面对大数据用户的一个挑战是考虑经营的影响因素。如果定位不好、收益不好，大数据可能反而会成为一种牵绊。如何鉴别哪种信息能够帮助更好地进行经营决策，而哪种信息却毫无用处呢？在企业投身移动数据的热潮之前，必须要弄清楚他们的关键度量指标是什么，不然就会被困在一堆派不上用场的数据里，进退两难。
4. 先监控，再提问
这听来好像跟我们的直觉不一样，但实际上企业都应该采用这种策略，先对应用进行监控并收集数据，然后回答关键的业务问题，再去探索从数据里发现的新的发展机会。去了解应用发展的情况是能否驾驭大数据的决定性的一步。在基本了解以后，企业和开发者们就可以深入研究关键性因素了。移动大数据提供者也让各种规模的公司有了让移动数据为他们所用的能力，无论是独立经营者还是大企业都是一样。现在，内存数据库已经有了，移动大数据提供者们又开始为下一个目标努力：通过最大化地提升数据的收集和传输效率来优化移动方面的东西，同时关注新的挑战，例如电池消耗、3G数据使用、连接速度慢、隐私问题和局部存储器的问题，还要扩展通信量并控制可预见的通信量激增。这场竞赛的关键已经不再是谁的移动设备革新速度快，而是谁对移动设备所产生数据的反应速度更快。

❾ 大数据分析的概念和方法

一、大数据分析的五个基本方面

1，可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2，数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3，预测性分析能力

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4，语义引擎

大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

5，数据质量和数据管理

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

二、如何选择适合的数据分析工具

要明白分析什么数据，大数据要分析的数据类型主要有四大类：

1.交易数据(TRANSACTION DATA)

大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数据类型进行分析，不仅仅包括POS或电子商务购物数据，还包括行为交易数据，例如Web服务器记录的互联网点击流数据日志。

2.人为数据(HUMAN-GENERATED DATA)

非结构数据广泛存在于电子邮件、文档、图片、音频、视频，以及通过博客、维基，尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。

3.移动数据(MOBILE DATA)

能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件，从App内的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)。

4.机器和传感器数据(MACHINE AND SENSOR DATA)

这包括功能设备创建或生成的数据，例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信，还可以自动向中央服务器传输数据，这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网(IoT)所产生的主要例子。来自物联网的数据可以用于构建分析模型，连续监测预测性行为(如当传感器值表示有问题时进行识别)，提供规定的指令(如警示技术人员在真正出问题之前检查设备)

❿ 移动互联网时代，大数据营销怎么玩

要应用大数据，肯定得先收集数据，然后再对数据进行分析，最好才是将分析的结果应用到营销环节中去，而DMP(Data-Management Platform)数据管理平台，是把分散的第一、第三方数据进行整合纳入统一的技术平台，并对这些数据进行标准化和细分，让用户可以把这些细分结果推向现有的互动营销环境里。通过DMP平台的处理，最终进行应用。举个具体一点的例子，Chinapex创略的APEX DMP，一个独立、开放式、企业级数据管理平台，能帮助广告主整合、细分、分析目标受众，再结合他们的APEX LINK合作伙伴生态系统，可以更好的实现营销的转化。这样你应该明白大数据是如何实现它的价值的。