大数据分析

什么是大数据解析

大数据解析是指对规模巨大的数据实行解析。

大数据解析的方式

1. Analytic Visualizations(可视化解析)

不管是对数据解析专家还是普通用户,数据可视化是数据解析工具最基本的要求。可视化可以直观的展示数据,让数据自己说话,让观众听到结果。

2. Data Mining Algorithms(数据挖掘算法)

可视化是给人看的,数据挖掘就是给机器看的。集群、分割、孤立点解析还有其他的算法让我们深入数据内部,挖掘价值。这些算法不仅要处理大数据的量,也要处理大数据的速度。

3. Predictive Analytic Capabilities(预测性解析能力)

数据挖掘可以让解析员更好的理解数据,而预测性解析可以让解析员根据可视化解析和数据挖掘的结果做出一些预测性的判断。

4. Semantic Engines(语义引擎)

我们知道由于非结构化数据的多样性带来了数据解析的新的挑战,我们需要一系列的工具去解析,提取,解析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。[2]

5. Data Quality and Master Data Management(数据质量和数据经营管理)

数据质量和数据经营管理是一些经营管理方面的最佳实践。通过标准化的流程和工具对数据实行处理可以保证一个预先定义好的高质量的解析结果。

大数据解析的步骤

  • 统计/解析

统计与解析紧要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据实行普通的解析和分类汇总等,以满足大多数常见的解析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及基MySQL的列式存储Infobright等,而一些批处理,或者基于半结构化数据的需求可以使用Hadoop。统计与解析这部分的紧要特点和挑战是解析涉及的数据量大,其对系统资源,特别是I/O会有极大的占用。

  • 导入/预处理

将这些来自前端的数据导入到一个集中的大型分布式数据库,或者分布式存储集群,并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据实行流式计算,来满足部分业务的实时计算需求。导入与预处理历程的特点和挑战紧要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆级别。

  • 挖掘

比较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的Naive Bayes,紧要使用的工具备HadoopMahout。

郑重声明:东方财富网发布此信息的目的在于传播更多信息,与本站立场无关。东方财富网不保证该信息(包含但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实,不对您构成任何投资建议,据此操作,风险自担。

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500