大数据技术对于数据挖掘的未来究竟意味着什么(1)
我们都听说过如下的预测:到2020年,全球以电子形式存储的数据量将达到35ZB,是2009年全球存储量的40倍。而在2010年底,根据IDC的统计,全球数据量已经达到了120万PB,或1.2ZB。如果将这些数据都刻录在DVD上,那么光把这些DVD盘片堆叠起来就可以从地球垒到月球一个来回(单程约24万英里)。
对于动不动就忧天的杞人来说,如此庞大的数字可能是不详的,预示着世界末日的来临。而对于乐观主义者来说,这些数字却是一座信息金矿,随着技术的进步,其中所蕴含的财富会越来越容易被挖掘出来。
进入“大数据”时代,出现了不少新兴的数据挖掘技术,使得对数据财富的储存、处理和分析变得比以往任何时候都更便宜、更快速了。只要有了超级计算环境,那么大数据技术就能被众多的企业所用,从而改变很多行业经营业务的的方式。
我们对大数据技术的定义是:利用一些非传统的数据筛选工具(包括但不限于Hadoop)对大量的结构化和非结构化数据集合进行挖掘,以便提供有用的数据洞察。
大数据技术的概念和“云计算”一样,也存在着很多的炒作和大量的不确定性。为此,我们咨询了多位分析师和研究大数据的专家,让他们解释大数据技术是什么和不是什么,以及大数据技术对于数据挖掘的未来究竟意味着什么等诸多问题。
大数据技术的发展背景
对大企业而言,大数据的兴起部分是因为计算能力可用更低的成本获得,且各类系统如今已能够执行多任务处理。其次,内存的成本也在直线下降,企业可以在内存中处理比以往更多的数据。还有就是把计算机聚合成服务器集群越来越简单。IDC的数据库管理分析师Carl Olofson认为,这三大因素的结合便催生了大数据。
“我们不但能够把这些事情做好,而且能够以更低廉的成本去做这些事情,”他说。“过去有些大型超级计算机就曾涉足过繁重的多处理系统,一起构建成紧密聚合的集群,但由于都是专门设计的硬件,所以其成本动辄数十万甚至数百万美元。而现在,我们利用普通的商品化硬件也能获得同样的计算能力。这便帮助我们能够更快、更便宜地处理更多的数据。”
当然,并非所有拥有庞大数据仓库的企业都可以说他们正在使用大数据技术。IDC认为,某项技术要想成为大数据技术,首先必须是成本可承受的,其次是必须满足IBM所描述的三个“V”判据中的两个:多样性(variety)、体量(volume)和速度(velocity)。
多样性是指,数据应包含结构化的和非结构化的数据。体量是指聚合在一起供分析的数据量必须是非常庞大的。而速度则是指数据处理的速度必须很快。Olofson说,大数据“并非总是说有数百个TB才算得上。根据实际使用情况,有时候数百个GB的数据也可称为大数据,这主要要看它的第三个维度,也就是速度或者时间维度。假如我能在1秒之内分析处理300GB的数据,而通常情况下却需要花费1个小时的话,那么这种巨大变化所带来的结果就会增加极大的价值。所谓大数据技术,就是至少实现这三个判据中的两个的可承受得起的一种应用。”
与开源之关系
“很多人都认为,Hadoop和大数据是同义词。但这是个错误,”Olofson解释说。例如Teradata、MySQL和一些“聪明的集群技术”的实施案例都没有使用Hadoop,但也被认为是大数据的实施案例。
作为大数据的一种应用环境,Hadoop之所以能够引起人们的注意,是因为它是基于MapReduce环境的,这是超算圈里很常用的一种简化环境,主要是由谷歌所创建的一个项目。Hadoop是和各种Apache项目密切相关的混合实施环境,其中包含了在MapReduce环境下所创建的HBase数据库。
软件开发人员一般会用一切利用到Hadoop以及相似的高级技术的手段来响应——而这些技术很多都是在开源社区里开发的。“他们创建了一个令人眼花缭乱、变化多端的东西,即所谓的NoSQL数据库,该数据库的键值多数都已利用了各种技术在处理能力、多样化,或者数据库规模上做了优化的,”Olofson说。
开源技术一般是没有商业支持的,“所以这些东西还必须让其进化一段时间,逐渐剔除各种缺陷,而这一般需要数年的时间。这就是说,羽毛未丰的大数据技术目前还无法在普通市场上普及。”与此同时,IDC预计至少有三家商业厂商会在年底之前对Hadoop提供某种类型的支持服务。还有其他一些厂商,如Datameer等,也会提供带有Hadoop组件的分析工具,允许企业开发他们自己的应用。例如Cloudera和Tableau等已经在其产品中用到了Hadoop。
升级关系型数据库
行业观察家们一般都赞成在升级关系数据库管理系统(RDBMS)时也要考虑大数据技术。Olofson说,“大数据技术适用于速度更快、规模更大、成本更低廉的场合。”比如Teradata就把它的系统做得成本更低廉、具备可扩展性和集群环境。
然而还有些人则不这么认为。Gartner的数据管理分析师Marcus Collins说,“通常在使用RDBMS时,都要用到BI工具,但这种处理流程并非真的大数据。这种流程由来已久。”
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14