大数据引发数据库行业变革
数据库市场成形于上个世纪80年代。近年来随着云计算、大数据应用的兴起,面对爆发式增长的海量数据,传统数据库已难以应对;面对以视频、图片、文字等非结构化数据为主的大数据,传统商业智能系统和数据分析软件缺少有效地分析工具和方法。大数据引发数据库行业变革,国产数据库迎来三十年不遇的战略机遇期。
在激烈的市场竞争中,国产数据库厂商逐渐壮大起来,目前已经形成了以南大通用为首的国产数据库四大品牌。在新型数据库领域,国产技术已经与国外品牌站在了同一起跑线上。
2013年4月,相关媒体发布《中国数据库市场发展趋势报告》。通过深入分析大数据对于数据库市场的冲击,剖析OldSQL、NewSQL和NoSQL三类数据库技术的优缺点,梳理了中国数据库市场的发展特点、发展趋势,发展机遇、市场竞争环境等,从而为国产数据库厂商应对大数据时代的战略发展规划提供了重要的参考和建议。
一、大数据时代企业级数据处理需求
大数据可以分为行业大数据和互联网大数据两个类型,其中行业大数据又可分为四类:经营类、管理类、监管类和专业类。从占比上看,目前我们所说的大数据,有80%是来源于互联网大数据;从体量上看,行业大数据的体量与互联网大数据的体量相当,两者基本位于同一数量级上;从价值上看,行业大数据的价值密度高于互联网数据。
在未来3到5年,行业应用数据分析将成为大数据应用主战场。真正能够利用好大数据、并将其价值转化成生产力的企业必将具备强劲有力的竞争优势,从而成为行业的领导者。目前来看,政府、金融、电信、零售等将是最先使用大数据工具的行业。
表 1 大数据时代企业级数据处理需求
项目 业务特征 应用趋势
政府 公安 公安机关部门、警种繁多,造就了数据的海量化和类型的多样化。 利用对大数据的分析、挖掘,实现对人像,指纹比对,卡口等数据融合处理,从而为领导指挥决策,各情报分析提供支撑。
信息
安全 宏观上的网络安全态势感知和微观上的发现安全威胁,需要对海量日志信息进行定期的关系分析。 通过自动化分析处理与深度挖掘,将之前很多时候亡羊补牢式的事中、事后处理,转向事前自动评估预测、应急处理,让安全防护主动起来。
气象 数据包括温度和气压读数、风速、图像以及来自卫星、气球、船只和飞机的观测结果,而这些数据将以每天TB级的量级增长。 通过合理的梳理数据流,可提供更有价值、更加及时的气象信息,同时更好、更精确和更具预测性地进行环境预测。
交通
管理 系统性,数据量大;复杂性,涉及多方面数据;动态性,信息实时处理要求高。 对各种交通数据进行大量采集和系统分析,实现对道路和交通状况的全天候和全天时感知。
税务 税收信息包含种类繁多,人员涉及广泛。 通过税收数据的集中处理,真实、实时、全面地掌握税收工作各项数据和整体情况。
社保
管理 社保“一卡通”将产生的海量数据信息,并且呈现出几何式增长态势。 对于海量信息进行合理分类、科学分析、有效预测。
电信行业 数据量激增,保存时间长;受众群体大,市场饱和度高。 数据流量暴增,向智能化管道转型;规避同质化竞争,寻找差异化经营“蓝海”。
金融行业 设备先进,功能齐全;自动化程度高,安全保密性强。 金融智能决策、金融服务创新。
零售行业 零售行业需要及时响应客户需求,实现精准营销。 个性化精准营销要求零售企业对消费者消费行为、天气等进行大数据分析,结合客户的购物习惯,提供一致的个性化购物体验,以提高客户忠诚度。
二、大数据引发数据库行业技术变革
大数据引发数据库行业架构创新。美国著名数据库科学家迈克尔•斯通布雷克(Michael Stonebraker)指出,行业技术的发展趋势是由一种架构支持所有应用转变为用多种架构支持多类应用。在大数据和云计算的背景下,这一理论导致了数据库市场的大裂变:数据库市场分化为三大阵营,包括OldSQL(传统数据库)、NewSQL(新型数据库)和NoSQL(非关系型数据库)。为了提升性能,NewSQL阵营普遍采用了列存储技术;NoSQL阵营普遍采用了KV技术。三个阵营都不同程度地采用了分布式计算、分布式文件系统、内存计算技术,并积极地使用新的硬件技术,如大内存、Flash、SSD和高速网络连接(万兆交换机和Infiniband)等。
三者在数据管理能力、数据的价值密度以数据处理的实时性等方面各有所长,从而势必造成在未来的数据库软件市场上出现结构混搭、多种技术并存,并且和谐相处的局面。然而,由于受数据管理能力所限,伴随数据量逐年增加,OldSQL生命活力受到极大影响,未来将呈现不断弱化的趋势;在NoSQL领域,虽然其在数据管理能力方面具备先天优势,但是因为NoSQL处理的大多为互联网数据,其价值密度较低,因此其市场活力呈现较为稳定的态势;在NewSQL领域,其数据管理能力高于OldSQL,又面向数据价值密度较高的行业大数据,促使其具备较高的市场活力,虽然其进入市场时间较晚,但是未来其市场活力必将超越OldSQL、NoSQL,成为在数据处理技术领域新的“王者”。
面对大数据,传统的行式存储数据库已经尽显颓态,数据库软件巨头也通过加强研发、收购等方式加强自己在大数据领域的影响力,纷纷推出自己的面向大数据库的新型数据库解决方案。而在新型数据库中,以列式存储为主的数据库如Sybase IQ,GBase 8a,Vertica等表现优异,成为NewSQL的典型代表。
三、应对大数据,国产数据库迎来新机遇
由于国家信息化建设的需求,电子政务正处于深化应用阶段,对数据的开发利用将成为新的方向,这样就给国产数据库发展带来非常好的市场机会。特别是由于政府、能源等关键行业比较注重信息安全保障,因此国产数据库软件获得政府青睐。
经过十多年的刻苦发展,国产数据库在技术研发方面取得了长足进步,产品日趋成熟。与国外数据库软件相比,国产数据库企业借助安全、本土化优势已在政府和行业领域击败国外竞争对手。作为国产数据库代表,南大通用以新型数据库研发作为其战略核心,成为第一家支持列式存储和MPP架构的国产数据库厂商。其GBASE系列数据库已经成功应用到电信、金融、政务等多个行业和领域。在新型数据库领域已经具备与世界主流厂商在大数据分析类应用中直接竞争的能力,跃升成为国内新型数据库领域的前三强厂商。
大数据给国产数据库厂商带来了“天时、地利、人和”三者同时齐备的三十年不遇的战略机遇期。国内数据库厂商应当充分认识到未来三年,将是决定国产数据库在大数据领域成败的关键时期。如果国内企业能抓住这一机遇,在技术、商业模式上主动突破,形成自己的优势,在某些行业率先开辟出应用示范案例,那么在大数据时代,国产数据库厂商就能有效应对国际大厂商的强势压力和竞争,在市场上取得突破性的发展。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14