我们无须更多的数据科学家 只须降低大数据使用门槛
这个国家急缺数据科学家”,目前几乎所有关于大数据的文章都提出了这么一种观点。广受热议的McKinsey公司2011年度调查指出许多机构即缺少对大数据有深刻洞见和理解的人,也没有运用大数据来做出明智决断并执行的动力。
然而在这些讨论中有些东西似乎被忽视了,那就是如何打破瓶颈进而使得大数据能够直接为企业家们所用。我们曾经在软件工业中做到过这一点,我们能够再次做到。
为了达成这个目标,透彻理解数据科学家在大数据中所扮演的角色是很重要的。目前,大数据是一个熔炉,分发着数据结构以及类似Hadoop、NoSQL、Hive以及R这样的工具。在这个技术含量非常高的环境中,数据科学家的工作就像是系统与那些来自不同领域专家之间的门卫与调解人。
虽然有点难以概括,但基本上数据科学家发挥着三种作用:数据架构、机器学习以及数据分析。虽然这些职责很重要,但事实上不是每个公司都需要一个像Google或者Facebook有的那种高度专业的数据团队。关于创造符合目标产品以及剔除技术复杂性的解决方案可以使大数据为商家所用。
随便举个例子,想想发生在世纪之交的网络内容管理革命吧。网站成了一时的时尚,但是各领域专家们却遭遇了源源不断的麻烦,因此我们有了一个瓶颈。所有网站上新的内容都需要IT编辑去编排内容甚至硬编码。那最后又是怎么解决的呢?我们把网络内容管理系统中所需要的核心内容概括并提取出来,然后把它们做成不懂技术的人也会用的模式。
让我们以电子商务为背景,稍微深挖掘一下现今的数据科学家所扮演的角色吧。
用数据架构降低复杂性
缩小范围是降低复杂性的关键。几乎所有的电子商务业务都对获取用户行为感兴趣——预约、购买、线下交易以及社交数据,几乎以上每一项都有目录及客户档案。
对这些基本功能限制范围可以使我们创建标准数据录入的模板,使得数据获取及连通更为简单。我们也需要找到打包不同数据结构与工具(现今包括Hadoop、Hbase、Hive、Pig、Cassandra and Mahout)的有意义的方法。这些数据包必须要符合目标要求,归结起来就是80/20法则:80%的大数据使用方法(所有电商业务需要的全部),可以用20%的努力和技术实现。
巧用机器学习
在机器学习上我们当然需要数据科学家,对吗?好吧,如果你有非常个性化的需求的话,或许对吧。但大部分需要用到大数据的标准需求,比如推荐引擎及个性化系统,都可以被提取出来。举例来说,数据科学家工作的一大块内容是制作“特征”,这是在数据录入里面使得机器学习更有效率的一种东西。我们想一下,所有的数据科学家都要把数据塞进机器并启动它们,那事实就是机器需要人们帮它们指出正确看待世界的方式。
然而,在每一个领域基础上的特征创建都是可以被模板化的。例如每个商务网站都有购买流以及用户分割这些概念。如果各领域专家们可以直接把他们在各自领域的想法和理念直接编码到系统里呢,是不是就可以避开作为中间人及翻译的科学家们了呢?
借用数据分析工具
从数据中自动提取那些最有价值的信息从来都是不容易的。然而,有一些获取特定领域观点的办法可以使商家们更像一个数据科学家去行动。这似乎是最容易解决的一个问题,因为市面上已经有了各种领域的分析产品。
但这些产品目前对各领域专家们来说还是限制太多门槛太高。绝对还需要一个更加友好的界面。我们也需要将机器如何通过分析结果学习放入考虑的范畴。这是非常关键的一个反馈系统,商家们希望把修正放进这个系统中。这也是另一个可能提供模板化界面的地方。
就像我们在内容管理系统中学到的那样,这些方法不能够在任何时间解决任何问题。但将这些技术型解决方案运用在一系列更广泛的数据问题上将会减轻数据科学家们遭遇的瓶颈。当各行业专家能直接用机器学习系统工作时,我们可能就进入了一个能够相互学习的崭新的大数据时代。或许到那时候大数据能解决的问题才会多于它所引起的问题。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14