数据科学家价值大跌:自动化工具快将取而代之
请紧记:「IT人的目标是要让自己没有工作。我们的工作就是要让程式把我们现在的工作做得更快,更好,更可靠,最终结果是程式取代了人手、IT人作用已没有了。」IT人如此,数据科学家亦如此!
随着大数据兴起,很多公司都需要懂得统计学的IT人,亦即是大家近期听说的数据科学家数据科学家。此职位目前是人少需需求多(当然并非指香港,而是以亚太区作基准)。关于数据科学家的职业发展有很多讨论。最近LouisDorard在GigaOM上发表了一篇关于数据科学家职业发展的文章。观点是随着数据科学的发展,目前数据科学家的许多工作将被自动化的工具取代。而数据科学家这个职业也将不再存在。文章编译如下:
数据科学家工作的一部分就是把他们的工作自动化。例如说通过一些预测性的API工具来实施工作自动化。然而,这些API已经在某些范畴开始取代数据科学家的工作了。这对这个职业来说可不是什么好事。
我们现在处于大数据的时代。利用电脑学习来进行预测性分析的需求越来越强劲。正如InsightsOne的CEOWaqarHasan指出的一样「预测分析是大数据时代的杀手级应用」。我们也开始看到有一些公司开始针对大众提供电脑学习和预测分析的服务。例如Apigee收购了InsightsOne后就推出了预测性分析的API平台。
我在大学上电脑科学的时候学到的第一课就是「我们工作的终极目标就是要让自己没有工作。我们的工作就是要让程序把我们现在的工作做得更快,更好,更可靠。数据科学也是如此。」
技术将取代数据科学家
数据科学家的绝大部分工作花了在建立PredictionModel:选取与预测相关的变量。选择合适的Model,优化参数等等。目前,这类的工作已经能够有一些自动化的解决方案了。如EmeraldLogic的FACET以及Google和ErastzLabs提供的API。这些API把复杂的电脑Model从数据中抽出来。用户可以专注于数据的采集,而把数据送给这些API,就能够产生一个PredictionModel了。
这些新的工具意味着,在新的模式下,不需要数据科学家的参与了,公司里的每个人都能够参与数据科学的项目。高层将确定战略方向,中层经理们确定分析预测的具体目标,软件工程人员可以专注于项目实施。这里需要每个人都懂得一些电脑知识。不过如果不去深究算法和理论,只关注基本概念和一些具体的应用,Machinelearning即使对于非技术人员来说也能够很快了解。
事实上,如果由具体应用范畴的专家来负责Machinelearning项目的话,往往能够更好地将应用范畴的知识结合到Machinelearning项目里去,例如能够更好的选出那些合适的特征,从而能够做出更好的PredictionModel。
Machinelearning是人工智能的技术。通过数据来建立更好的智能。那么我们在人工智能范畴中还需要手动去进行运算的选择吗?我们当然有智能的自动方式。在人工智能范畴有一个趋势,就是人工智能算法(metaAIAlgorithm),就是给予一些问题,能够自动找到合适的人工智能运算方法。
利用这种方式来进行Machinelearning的塬理就是利用如概率来进行设定以及对特征设定不同权限等等。今天我们的计算能力已经足以让我们进行这样大量的测试。暴力测试可以采用常规的交叉验证,或者采用类似于FACET那样的渐进式技术。
测试可以从对数据的最简单分析开始,如果我们发现数据在分类时有明显的不平衡性时,我们可以试着选择Anomalydetection的算法。
数据科学家将来做什么呢?
有人会说,目前不能自动化的范畴太多了。的确,把所有Machinelearning范畴都自动化是很困难的。不过,目前API在预测方面已经能够比拟那些传统的分析技术了。这方面API创造的价值巨大。
由于这些新的工具出现,数据科学家的角色也在发生变化。现在要成为数据科学家可能比以前更容易了。由于预测性API的出现,由数据科学家来做的工作变得更加容易了。这些工作可以由数据库工程人员或者软件工程人员来进行。这也就是有些人说的数据科学不科学。而我要说的是较为好听的说话:「数据科学正在不断进步。」
在预测API范畴中,数据科学家依然在团队里扮演重要角色。他帮助团队成员使用这些API。更多是作为一个主管的角色来指导大家使用,而不像以前那样需要亲自动手。
更重要的是,数据科学家还需要不断开发Machine learning的自动化工具。除了目前的监督学习(Supervised Learning的API外,也开始出现了强化学习(Reinforcement Learning)的API。此外,还需要提供一些工具能够使得应用范畴专家把他们的知识融入到算法中。
请紧记:「IT人的目标是要让自己没有工作。我们的工作就是要让程式把我们现在的工作做得更快,更好,更可靠,最终结果是程式取代了人手、IT人作用已没有了。」IT人如此,数据科学家亦如此!
随着大数据兴起,很多公司都需要懂得统计学的IT人,亦即是大家近期听说的数据科学家数据科学家。此职位目前是人少需需求多(当然并非指香港,而是以亚太区作基准)。关于数据科学家的职业发展有很多讨论。最近LouisDorard在GigaOM上发表了一篇关于数据科学家职业发展的文章。观点是随着数据科学的发展,目前数据科学家的许多工作将被自动化的工具取代。而数据科学家这个职业也将不再存在。文章编译如下:
数据科学家工作的一部分就是把他们的工作自动化。例如说通过一些预测性的API工具来实施工作自动化。然而,这些API已经在某些范畴开始取代数据科学家的工作了。这对这个职业来说可不是什么好事。
我们现在处于大数据的时代。利用电脑学习来进行预测性分析的需求越来越强劲。正如InsightsOne的CEOWaqarHasan指出的一样「预测分析是大数据时代的杀手级应用」。我们也开始看到有一些公司开始针对大众提供电脑学习和预测分析的服务。例如Apigee收购了InsightsOne后就推出了预测性分析的API平台。
我在大学上电脑科学的时候学到的第一课就是「我们工作的终极目标就是要让自己没有工作。我们的工作就是要让程序把我们现在的工作做得更快,更好,更可靠。数据科学也是如此。」
技术将取代数据科学家
数据科学家的绝大部分工作花了在建立PredictionModel:选取与预测相关的变量。选择合适的Model,优化参数等等。目前,这类的工作已经能够有一些自动化的解决方案了。如EmeraldLogic的FACET以及Google和ErastzLabs提供的API。这些API把复杂的电脑Model从数据中抽出来。用户可以专注于数据的采集,而把数据送给这些API,就能够产生一个PredictionModel了。
这些新的工具意味着,在新的模式下,不需要数据科学家的参与了,公司里的每个人都能够参与数据科学的项目。高层将确定战略方向,中层经理们确定分析预测的具体目标,软件工程人员可以专注于项目实施。这里需要每个人都懂得一些电脑知识。不过如果不去深究算法和理论,只关注基本概念和一些具体的应用,Machinelearning即使对于非技术人员来说也能够很快了解。
事实上,如果由具体应用范畴的专家来负责Machinelearning项目的话,往往能够更好地将应用范畴的知识结合到Machinelearning项目里去,例如能够更好的选出那些合适的特征,从而能够做出更好的PredictionModel。
Machinelearning是人工智能的技术。通过数据来建立更好的智能。那么我们在人工智能范畴中还需要手动去进行运算的选择吗?我们当然有智能的自动方式。在人工智能范畴有一个趋势,就是人工智能算法(metaAIAlgorithm),就是给予一些问题,能够自动找到合适的人工智能运算方法。
利用这种方式来进行Machinelearning的塬理就是利用如概率来进行设定以及对特征设定不同权限等等。今天我们的计算能力已经足以让我们进行这样大量的测试。暴力测试可以采用常规的交叉验证,或者采用类似于FACET那样的渐进式技术。
测试可以从对数据的最简单分析开始,如果我们发现数据在分类时有明显的不平衡性时,我们可以试着选择Anomalydetection的算法。
数据科学家将来做什么呢?
有人会说,目前不能自动化的范畴太多了。的确,把所有Machinelearning范畴都自动化是很困难的。不过,目前API在预测方面已经能够比拟那些传统的分析技术了。这方面API创造的价值巨大。
由于这些新的工具出现,数据科学家的角色也在发生变化。现在要成为数据科学家可能比以前更容易了。由于预测性API的出现,由数据科学家来做的工作变得更加容易了。这些工作可以由数据库工程人员或者软件工程人员来进行。这也就是有些人说的数据科学不科学。而我要说的是较为好听的说话:「数据科学正在不断进步。」
在预测API范畴中,数据科学家依然在团队里扮演重要角色。他帮助团队成员使用这些API。更多是作为一个主管的角色来指导大家使用,而不像以前那样需要亲自动手。
更重要的是,数据科学家还需要不断开发Machine learning的自动化工具。除了目前的监督学习(Supervised Learning的API外,也开始出现了强化学习(Reinforcement Learning)的API。此外,还需要提供一些工具能够使得应用范畴专家把他们的知识融入到算法中。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14