这一年来,数据科学家都用哪些算法
在“数据为王”的今天,越来越多的人对数据科学产生了兴趣。数据科学家离不开算法的使用,那么,数据科学家最常用的算法,都是哪些呢?
最近,著名的资料探勘信息网站KDnuggets策划了十大算法调查,这次调查对数据科学家常用的算法进行排名,并发现最“产业”和最“学术”的算法,还对这些算法在过去5年间(2011~2016)的变化,做了一番详细的介绍。
这次调查结果,是基于844名受访者投票整理出来。
KDnuggets总结出十大算法及其投票份额如下:
图1:数据科学家使用的十大算法和方法。
请参阅文末的所有算法和方法的完整列表。
从调查中得知,受访者平均使用8.1个算法,与2011年的一项类似调查相比大幅提高。
与用于数据分析/数据挖掘的2011年投票算法相比,我们注意到流行的算法仍然是回归算法、聚类算法、决策树和可视化。相对来说最大的增长是以(pct2016/pct2011-1)测定的以下算法:
Boosting,从2011年的23.5%至2016年的32.8%,同比增长40%
文本挖掘,从2011年的从27.7%至2016年的35.9%,同比增长30%
可视化,从2011年的从38.3%至2016年的48.7%,同比增长27%
时间序列分析,从2011年的从29.6%至2016年的37.0%,同比增长25%
异常/偏差检测,从2011年的从16.4%至2016年的19.5%,同比增长19%
集合方法,从2011年的从28.3%至2016年的33.6%,同比增长19%
支持向量机,从2011年的从28.6%至2016年的33.6%,同比增长18%
回归算法,从2011年的从57.9%至2016年的67.1%,同比增长16%
在2016年最受欢迎的新算法是:
K-近邻算法(K-nearest neighbors,KNN),46%份额
主成分分析(Principal Commponent Analysis,PCA),43%
随机森林算法(Random Forests,RF),38%
最优化算法(Optimization),24%
神经网络-深度学习(Neural networks-Deep Learning),19%
奇异值矩阵分解(Singular Value Decomposition,SVD), 16%
跌幅最大的算法分别为:
关联规则(Association rules),从2011年的28.6%至2016年的15.3%,同比下降47%
增量建模(Uplift modeling),从2011年的4.8%至2016年的3.1%,同比下降36%
因子分析(Factor Analysis),从2011年的18.6%至2016年的14.2%,同比下降24%
生存分析(Survival Analysis),从2011年的9.3%至2016年的7.9%,同比下降15%
下表显示了不同算法类型的用途:监督学习、无监督学习、元分析和其他算法类型。我们排除了NA(4.5%)和其他(3%)的算法。
表1:按行业类型的算法使用
我们注意到,几乎所有人都在使用监督学习算法。政府和产业的数据科学家们比学生或学术界使用了更多的不同类型的算法,产业数据科学家更倾向使用元算法。
接下来,我们分析深度学习的十大算法按行业类型的使用。
表2:深度学习的十大算法按就业类型的使用
Table 2: Top 10 Algorithms + Deep Learning usage by Employment Type
为了使差异更为醒目,我们计算特定行业类型相关的平均算法使用量设计算法为Bias(Alg,Type)=Usage(Alg,Type)/Usage(Alg,All)-1。
图2:按行业的算法使用偏差
我们注意到产业界数据科学家更倾向使用回归算法、可视化、统计算法、随机森林算法和时间序列。政府/非盈利组织更倾向使用可视化、主成分分析和时间序列。学术研究人员更倾向使用主成分分析和深度学习。学生通常使用算法较少,但他们用的更多的是文本挖掘和深度学习。
接下来,我们看看代表整体KDnuggets访客的地区参与情况。
参与投票者的地区分布如下:
北美,40%
欧洲,32%
亚洲8%
拉美,5.0%
非洲/中东,3.4%
澳洲/新西兰,2.2%
与2011年的调查一样,我们将产业/政府合并为同一个组,将学术研究人员/学生合并为第二组,并计算算法对产业/ 政府的“亲切度”:
亲切度为0的算法在产业/政府和学术研究人员/学生的使用情况相同。IG亲切度约稿表示该算法越“产业”,越低则表示越“学术”。
其中最“产业”的算法”是:
增量建模(Uplift modeling),2.01
异常检测(Anomaly Detection),1.61
生存分析(Survival Analysis),1.39
因子分析(Factor Analysis),0.83
时间序列(Time series/Sequences),0.69
关联规则(Association Rules),0.5
虽然增量建模又一次成为最“产业”的算法,但出乎意料的是它的使用率如此低:区区3.1%,在这次调查中,是使用率最低的算法。
最“学术”的算法是:
神经网络(Neural networks - regular),-0.35
朴素贝叶斯(Naive Bayes),-0.35
深度学习(Deep Learning),-0.19
最大期望算法(EM),-0.17
下图显示了所有算法以及它们在产业界/学术界的亲切度:
图3:Kdnugets调查:数据科学家使用的流行算法:产业界vs学术界
下表包含了算法的详细信息,在2016年和2011年使用它们的受访者百分比调查,变化(%2016 /%2011 - 1)和行业亲切度如上所述。
表3:KDnuggets2016调查:数据科学家使用的算法
下表包含各个算法的详细信息:
N: 根据使用度排名
Algorithm: 算法名称
Type:类型。S - 监督,U - 无监督,M - 元,Z - 其他,
2016 % used:2016年调查中使用该算法的受访者比例
2011 % used:2011年调查中使用该算法的受访者比例%Change:变动 (%2016 / %2011 - 1)
Industry Affinity:产业亲切度(上文已提到)
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14