为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案?
因为他们在不懂R和Hadoop的特征应用场景的情况下,恰好抓到了一根免费,开源的稻草。
R:
R的应用场景不在于无与伦比的统计学习能力,而在于结构化数据下无与伦比的单位代码产出量。神经网络,决策树等基于结构化数据的算法一行代码搞定,预测又只是一行代码。这样,商业数据库(如包括Oracle,Netezza,Teradata,SAP HANA等)提供了R接口供统计分析人员进行高效实施。 同样的,SAS和IBM SPSS也做到了一部分高效实施能力,他们没有的是R独有的庞大cran packages群。但相似的一点是,R的package群也把它的用户惯坏了,惯坏到这些人只是觉得这是一个SAS或者SPSS的免费版,而不是去通过代码学习如何做机器学习哪怕一点点核心原理。你要做的,就是高效的最新结构化数据算法的实施。
最重要的是,从Hadoop上的数据加载到这些库,不仅保证了数据本身的正确性和结构化,也已经保证了数据模型的第二、第三范式化(CAErwin的第一课),想做任何一个分析,你手边的数据库简单的join就形成了你需要的分析宽表。想想SQL里sum over的设计含义:为什么它要制造数据的冗余?那一定是为了BI或者分析存在的。
Hadoop的应用场景不在于给统计分析软件提供强力的支持,而只是提供了一个分布式数据的泛用免费框架,基于键值对(key value pair)高效的对原始非结构化数据进行存储。
传统方式下目测可以做到对连续型数值、离散型数值、字符串、大型字符串BLOB、地理信息(二维点,多边形)的存储,Hadoop相当于直接把很多功能扩展:比如Hive作为一个基本工具,直接提供了更广泛的数据类型存储方案:数组(array),结构体(struct),键值对(map)等。
业务场景:我存储一篇文章不再需要一坨文字灌进去,先做NLP解析,然后形成 (词,词性)的元组,再组成长数组(Array)即可方便的存储、分析,以及利用内置UDF、自写UDF对复杂结构行转列,提取信息。(当然,将NLP解析本身整合在UDF甚至算法中都是可行的,如PySpark)
如果你至今觉得非结构化数据,键值对是一种卖弄概念,我就换一个至简的说法:一个只有两列的数据表。两列的mn*2和多列m*n数据表是可以在一定加工代价下互转的。这种数据结构被大量应用于Java,C++,Python甚至JavaScript中,当你看见类似Hashmap,Hashtable,dict,map等字眼,那就是这货没跑了:经过设计,用于存储的键(key)被散列后决定了它能够被均匀地分布式存储,值(value)是键的跟班,随着键被存储。
对于非结构化数据而言,元数据和数据不像方表,极其容易抽象出来(无非就是列名和方表的内容)。初看一个半结构化的Json/XML,元数据出现在键(key)中,数据出现在值(value)中,容易理解。但在解析其他类型数据,(如网络日志Url),键里的所谓元数据才是要分析的对象(一个用户反复的使用price=xxx做查询条件,说明价格敏感,有可能xxx取了好多值甚至所有可能值,key却很少,可能只有price和brand;此时用户行为模式出现在key里了。)
结构化和非结构化数据库结合的R+Hadoop看起来很美,实则困难重重。我的看法是,任何一家在数据分析领域(文本挖掘暂时除外,理由在业务场景里描述过)决定以一个稳健的态度涉足的企业,都无一例外的基于数据强一致性的考虑,选择传统的结构化数据库作为后续结构化分析的依托—— 哪怕他们是收费的。如果习惯代码开发,Hadoop+python自己做初步的数据处理,而后使用基于java的Mahout是一个很自然的选择:其提供的矩阵计算(SVD),迭代式聚类算法(如Kmeans),基于图的迭代模型(一个例子是PageRank算法,值中存的也是Key),以及集成决策树等模型,在分布式场景下是顺理成章完成的,而R则会像一个跟班,很难找到它的应用场景。一样具有较高编码效率的Python可以更加灵活、优美(缩进的意义上)的继承mrjob类完成相应功能,在数据尝试性探索这一步,matplotlib产出报告恐怕是不如R+knitr+ggplot2更能取悦老板,但一旦需要阶段性的测试,Python这种胶水语言或者一步到位的使用Java开发显得更接地气,更容易落地。(关于落地性,再小小吐槽一下R在Windows和Linux两个平台下能够使用的包范围是不同的,尤其是使用Rcpp或者并行包的时候。Python和Java则不常见到这种问题)
R+Hadoop的幻觉:
不管什么和Hadoop结合,都喜欢以word count这种典型的键值对开始。事实上R可以做这件事,但是觉得R做的无与伦比,就有点进入误区。还是那句R的美在于结构化数据下无与伦比的单位代码产出量。一旦你发现你作为专注于数据的分析师,同时也是一个并不骨灰的代码开发者,开始用R操作列表和数据结构,开始用R重写Mapper和Reducer,你就会产生一个疑问:
为嘛不学Java、Python?这种分析“不传统”,就算你不想学吧,为嘛不找懂它们的人来干?
Python基于键值对存储,也具有相当高的单位代码产出量,也有很多科学计算包。从这个意义上你可以做出一个白箱,单机缩水版的mahout,而且适合处理有增量算法的大数据学习(看看NumPy,SciPy,)。一样免费。
数据挖掘的幻觉:
数据挖掘是什么,很难吗?
广义的数据挖掘,包括数据分析和机器学习,只说最核心的数学概念的话,估计就几句话;恰好R的简洁性也是能用几句话做完这几句话的:
0 数据清洗,标准化。和1-4,理解真实世界是相辅相成的
1 最先学的数学技巧是空间分解:LL’,PCA,SVD,一般回归以及L2/L0惩罚变种;从信息论角度讲信息流压缩(有名如LZ及变种LZO);SVM用到的RBF也算基提取技巧。
2 再学最优化算法:L1惩罚回归,SVM(使用的Newton-Raphson/Gauss-Newton/Levenberg-Marquadt(还是1的内容!);MonteCarlo Markov Chain
3 数据结构:决策树(列表类),词频统计(键值对或者字典类),FP-growth(一个树的加强版)。学到这,所谓“贝叶斯”根本就不能叫算法,只能叫一个无处不在的指导思想。
4 模型集成:Adaboost,神经网络,bootstrap。集成时,权重技巧和惩罚技巧我的理解是不可割裂。但这个思想对方法,对模型参数都能集成,大杂烩。1个超级精妙的模型不如200个良好理解了问题性质的土鳖模型更实用。
任何一个听起来很装逼的算法,逃不过被解析成这4类方法组合的命运。参数调优这种不提纲挈领的问题,确实需要结合时间成本人力成本看(研究者,学生,码农的成本和投入量完全不一样)
可以看到,大数据分析的瓶颈在哪?
第0步,和曾经的大Boss讨论过,传统行业数据仓库实施起码还能打10年,而”实体-关系”概念和”键-值”概念这两种抽象起码还能打30年,数据的组织,过滤,元数据维护都是数据产生价值的必经之路,这方面的工作很枯燥但是很基础,大数据和传统数据都需要;
第1步是最基本最重要的分析手段,也最容易在大数据语境下导致单机无法分析的亿阶稀疏大矩阵产生:例1,用户User对商品SKU的购买记录;例2,在特定的经纬度,特定的时间,特定的用户发生了动作;这两个例子是典型的“查询简单分析难,汇总还不如不汇总”的情况,必须要有分布式稀疏矩阵处理技术;
第2步,序贯MCMC的串行性可以通过并行集成方法模拟,但是收敛性还仍然较低,需要暴力并行堆FLOPS;对应的,因为SVM/Lasso都有增量算法、分布式算法方案,核心思想在于“世界的真实,模型的本质,都是稀疏的”,锁少量资源,分布式地更新模型系数或者是梯度,这些算法在理论上得到突破后,往往依赖分析型数据库或者大数据平台灵活的并发调度,灵活的行列混合存储模式,这一点是单机、小集群、传统数据库难以企及的;
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14