大数据带来的弊病?近因效应
世界上90%的数据都是过去几年里产生的,你可能已经熟知这个统计了。这是真的。我能找到的关于这个表述的最早的陈述之一可以追溯到2013年五月,但这个趋势一直显著地持续着。确实,过去三个世纪以来每两年世界上数据的总量便会提高到十倍——这个比率甚至使得发现处理器性能加倍的摩尔定律都相形见绌。
这样一个信息增长比率所带来的问题之一是现在这个时刻的数据总是比才过去不久的要出现得大得多。想想一下回顾一本描绘你人生前八年的一本相册,从出生到成年。假设你有你人生头两年的两张照片。假定在匹配现在这样一个信息增长比率下,你将会拥有印象深刻的2000张六岁到八岁的照片;20万张十岁到十二岁的;以及惊人的两亿张十六岁到十八岁的照片。也就是说在最后两年里每一秒种便会有不只三张照片产生。
“当你想寻求更长远的视角而开始回顾过去时,你会发现现在的东西太多而过去的东西又太少。”
当然,这并不是全球数据的一个完美的类比。一开始,世界上许多数据的增长都是因为更多的人参与创造出了更多的信息资源以及更庞大更细致的格式。但是关于均衡性的观点是有根据的。如果你打算回顾像上面一样的记录的话或者尝试着分析它,你将发觉离现在越近的东西越会变得毫无意义。记录这么多次有用的信息却更少,为什么会这样呢?
这就是现今如此多大数据被收集与分析所带来的问题。当你想寻求更长远的视角而开始回顾过去时,你会发现现在的东西太多而过去的东西又太少。目光短浅深深地植入在高估以历史为代价的短期趋势的强大的结构倾向中。
大数据所带来的问题之一是现在这个时刻的数据总是比才过去不久的要出现得大得多。(来源:iStock)
为了理解这个的重要性,思考一下社会科学关于近因效应的发现,它描述了人们假设未来的事件将类似于最近的经历的倾向。这也是我们熟知的“可具有性”启发式的另一种说法:依据任何最容易想到的东西进行思考的倾向。这也是一种普遍的心理属性。如果在过去的几年里在你住的地方你已经见证了异常寒冷的夏天,比如,你可能被引导着说出夏天越来越冷了——或者你们当地的气候可能在变冷。实际上你不应该把你读到的任何东西读入数据。你需要运用更长远的眼光去了解关于气候变化趋势的有意义的东西。在短期内,你最好不要随意推测——但我们中有谁能够真的做到呢?
“短期的分析不只是无效的——它们经常是无用的甚至误导人的”
现实生活中多数复杂现象经常也是这样的:如股票市场、经济、公司兴衰、战阵与和平、人际关系以及王朝更迭。短期的分析不单单是无效的——它们经常是无用甚至误导人的。瞧瞧众多经济学家排着队宣布像2009年金融危机这样的事件是不可能发生的,直到它真的发生了。在那种程度上可以做到有效预测的那种概念本身就是问题的一部分。
值得一提的是在决定数据去留时新奇经常是主要的考虑因素。推陈出新:在这个数字趋势的世界上,搜索算法本质上偏向于新鲜事物,所谓的超链停用从最高法院决定到整个社会媒体服务业等各方面十分猖獗。对于当下的偏向从结构上在我们周边的所有科技中已经根深蒂固,尤其要归因于我们大约五年后丢弃我们大多数一度繁荣的机器的喜好。
该怎么做?这不只是一个更擅长保存旧数据的问题——尽管这不能说是个坏主意,考虑到我们对现在于过去的几十年而不是过去几年的保存多无能为力。更重要的是,决定哪些数据是在第一时间值得保存的——并且以知识的名义有意义地剔除信息意味着什么。
我们需要更擅长于决定哪些数据值得在第一时间保存的。
我们需要的是一种我喜欢称为“选择性遗忘”的能力:训练我们的工具更擅长于放下刚刚过去的东西以保持眼光上的连续性。这是一种类似治疗的方式助我们合理安排相册——尽管需要更多的数学。什么情况下两百万张照片不如两千张有价值呢?当样本比较多涉及领域却比较少的时候;当可以提出的问题不那么重要的时候;当提供的细节的级别只是逐步灌输怀疑和只有盲目的自信的时候。
有许多的数据集是不能复原的,当完成的时候价值是极大的:基因序列;人口数据;地理和物理学的困难知识。然而,若科学越不严谨,规模就越可能与质量成反比—更重要的是时间本身就是一个过滤器。我们要么仔细选择忍受什么,有哪些是重要的,还有要带着有意义的心态去捕捉我们后退的过去,要么它的印记被现在不断增加的噪音所替代。
时间的削弱是有多方面的,因为在它仍然是一个限制因素里面有一个至关重要的意义:人的时间和注意力的可用性。企业,个人和政府都有相当多的信息,与他们几年前相比。然而,在白天的日子里他们没有任何可用的关注,董事会成员,首席执行官,民选官员或者几个小时的时间。越来越好的工具的存在帮助决策者对他们所拥有的信息提出有意义的问题-制造者对他们拥有的信息提出有意义的问题-但你只能分析可企及的问题。单纯地积累不是一种答案。在一个越来越大的数据时代,你选择不知道的事情和你所做的一样重要。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14