小白学数据:一篇文章看懂NoSQL数据库
如果你关注大数据科技动向,可能听说过一个叫NoSQL数据库的名词,这可能让人有些云里雾里。其实我们处在一个激动人心的技术更迭时代,以甲骨文为代表的SQL数据库已经称霸了企业市场30年,而近年来的NoSQL则是强有力的更新换代的竞争者。这篇文章就通过问答的方式来给小白解释NoSQL数据库系统是什么,无论你的技术背景如何都能看得懂。对于数据分析从业人员来说,了解数据库的趋势可以让你的职业生涯如虎添翼;而对于工程师来说,了解新的基础系统更是必不可少的行业知识。
几个基本问题
小白问:数据库是什么东西,可以吃吗?
答:……不可以。数据库呢,就是存储数据的地方,就像冰箱是存储食物的地方一样。
小白问:诶?我的数据就存储在自己电脑里面的excel表里里,还要数据库干嘛?
答:自己的数据的确很方便,但是对于企业来说就不一样了。一个公司里面可能有成千上万的Excel表格,还在不同的电脑上,而他们的员工和客户需要实时看到企业给他们提供的所有数据,这种文件管理的方法就很麻烦,总不能每分钟都把一个新的巨大无比的excel文件发给所有客户呀!而且数据库更有用的是进行查询,企业会给内部或者客户开发不同的应用,而这些应用需要数据的时候可以直接实用数据库的查询语句快速得到结果。
小白问:哦,那是说所有的人都直接在这个系统上查数据和改数据吗?
答:是的,数据库也会帮助你处理“并发”,也就是如果多个人同时在改数据的情况。比如你在支付宝给小灰转账,而小灰这个时候又偏偏刚好在给你转账,这时候数据库系统就要保证你们两个人最后余额都是正确的,并且在你们进行交易的时候别人如果同时查询你们俩人的余额都会得到精确的结果。在一个企业系统中,一秒钟可能有成千上万个这样的查询和改动发生呢。
小白问:那SQL又是什么鬼?
答:SQL是一种可以查询关系型数据库的语言,关系型数据库也叫SQL数据库。
所谓关系型数据库就是数据是以表格的形式进行存储的,就和你电脑上的Excel表一样,数据是一行一列整整齐齐的躺着的。表格之间有着这样或那样的关系,可以通过某信息连接在一起 。想查这些表格里的任何数据的程序员们就可以把他们想要的数据形式转化成SQL语句然后发给数据库,得到数据结果。比如你可以有一个食物管理的数据库,里面有两个表(食物表和主人表),长成下面的这个样子:
食物编号食物名称数量 喜爱程度主人编号
1 猕猴桃 4 53
2 菠菜 10 2 2
3巧克力 99 1001
主人编号主人姓名 主人性别
1小白 女
2小黑 男
3小灰 男
我们可以写一句简单的SQL语句直接调出所有男主人拥有的食品及数量。
SELECT 主人姓名,食物名称,数量
FROM 食物表,主人表
WHERE 食物表.主人编号=主人表.主人编号 AND 主人性别=‘男’
=>
主人姓名食物名称数量
小黑菠菜10
小灰猕猴桃 4
深入聊聊
小白问:哦,那NoSQL到底有什么过人之处呢?
答:因为近年来企业要处理的数据越来越多,越来越复杂,就出现了两个之前关系型数据库解决不了的问题:快速增长的数据规模和日渐复杂的数据模型。
第一个问题就是数据越来越多,公司以前买的装关系型数据库的那台电脑放不下了,那这个时候就有两种选择:
一种就是直接去买一台更大空间的计算机取代现有的机器。这个方法是有限制的,因为这种机器的价格一般非常昂贵,而且这个空间总是有一个上限的。
另外一种选择就是再买一台机器,然后把新的数据放到新机器里的另外一个SQL数据库里面,这个过程也叫“分片”(sharding)。 这个时候程序员要开始杯具的加班了。因为这个转换的过程非常容易出问题,而且会给使用数据库的应用增加很多的复杂度。比如我们之前的例子,在查询食品和数量的语句的时候我们要将同样的语句同时发给两个服务器,然后把最后的结果综合起来,给应用的开发增加了很多不必要的负担。分片还有很多别的缺点我就不一一赘述了。
而NoSQL数据库的服务器本身就支持很多个机器存储数据进行分布式查询,这样当空间不够用的时候就直接去扛一台新的机器回来连接到已有的计算机集群上装好数据库即可,程序员可以回家睡个好觉啦。
小白问:明白了,那另外一个关系型数据库没有解决的问题呢?
答:另外的一个问题就是把数据放到SQL数据之前要进行数据建模,也就是要考虑好每一个表里面每一列都代表什么,不同的表格之间要怎样相互关联起来。这对很多公司来说是一件非常耗费时间和精力的事情,因为他们的数据源的种类太多了。而且在数据进入数据库之后,如果在表中增加新的一列(比如想把食物的种类加进第一个表中)或者是要改变某一列的特性的话,对于系统来说是非常困难的,因为表中的数据已经一行行的存好了。
而NoSQL数据库就减轻了数据建模的负担,比如上面的表里面的一行可以变成下面JSON文档的样子:
{
食物名称:猕猴桃,
数量:4,
喜爱程度:5,
主人:{
姓名:小灰,
性别:男
}
}
这样很方便的可以修改数据模型的样子,而且从源数据不需要怎么改就可以放入数据库。目前用有一个行业叫做ETL,就是专门做数据形状转化的:他们将不同的源数据打磨到想要的表格的模子里,然后放入关系型数据库。这个行业价值好几十亿美元呢,很疯狂吧?用了NoSQL,公司可以节省好多时间和人民币呢。
答:NoSQL其实有很多不同的种类的,适用在不同的情况中并且分别有不同的存储方法。JSON是文档类NoSQL的典型格式,我们平时使用的word和pdf文件都可以很容易放入文档型数据库进行查询。而其他种类的NoSQL也可能是用图或者哈希表的模型来存储数据。如果你的数据存储的是一个社交网络类型的应用,那么对你来说用一个基于图的数据库可能更加合适,因为你关心的社交网络场景中的问题都可以得到比较快速的回答。
答:哪有,NoSql其实是Not Only SQL,就是不仅仅是SQL,有一些NoSQL数据库还支持直接用SQL来做查询呢。两者的区别主要是我上面提到的两点: 1.对数据建模的要求不同:NoSQL的建模程序比较简单灵活;2.对数据增加的处理方式不同:使用NoSQL可以直接进行分布式处理。在数据规模增长需要增加新的机器的时候,不需要程序员对使用数据库的应用进行代码进行改动,直接在数据库集群中增加一台新的计算机就可以啦。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14