博客
关于我
架构的演变和为什么要使用NoSQL
阅读量:354 次
发布时间:2019-03-04

本文共 1942 字,大约阅读时间需要 6 分钟。

我们通过一步一步的例子来看,如下文章目录

文章目录

1:单机MySQL的美好年代

当一个网站的访问量都不大,使用单个数据库完全可以轻松应付,在这时,更多的都是静态网页,动态交互类型的网站不多

在这里插入图片描述
上述架构下,我们可以知道如下数据存储的瓶颈
1:数据量的总大小,一个机器放不下时
2:数据的索引,一个机器的内存放不下时
3:访问量一个实例不可以承受时

如果满足不了上述,我们要进行架构的演变

2:Memcached(缓存)+MySQL+垂直拆分

随着访问量的上升,几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题,web程序不再仅仅专注在功能上,同时也在追求性能。程字员们开始大量的使用缓存技术来缓解数据库的压力优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力,但是当访问量继续增大的时候,多台web机器通过文件缓存不能共享,大量的小文件缓存也带了了比较高的IO压力。在这个时候,Memcached就 自然的成为一个非常时尚的技术产品。

在这里插入图片描述
由于数据库的写入压力增加,Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负,所以我们继续进行架构演变

3:MySQL主从读写分离

大部分网站开始使用主从复制技术来达到读写分离,以提高读写性能和读库的可扩展性。Mysql的master-slave模式成 为这个时候的网站标配了。

在这里插入图片描述

由于Memcached的高速缓存,MySQL的主从复制,读写分离的基础之上,这时MySQL主库的写压力开始出现瓶颈,而数据量的持续猛增,由于MyISAM使用表锁,在高并发下会出现严重的锁问题,大量的高并发MySQL应用幵始使用InnoDB引擎代替MyISAM.所以我们继续进行架构演变

4:分表分库+水平拆分+MySQL集群

我们幵始流行使用分表分库来缓解写压力和数据增长的扩展问题,这个时候,分表分库成为了一个热门的技术,在这个吋候,MySQL推出了述不太稳定的表分区,这也给技术实力一般的公司带来了希望。虽然MySQL推出了MySQL Cluster集群, 但性能也不能很好満足互朕网的要求,只是在高可靠性上提供了非常大的保证。

在这里插入图片描述

5:MySQL扩展性瓶颈

MySQL数据库也经常存储一 些大文本字段,导致数据库表非常的大,在做数据库恢复的时候就导致非常的慢,不容易快速恢复数据库。比如1000万4KB大小的文本就接近40GB的大小,如果能把这些数据从MySQL省去,MySQL将变得非常的小。 关系数据库很强大,但是它并不能很好的应付所有的应用场景,MySQL的扩展性差(需要复杂的技术来实现),大数据下IO压力大,表结构更改困难,正是当前使用MySQL的开发人员面临的问题

6:今天是什么样子

今天的架构就变成这个样子

在这里插入图片描述

7:为什么使用NoSQL

今天我们第三方平台(如Google)可以很容易访问和抓取数据,用户个人信息,社交网络,地位置,用户生成数据和用户操作日志已经成倍增加,我们如果对这些用户数据进行挖掘,那SQL数据库已经不适合这些应用,NoSQL数据库的发展却也可以进行很好的处理这些大数据在这里插入图片描述

7.1 NoSQL是什么

  • NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,
  • 泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别足超大规模和高井发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的教据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题,包括超大规模敞据的存储。
  • (例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。

7.2 NoSQL数据库的四大分类

  • KV键值数据库:

    典型介绍,美团:redis+tair
    阿里,百度:memcache+redis

  • 文档型数据库:

    分为:
    1:CouchDB
    2:MongoDB
    MongoDB是-一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可护展的高性能数据存储解决方案。
    MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。

  • 列存储数据库:

    分为:
    1:Cassandra,HBase
    2:分布式文件系统

  • 图关系数据库:

    他不是图形的,放的是关系比如:朋友圈社交网络,广告推荐系统。专注于构建关系图谱Neo4J,InfoGrid

7.3NoSQL数据库的四大分类的对比

在这里插入图片描述

转载地址:http://eqqq.baihongyu.com/

你可能感兴趣的文章
NHibernate异常:No persister for的解决办法
查看>>
NIFI1.21.0_Mysql到Mysql增量CDC同步中_日期类型_以及null数据同步处理补充---大数据之Nifi工作笔记0057
查看>>
NIFI1.21.0_NIFI和hadoop蹦了_200G集群磁盘又满了_Jps看不到进程了_Unable to write in /tmp. Aborting----大数据之Nifi工作笔记0052
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增删改数据分发及删除数据实时同步_通过分页解决变更记录过大问题_02----大数据之Nifi工作笔记0054
查看>>
NIFI1.23.2_最新版_性能优化通用_技巧积累_使用NIFI表达式过滤表_随时更新---大数据之Nifi工作笔记0063
查看>>
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_根据binlog实现数据实时delete同步_实际操作04---大数据之Nifi工作笔记0043
查看>>
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置binlog_使用处理器抓取binlog数据_实际操作01---大数据之Nifi工作笔记0040
查看>>
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置数据路由_实现数据插入数据到目标数据库_实际操作03---大数据之Nifi工作笔记0042
查看>>
NIFI从MySql中离线读取数据再导入到MySql中_03_来吧用NIFI实现_数据分页获取功能---大数据之Nifi工作笔记0038
查看>>
NIFI从MySql中离线读取数据再导入到MySql中_无分页功能_02_转换数据_分割数据_提取JSON数据_替换拼接SQL_添加分页---大数据之Nifi工作笔记0037
查看>>
NIFI从PostGresql中离线读取数据再导入到MySql中_带有数据分页获取功能_不带分页不能用_NIFI资料太少了---大数据之Nifi工作笔记0039
查看>>
nifi使用过程-常见问题-以及入门总结---大数据之Nifi工作笔记0012
查看>>
NIFI同步MySql数据_到SqlServer_错误_驱动程序无法通过使用安全套接字层(SSL)加密与SQL Server_Navicat连接SqlServer---大数据之Nifi工作笔记0047
查看>>
Nifi同步过程中报错create_time字段找不到_实际目标表和源表中没有这个字段---大数据之Nifi工作笔记0066
查看>>
NIFI大数据进阶_FlowFile拓扑_对FlowFile内容和属性的修改删除添加_介绍和描述_以及实际操作---大数据之Nifi工作笔记0023
查看>>
NIFI大数据进阶_NIFI的模板和组的使用-介绍和实际操作_创建组_嵌套组_模板创建下载_导入---大数据之Nifi工作笔记0022
查看>>
NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
查看>>
NIFI大数据进阶_NIFI集群知识点_认识NIFI集群以及集群的组成部分---大数据之Nifi工作笔记0014
查看>>
NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
查看>>
NIFI大数据进阶_内嵌ZK模式集群1_搭建过程说明---大数据之Nifi工作笔记0015
查看>>