在大型互联网场景中,数据库的高可用性显得尤为重要,为了保证稳定性,一般需要采用强化的架构模式,以保证数据层能够提供持续有效的稳定支撑。
2 高可用架构的基本演进过程2.1 基本的数据库架构每个服务对应一个存储服务实例(基本是数据库单实例模式),使用 IP+Port 进行连接和调用,这就是大家常见的数据库直连。用户计算服务(svc) 配置IP+端口指向数据库实例地址,进行访问和操作。
(资料图片)
互联网场景下,理论上访问量和数据量都是不断膨胀的过程。随着数据量的增大,数据库一般要进行纵向(Scale Up)和 横向(Scale Out) 的拆分,分库分表之后可能会将数据拆分到不同的数据库实例,甚至不同的IDC上,这样可以 降低数据量,提高执行性能的目的。详细参考笔者这篇《MySQL全面瓦解28:分库分表》。
如上图,库表拆分之后,使用不同的条件可以路由到不同的IP,这样来实现业务上的数据隔离,这种条件可以是用户的角色,业务的类别,甚至直接对数据取模或者hash,只要确保链接到对应的数据库上即可。这边举个例子:(value % 2 == 0) = condition1,(value % 2 == 1) = condition2。
2.3 主从或主主 + Keepalived 架构以上只是解决了数据库大容量的问题,将数据库的风险降低,性能提升。并没有实质的解决可用性问题,如果其中一个数据库实例出现故障,依然会造成大面积的不可用。在互联网架构中,比较常见的一种方式就是,使用 双主或者主从同步 + keepalived + vip的模式来保证存储层的好可用性:如上图,两个库(主主或者主从)使用相同的虚拟IP,当主库挂掉的时候,虚ip自动转移到另一个主库(或者转移到从库上,并将从库切为主库),这个切换过程对业务应该是透明无感的,也不会造成使用上的异常,以此保证数据库的高可用性。
2.4 分片分库模式下的高可用性可以继续从2.3演化出分片分库模式下的高可用架构,如下:如果数据库继续膨胀,流量继续扩展,还可以继续扩容,找到最恰当的分片模式。
2.5 其他常见的高可用模式2.5.1 MHAMHA(Master High Avaliable) 是一款 MySQL 开源高可用程序,MHA 在监测到主实例无响应后,会自动将同步最靠前(即数据偏移量最少)的 Slave 提升为 Master,然后其他所有的 Slave 重新指向新 Master。架构模式如下:
2.5.2 PXCPXC(Percona XtraDB Cluster)是一种开源的 MySQL 高可用解决方案。它将 Percona Server、Percona XtraBackup 与 Galera 库集成在一起,以实现多主复制的 MySQL 集群。缺点是只支持InnoDB引擎模式,且多主数据同步必然会有性能损耗、同步延迟和数据差异风险。另外,这种多主同步模式具有典型的木桶效应,系统的吞吐被最差的节点左右。架构如下:
2.5.3 MGR/InnoDB ClusterMySQL 5.7 退出了高可用的的模式 MGR(MySQL Group Replication),他具备了多节点数据写入和强一致性的特点,这一点跟与 PXC 相似。同时采用Group Communication System(GCS协议)进行数据同步来保证消息的原子性。MGC需要使用到InnoDB Cluster模式,才能实现真正的高可用,高可用架构图参考下面:备注:图片来自官网,就不再画了。
2.6 高可用模式下的平滑扩容互联网大流量场景下我们经常会发现存储层容易出现瓶颈,这个时候就需要扩容。相对于停服扩容来说,无损、透明、平滑的数据库扩容才是我们实际追求的目标。步骤如下:
增加数据库分片3,进行数据架构初始化和数据同步增加数据库主从配置,将2个库的数据库配置,改为3个库的数据库配置,并注意旧库与新库的映射关系。服务层 reload(重新加载)配置,完成扩容工作。删除分片之后的冗余数据,必要的话进行数据库缩容。服务层根据条件映射到不同的数据库实例中。3 总结数据库存储层实现可用性有很多种办法。除了最基本的 主从/主主 + Keepalived 架构 之外,还有 MHA 、 PXC 、MGR/InnoDB Cluster 等,后面我们一一拆解。实现高可用,意味着后续的迁移、扩容、业务调整,都应该是可以平滑的,对业务无感的。
关键词:
数据库系列:数据库高可用及无损扩容 1背景在大型互联网场景中,数据库的高可用性显得尤为重要,为了保证稳定性,一般需要采用强化的架构模式,
今日快讯:鸡肉的做法 家常_鸡肉的做法家常做法 1、简单美味的微波菜:苹果鸡准备材料:土鸡半只葱白少许苹果一个八角一粒姜少许柠檬半个。2、2、苹果去皮
全球简讯:环球即时看!苏轼水调歌头明月几时有全诗赏析_苏轼水调歌头明月几时有原... 1、《水调歌头明月几时有》原件(相关资料图)(相关资料图)2、陈冰中秋节,高高兴兴地喝到第二天早上,醉了,
全球报道:阿弥陀佛四十八愿之顺从本愿 上净下界法师2007年启讲于义德寺你相信三件事情而生起三种的决定心:第一个,“彼阿弥陀佛有四十八愿摄受众
观察:“夜经济”催生中国消费新“夜”态 新华社记者宋瑞下班后,不少职场年轻人在咖啡摊、茶点铺、“办公零食区”解锁美味,再领取一份“职场解压指
乐健康 | 肥胖、消瘦儿童如何喂养?培养安全型依恋关系,从出生做起!|每日速递 原标题:乐健康|肥胖、消瘦儿童如何喂养?培养安全型依恋关系,从出生做起!工人日报-中工网记者姬薇
数据库系列:数据库高可用及无损扩容 1背景在大型互联网场景中,数据库的高可用性显得尤为重要,为了保证稳定性,一般需要采用强化的架构模式,
全球热点!休闲食品行业市场需求分析 休闲食品行业并购重组机会研究 休闲食品作为食物的一种,与人们的健康息息相关,没有品牌背书的产品人们一般不会选择购买;品牌再响,走量
全球即时看!西瓜种植行业现状趋势及未来发展态势分析 清爽可口的西瓜是夏季标配。今年夏季,小西瓜格外受到老百姓的青睐。由于适合一两人的小家庭食用,也更便于
中国智慧安防行业发展前景与应用领域 中国智慧安防行业应用和发展数据挖掘和数据分析等大数据技术带来更多有用价值的同时,黑客也在利用这些大数
2023年健康食品产业市场需求分析 健康食品产业发展前景展望 微头条 健康食品主要分为三类,即谷类食品、果干和其他健康食品。谷类食品通常指未经加工的谷类食品,或利用经加工
再生纸包装行业发展调研 2023再生纸包装市场发展趋势 每日报道 一、再生纸包装行业概况再生纸是一种以废纸为原料,经过分选、净化、打浆、抄造等十几道工序生产出来的纸张
天天速递!主力复盘:超2亿封板 创维数字2天2涨停 今日(6月2日)大盘全天高开高走延续反弹,深成指领涨,两市超3200只个股上涨,成交金额9406亿,较上个交易日
全球消息!财政系统组织申报2023年第二批专项债项目:13领域可用专项债作资本金 【财政系统组织申报2023年第二批专项债项目:13领域可用专项债作资本金】从多位地方财政人士了解到,近期财
环球关注:深圳礼品展年礼包装设计大赛,重塑年礼包装设计行业新生态 为碰撞出更多新生意、新火花,打通设计-商品-市场,助力好设计落地并实现资源链接,深圳礼品展与设计创意生
盈米基金:资管机构只有真正让产品赚钱、让投资者赚钱才能获益_天天快资讯 证券时报券中社讯,近日盈米基金在接受证券时报记者采访时表示,在经历了过去几年疫情和市场震荡后,现阶段
宝通科技:拟不超6.3亿元设立泰国子公司-最新 【宝通科技:拟不超6 3亿元设立泰国子公司】宝通科技(300031)6月2日晚间公告,公司积极进行海外布局,拟投
首华燃气:累计回购397.75万股 占比1.48% 焦点热门 首华燃气(SZ300483,收盘价:12 42元)6月2日晚间发布公告称,截至2023年5月31日,公司通过股份回购专用证
长城汽车旗下魏牌新摩卡混合动力新能源车上市 长城汽车旗下魏牌新摩卡DHT-PHEV混合动力新能源汽车日前上市。新车提供两驱长续航版车型,官方售价23 18万
全球快消息!注意!中孚信息:魏冬青计划减持不超过60万股 中孚信息(SZ300659,收盘价:24 22元)6月2日晚间发布公告称,中孚信息股份有限公司股东魏冬青先生系公司
华西股份:GTI主营业务为人工智能卷积神经芯片的设计与开发,目前暂未量产-焦点 每经AI快讯,有投资者在投资者互动平台提问:参股子公司GTI研发的芯片是否用于脑机接口。华西股份(000936
福建生态环境续“优” 森林覆盖率保持全国首位 中新网福州6月2日电(郑江洛)福建省生态环境厅厅长许碧瑞2日于福州表示,2022年全省水、大气、生态环境质量
今日快讯:鸡肉的做法 家常_鸡肉的做法家常做法 1、简单美味的微波菜:苹果鸡准备材料:土鸡半只葱白少许苹果一个八角一粒姜少许柠檬半个。2、2、苹果去皮
日本大阪市一建筑发生火灾 13人受伤|环球快资讯 据日本广播协会(NHK)报道,当地时间6月2日13时左右,日本大阪市北区一栋六层楼房发生火灾,造成13人受伤
医保卡预约开户是什么?医保卡能给父母看病吗? 医保卡预约开户是什么?预开户就是说你的社保卡还没有开户成功。个人社会保障号码为公民的身份号码。领取新的社保卡;办理换卡手续7个工作日
当前报道:从拜卡公司这部纪录片管窥土耳其无人机产业的”伟大理想“ 5月中旬,土耳其无人机公司拜卡技术(BaykarTechnologies)发布了时长近一小时的专题纪录片《目标KIZILELMA
快看点丨2023年建筑安装行业市场深度分析及发展规划研究 一、建筑安装行业概述建筑安装行业是建筑业的一个细分行业,其包括电气安装、管道和设备安装和其他建筑安装
世界快讯:2023年建筑钢行业发展分析 建筑钢市场投资前景分析 随着近期房地产被国家重申为“国民经济的支柱产业”,业内对建筑钢材市场形势的探讨越来越热烈。特别是在房
天天看点:2023光热发电规模化发展与项目建设分析 太阳能光热发电是新能源利用的一个重要方向。主要形式有槽式、塔式,碟式(盘式)三种系统。光热发电最大的优
头部企业启动物流升级计划 全国重点经济圈物流升级提速_焦点要闻 头部企业启动物流升级计划2023年第一季度快递服务全程时限为60 48小时,同比缩短4 09小时。72小时准时率为7
2023年贵金属材料行业供需分析 贵金属材料行业发展机遇 贵金属作为一种全球硬通货,具有保值和避险的属性,投资和商品需求一直保持着稳定的增长,贵金属行业具有广
天天观速讯丨6月2日涨停复盘:*ST新联10连板 焦点科技涨停 【6月2日涨停复盘:*ST新联10连板焦点科技涨停】涨停家数方面,今日合计有71股涨停,上个交易日52股涨停。
环球看点!证监会同意氧化铝期货注册 【证监会同意氧化铝期货注册】近日,证监会同意上海期货交易所氧化铝期货注册。下一步,证监会将督促上海期
当前观点:赛力斯发布最新销量 新能源汽车5月环比增23.78% 记者日前从赛力斯获悉,公司于昨日发布了最新产销快报,据统计,赛力斯新能源汽车5月销量达8562辆,环比增
恒而达:截至本公告日 公司第一期员工持股计划证券交易专用账户已开立-快报 恒而达(SZ300946,收盘价:32 22元)6月2日晚间发布关于第一期员工持股计划实施进展的公告。公告称,截至
国家版权局公布2023年度第七批重点作品版权保护预警名单|焦点信息 据国家版权局消息,按照国家版权局《关于开展院线电影版权保护专项工作的通知》《关于进一步加强互联网传播
恒而达:截至本公告日 公司第一期员工持股计划证券交易专用账户已开立-快报 恒而达(SZ300946,收盘价:32 22...
国家版权局公布2023年度第七批重点作品版权保护预警名单|焦点信息 据国家版权局消息,按照国家版权局...
博敏电子:第三大股东拟减持不超565.34万股公司股份 博敏电子6月2日公告,公司第三大股...
全球快报:康惠制药:控股股东拟减持不超3%公司股份 康惠制药6月2日公告,公司控股股东...
怎样保存大米一年不坏?真空大米放了3—4年还能吃么? 怎样保存大米一年不坏?1、用锅煮花...
最新消息:河北省40幅摄影作品参加第三十四届华北摄影艺术展览 近日,第三十四届中国华北摄影艺术...
获奖名单公布!第十三届中国艺术节在河北雄安新区落下帷幕 9月15日晚,第十三届中国艺术节在...
2022北京时装周9月15日至22日将在线上线下举办多场活动 一年一度的北京时装盛典即将拉开帷...