MySQL高可用实战：36小时从崩溃到稳如磐石

　　去年二月，凌晨三点十七分，我蹲在IDC二楼机房门口啃冷掉的葱油饼，油渣卡在齿缝里。老齐——就是背需求多年那个产品老齐——坐我左手边第三张折叠椅上，正用指甲抠手机壳裂缝，一下、两下、三下。他刚挂掉老板电话，没说话，只把屏幕朝我晃了半秒：钉钉弹窗写着“先稳住，明天早会过节奏”，时间戳是03:14。

　　MySQL高可用实战：36小时从崩溃到稳如磐石？呵。我们当时主库裂开那会儿，备库还在刷relay-log，binlog_format设的是STATEMENT，而上游业务在批量insert… select，还带子查询嵌套。没人记得改，也没人敢动。我原以为切流能扛二十分钟，结果七分十八秒后监控报警直接撕了静默策略——不是告警漏了，是alertmanager进程被OOM干掉了，日志里只留下一行：killed process 2841 (prometheus)。这事儿我敢打包票，因为那台宿主机的dmesg我手抄过三遍。

　　雨是从半夜一点开始下的。不是毛毛雨，是南方那种沉甸甸砸在彩钢板顶上的闷响，咚、咚、咚，像有人拿橡胶锤敲你太阳穴。机柜上方通风口滴水，滴滴答答落进UPS电池柜右下角那个塑料盆里——上周巡检说换，没人换。陈工蹲那儿接了四次水，第五次他起身时裤脚沾了灰绿色霉斑，鞋底碾过一滩积水，溅起来的水珠打在我脚背上，凉得我缩了一下。

　　真正要命的不是failover失败，是failover之后的那轮读写分离自动降级。ProxySQL配置了weight=100/50/0三档，但有个case没测：当只读节点全部失联时，它不报错，也不回退，就真的…把所有select全发给了主库。我们看到TPS飙升那一瞬，运维老李正往嘴里塞第二块红糖糍粑，嚼了三下，含糊着说：“这个我说不准，maybe是连接池缓存没清？”然后他接了个电话，讲了十七秒，挂断后盯着监控墙，突然说：“哦，是我删了configmap里那个注释行。”——就删了#disable_readonly_fallback这一行，前面加了#号的，他顺手去了。删完五秒，集群自愈逻辑就判定了“存在健康只读实例”。

文章配图，仅供参考

　　还有个细节，可能你们也遇过：某个微服务pod里，HikariCP配置文件被GitOps同步覆盖了两次，第一次覆盖时没生效（ConfigMap hash没变），第二次生效了（hash变了），但中间间隔了十一分钟。这十一分钟里，pod自己缓存的连接池参数既不是旧版也不是新版，是个混搭态——maxLifetime设成1800，leakDetectionThreshold却还是默认值0。开发老周凌晨两点上线补丁包时骂了一句“这SDK怎么连异常都不抛”，就点了部署。十分钟后我们才发现，他骂的不是SDK，是旁边实习生递来的咖啡太烫，泼在他键盘F7键上，导致他误按了快捷键。这事跟MySQL高可用没关系，但我记得太清了：F7键帽被烫得翘边，露出底下铜片，反光刚好刺进他左眼。

　　优胜劣汰？对。但不是架构图里画的那套。是我们三个人挤在KVM控制台前抢同一块机械键盘的时候，老齐突然把椅子往后一撤，踩翻了垃圾桶，里面半盒没拆封的润喉糖滚出来，有一颗卡进了他运动鞋网眼。小杨伸手去捡，指甲盖蹭破了膝盖。那一刻没人提CAP，没人讲Raft投票，我们就盯着那个卡在网眼里、裹着薄层白糖霜的润喉糖——它卡得死紧，拔不出来，但整个过程居然没让键盘输入中断一毫秒。这就是优胜劣汰。不是设计出来的，是磕出来的。

　　所以现在我看见任何团队拿“36小时攻坚”做复盘PPT标题，我就问一句：当时有没有人吃冷掉的葱油饼？有没有人抠手机壳？有没有人在暴雨里蹲着接漏水？没有这些，谈什么稳如磐石。都是纸糊的。

　　下周二我约了云厂商聊他们新推的“免运维高可用MySQL托管”，我打算带着那张折叠椅去。要是对方PPT里出现“毫秒级切换”这个词，我就打开外卖APP翻出去年二月那单记录——订单备注写着“葱油饼多放葱，别加热，冷的就行”。让算法看看，冷饼和热饼，到底哪个更接近真实延迟。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!