MySQL管理之道：性能调优、高可用与监控

　　51CTO技术博客之星、资深MySQL技术专家多年工作经验结晶，指导MySQL DBA进阶修炼的最佳实践之作。

　　包含大量来自实际生产环境的经典案例，为各种疑难问题提供了解决方法，从性能优化、高可用与监控角度帮助读者把握实践技巧。

MySQL管理之道：性能调优、高可用与监控

前言
第一部分　MySQL5.5新特性篇
第1章　MySQL5.5介绍
1.1　性能上的显著改变
1.2　安全性、稳定性的显著改变
1.3　动态更改系统配置参数
1.4　InnoDB新参数汇总
1.5　同步复制新参数汇总
1.6　SQL语句写法的改变
1.7　MySQL5.1升级为MySQL5.5
1.8　性能测试：MySQL5.5与MySQL5.1
第2章　半同步复制
2.1　半同步复制简介
2.2　半同步复制安装配置
2.3　参数说明
2.4　功能测试
2.5　性能测试
2.6　小结
第二部分　故障诊断与性能优化篇
第3章　故障诊断
3.1　影响MySQL性能的因素
3.2　系统性能评估标准
3.3　故障与处理
第4章　同步复制报错故障处理
4.1　最常见的3种故障
4.2　特殊情况：slave的中继日志relay-log损坏
4.3　人为失误
4.4　避免在master上执行大事务
4.5　slave_exec_mode参数可自动处理同步复制错误
4.6　如何验证主从数据一致
4.7　binlog_ignore_db引起的同步复制故障
4.8　MySQL5.5.19/20同步一个Bug
4.9　恢复slave从机上的某几张表的简要方法
4.10　如何干净地清除slave同步信息
第5章　性能调优
5.1　表设计
5.2　字段类型的选取
5.3　采用合适的锁机制
5.4　选择合适的事务隔离级别
5.5　SQL优化与合理利用索引
5.6　my.cnf配置文件调优
5.7　MySQL5.6同步复制新特性详解
第6章　备份与恢复
6.1　冷备份
6.2　逻辑备份
6.3　热备份与恢复
第三部分　高可用集群管理篇
第7章　目前流行的4种高可用架构
7.1　采用MySQL自带的Replication架构
7.2　Heartbeat+DRBD+MySQL架构的搭建演示
7.3　红帽RHCS共享存储架构的搭建演示
7.4　MySQL高可用集群HA解决方案的测试评估
第8章　批量管理服务器
8.1　开源工具pssh的使用方法
8.2　自己编写的SSH服务器批量管理工具
第四部分　监控篇
第9章　性能监控
第10章　服务监控
10.1　Nagios搭建与维护
10.2　MySQL数据库的监控脚本
第五部分　项目案例
第11章　项目案例讲解
11.1　数据碎片整理方案
11.2　用户信息表水平拆表方案
11.3　阿里巴巴中间件Cobar水平拆表方案

　　前言
　　为什么要写这本书
　　很久以前，我就梦想着自己有一天能写一本书出来，但始终未能成行，直到今天，我终于鼓足勇气着手写作，把多年工作的积累毫无保留地写出来，展现给大家，这不仅对他人的技术成长会有些许帮助，同时对自己来说，也是一个重新学习的过程，何乐而不为？
　　2010年我有幸加入了梦寐以求的飞信公司，并以此正式开始了我的MySQL职业生涯。工作中能实际接触到海量数据、大并发是我在该领域发展的很重要的因素，工作的驱使和个人的兴趣成为我每天坚持学习MySQL的源动力。对于MySQL，目前业内用得最多的是MySQL5.1.X版本，事实上，MySQL5.5已经推出两年多了，其性能方面有了显著的提升，但市面上介绍MySQL该版本的图书还寥寥无几，大家都是通过阅读英文手册去获取新的知识，因此我决定基于这个版本来写作，把自己学到的新东西做一个系统性的总结。
　　读者对象
　　本书是一本面向应用的数据库类书籍，是日常工作中的积累。本书主要面向使用MySQL InnoDB存储引擎作为数据库后端的运维人员和DBA。书中的大部分例子都是生产环境的实战，相信会对读者今后的工作有所帮助。
　　要想更好地学习本书的内容，要求具备以下条件：
　　❑有一定的SQL基础。
　　❑掌握基本的MySQL操作和Linux操作，以及数据库基本原理。
　　❑接触过Shell脚本语言。
　　如何阅读本书
　　本书从知识结构上分为五大部分：
　　第一部分（第1～2章）详细介绍了MySQL5.5的新特性、注意事项、安装和升级方法，以及半同步复制的日常管理维护，并针对MySQL5.5与MySQL5.1进行了性能测试和功能测试。
　　第二部分（第3～6章）为故障诊断与优化，内容为生产环境下MySQL故障处理以及性能调优，包括表设计阶段范式的理解、字段类型的选取、采用表锁还是行锁、MySQL默认的隔离级别与传统SQL Server以及Oracle数据库默认的隔离级别的区别、SQL语句的优化以及合理利用索引等，然后讲解了my.cnf配置文件的优化、如何定期整理数据库碎片，最后介绍了硬件的优化、内存对InnoDB引擎所起的决定性作用，以及MySQL5.6的新特性等内容。
　　第三部分（第7～8章）为高可用软件的搭建与维护，包括企业级高可用集群RHCS、Heartbeat+DRBD和Keepalived+MySQL Replication一主一从模式的搭建与维护，故障切换脚本、MySQL+MMM读写分离架构搭建与维护，以及批量管理上百台MySQL服务器等内容。
　　第四部分（第9～10章）为主流监控软件的搭建与维护，包括监控软件Cacti和Nagios的安装与使用，以及线上MySQL服务器的监控脚本等内容。
　　第五部分（第11章）为项目案例讲解，内容包括生产环境数据库碎片整理方案、用户信息表水平拆表方案、阿里巴巴中间件Cobar水平拆表方案。
　　每个部分可以单独作为一本迷你书阅读，如果你未接触过MySQL5.5，建议从第一部分开始阅读。
　　勘误和支持
　　由于作者的水平有限，编写的时间也很仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。你可以将书中的错误发到我的邮箱chunyang_he@sohu.com，我将尽量提供最满意的解答。如果你有更多的宝贵意见，也欢迎你发送邮件至我的邮箱，很期待能够听到你们的真挚反馈。
　　致谢
　　在飞信3年多的时间里，我得到了很多帮助。在这里感谢任志修经理对我的信任，让我始终挑战运维一线，使我得到了成长；感谢我的同事周海平（www.MySQLpub.com）鼓励我，让我把知识展现出去；还要感谢我的同事吴炳锡把我介绍到了飞信，而且在工作中给了我很多鼓励。没有你们的帮助，这本书是完成不了的。
　　同时感谢我的朋友邱治军参与监控部分的编写；感谢51CTO博客总编曹亚莉、博客管理员张丽妍多次邀请我参加51CTO举办的数据库大会，拓展了我的知识视野；感谢51CTO博客管理员高阳帮我处理图片；感谢前同事李才荣提供Linux批量管理的工具（Python）；感谢前同事李冉（乐蜂网高级DBA）提供事件调度器故障切换后的注意事项；另外，还要感谢给我提建议的一些朋友，谢谢你们。
　　感谢机械工业出版社华章公司的编辑杨绣国，感谢你的魄力和远见，在这一年多的时间中始终支持我的写作，你的鼓励和帮助引导我顺利完成全部书稿。
　　谨以此书献给我最亲爱的家人，以及众多热爱MySQL的朋友们。
　　贺春旸
　　2013年8月于北京

　　MySQL是一个中小型的关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle公司。由于它具有性能高、成本低、可靠性好等特点，近几年已经成为最流行的开源数据库，被广泛地应用在Internet上的中小型网站中。而且，随着MySQL的不断成熟，现在它也逐渐用于更多大规模的网站和应用了，比如，维基百科、Google和Facebook等。非常流行的开源软件组合"LAMP"中的"M"指的就是MySQL。
　　这几年，MySQL的版本在不断变更，可以说是有了翻天覆地的变化，在之前的4.0版本中，没有存储过程、触发器、函数、事件，对CPU多核的支持也不好，在经历了5.0和5.1两个过渡版本后，到5.5版，其性能和功能上已经得到了很大的改善，主要体现在CPU多核处理上有了很大提高，宕机恢复时间减少，可快速创建索引，并具有半同步复制功能等方面，目前这个版本很稳定。2013年春节，5.6版本已经出了GA版，但这里不推荐直接将其用于生产环境中，因为该版本还有许多未知Bug在修复，建议1年后再开始应用，不要充当小白鼠，本书中也只会针对该版部分功能上的新特性进行介绍。
　　本章主要讲解的是MySQL5.5和InnoDB的一些增强性能，这些增强性能极大地提高了系统和MySQL的性能。下面将详细介绍每一个关键的增强性能及其实现过程。
　　为了不误导读者，保证全文的准确性，下面的内容会结合MySQL5.5官方手册《14.4.New Features of InnoDB1.1》来讲解，帮助大家认识MySQL5.5中一些较为重要的改变，其中也许会有疏漏的地方，不到之处请大家访问//dev.MySQL.com/doc/refman/5.5/en/innodb-5-5.html，参考相关的英文文档。
　　在MySQL5.1.X之前的版本中，默认的存储引擎是MyISAM，每个MyISAM在磁盘上会将数据存储成三个文件。第一个文件是表结构文件，它的名字以表的名字开始，其扩展名会指出文件类型，为.frm文件存储表定义；第二个文件是数据文件，其扩展名为.MYD(MYData)；第三个文件是索引文件，其扩展名是.MYI(MYIndex)。
　　MyISAM存储引擎的特点是表级锁、不支持事务和全文索引，适合一些CMS内容管理系统作为后台数据库使用，但是在大并发、重负荷生产系统上，表锁的特性显得有些力不从心，并且如果系统出现宕机、MySQLd进程崩溃，MyISAM引擎表很容易受到损坏，这时不得不用外部命令MyISAMchk去修复它。
　　从MySQL5.5.X开始，默认的存储引擎变更为InnoDB Plugin引擎。
　　InnoDB给MySQL提供了具有提交、回滚和崩溃恢复能力的事务安全（ACID兼容）存储引擎。InnoDB锁定在行级，并且也在SELECT语句提供一个与Oracle风格一致的非锁定读。这些特色增加了多用户部署和性能。之所以没有在InnoDB中扩大锁定的需要，是因为InnoDB中的行级锁定适合非常小的空间。InnoDB也支持FOREIGN KEY（外键）。在SQL查询中，你可以自由地将InnoDB类型的表与其他MySQL表的类型混合起来，甚至在同一个查询中也可以混合。