即日起在codingBlog上分享您的技术经验即可获得积分,积分可兑换现金哦。

58到家数据库30条军规解读

微信 架构师之路 168℃ 0评论

军规适用场景并发量大、数据量大的互联网业务

军规:介绍内容

解读:讲解原因解读比军规更重要

 

一、基础规范

1必须使用InnoDB存储引擎

解读:支持事务、行级锁、并发性能更好、CPU及内存缓存页优化使得资源利用率更高

 

2)必须使用UTF8字符集

解读:万国码,无需转码,无乱码风险,节省空间

 

3)数据表、数据字段必须加入中文注释

解读:N年后谁tm知道这个r1,r2,r3字段是干嘛的

 

4)禁止使用存储过程、视图、触发器、Event

解读:高并发大数据的互联网业务,架构设计思路是“解放数据库CPU,将计算转移到服务层”,并发量大的情况下,这些功能很可能将数据库拖死,业务逻辑放到服务层具备更好的扩展性,能够轻易实现“增机器就加性能”。数据库擅长存储与索引,CPU计算还是上移吧

 

5)禁止存储大文件或者大照片

解读:为何要让数据库做它不擅长的事情?大文件和照片存储在文件系统,数据库里存URI多好

 

二、命名规范

6)只允许使用内网域名,而不是ip连接数据库

 

7)线上环境、开发环境、测试环境数据库内网域名遵循命名规范

业务名称:xxx

线上环境:dj.xxx.db

开发环境:dj.xxx.rdb

测试环境:dj.xxx.tdb

从库在名称后加-s标识,备库在名称后加-ss标识

线上从库:dj.xxx-s.db

线上备库:dj.xxx-sss.db

 

8)库名、表名、字段名:小写,下划线风格,不超过32个字符,必须见名知意,禁止拼音英文混用

 

9)表名t_xxx,非唯一索引名idx_xxx,唯一索引名uniq_xxx

 

三、表设计规范

10)单实例表数目必须小于500

 

11)单表列数目必须小于30

 

12)表必须有主键,例如自增主键

解读:

a)主键递增,数据行写入可以提高插入性能,可以避免page分裂,减少表碎片提升空间和内存的使用

b)主键要选择较短的数据类型, Innodb引擎普通索引都会保存主键的值,较短的数据类型可以有效的减少索引的磁盘空间,提高索引的缓存效率

c 无主键的表删除,在row模式的主从架构,会导致备库夯住

 

13)禁止使用外键,如果有外键完整性约束,需要应用程序控制

解读:外键会导致表与表之间耦合,updatedelete操作都会涉及相关联的表,十分影响sql 的性能,甚至会造成死锁。高并发情况下容易造成数据库性能,大数据高并发业务场景数据库使用以性能优先

 

四、字段设计规范

14)必须把字段定义为NOT NULL并且提供默认值

解读:

anull的列使索引/索引统计/值比较都更加复杂,对MySQL来说更难优化

bnull 这种类型MySQL内部需要进行特殊处理,增加数据库处理记录的复杂性;同等条件下,表中有较多空字段的时候,数据库的处理性能会降低很多

cnull值需要更多的存储空,无论是表还是索引中每行中的null的列都需要额外的空间来标识

d)对null 的处理时候,只能采用is nullis not null,而不能采用=in<<>!=not in这些操作符号。如:where name!=’shenjian’,如果存在namenull值的记录,查询结果就不会包含namenull值的记录

 

15)禁止使用TEXTBLOB类型

解读:会浪费更多的磁盘和内存空间,非必要的大量的大字段查询会淘汰掉热数据,导致内存命中率急剧降低,影响数据库性能

 

16)禁止使用小数存储货币

解读:使用整数吧,小数容易导致钱对不上

 

17)必须使用varchar(20)存储手机号

解读:

a)涉及到区号或者国家代号,可能出现+-()

b)手机号会去做数学运算么?

cvarchar可以支持模糊查询,例如:like“138%”

 

18)禁止使用ENUM,可使用TINYINT代替

解读:

a)增加新的ENUM值要做DDL操作

bENUM的内部实际存储就是整数,你以为自己定义的是字符串?

 

五、索引设计规范

19)单表索引建议控制在5个以内

 

20)单索引字段数不允许超过5

解读:字段超过5个时,实际已经起不到有效过滤数据的作用了

 

21)禁止在更新十分频繁、区分度不高的属性上建立索引

解读:

a)更新会变更B+树,更新频繁的字段建立索引会大大降低数据库性能

b)“性别”这种区分度不大的属性,建立索引是没有什么意义的,不能有效过滤数据,性能与全表扫描类似

 

22)建立组合索引,必须把区分度高的字段放在前面

解读:能够更加有效的过滤数据

 

六、SQL使用规范

23)禁止使用SELECT *,只获取必要的字段,需要显示说明列属性

解读:

a)读取不需要的列会增加CPUIONET消耗

b)不能有效的利用覆盖索引

c)使用SELECT *容易在增加或者删除字段后出现程序BUG

 

24)禁止使用INSERT INTO t_xxx VALUES(xxx),必须显示指定插入的列属性

解读:容易在增加或者删除字段后出现程序BUG

 

25)禁止使用属性隐式转换

解读:SELECT uid FROM t_user WHERE phone=13812345678 会导致全表扫描,而不能命中phone索引,猜猜为什么?(这个线上问题不止出现过一次)

 

26)禁止在WHERE条件的属性上使用函数或者表达式

解读:SELECT uid FROM t_user WHERE from_unixtime(day)>=’2017-02-15′ 会导致全表扫描

正确的写法是:SELECT uid FROM t_user WHERE day>= unix_timestamp(‘2017-02-15 00:00:00’)

 

27)禁止负向查询,以及%开头的模糊查询

解读:

a)负向查询条件:NOT!=<>!<!>NOT INNOT LIKE等,会导致全表扫描

b%开头的模糊查询,会导致全表扫描

 

28)禁止大表使用JOIN查询,禁止大表使用子查询

解读:会产生临时表,消耗较多内存与CPU,极大影响数据库性能

 

29)禁止使用OR条件,必须改为IN查询

解读:旧版本MysqlOR查询是不能命中索引的,即使能命中索引,为何要让数据库耗费更多的CPU帮助实施查询优化呢?

 

30)应用程序必须捕获SQL异常,并有相应处理


总结:大数据量高并发的互联网业务,极大影响数据库性能的都不让用,不让用哟。

==【完】==

自转到58到家,负责过较长一段时间DBA部门,搭建团队,讨论流程,讨论规范,讨论自动化,尝试平台化,故希望沉淀一些东西。


今天先写到这里,希望大伙有收获,帮转哟。

有疑问欢迎留言讨论

转载请注明:CodingBlog » 58到家数据库30条军规解读

喜欢 (0)or分享 (0)
发表我的评论
取消评论

*

表情
(50)个小伙伴在吐槽
  1. 58到家招聘后端开发(java方向),前端fe,测试开发,产品经理。base北京,只要牛逼薪水不限,不加班,地点立水桥南,可以经常和楼主一起讨论技术,欢迎留言推荐自荐(留言后,楼主会主动联系)。
    58沈剑2017-02-15 14:51 回复
  2. 25.猜測是varchar的類型,但innoDB不支持全文索引吧/尴尬
    陳奕迅2017-02-15 14:54 回复
  3. 禁止负向的条件~不用不等于~那从服务层控制逻辑?
    高坡2017-02-15 14:56 回复
  4. 我一直以为我避过这里面至少20多个坑的行为是强迫症。。。看来不是,宽慰
    里子2017-02-15 14:58 回复
  5. 第27条不能必须吧,有的时候业务规则就是这样也没办法了
    陈达炜2017-02-15 15:02 回复
  6. 准备应用到项目中/强
    billow2017-02-15 15:02 回复
  7. 干活 用IP访问数据库不是比域名快吗? 用域名的话内网要建DNS吧
    白纸作画2017-02-15 15:03 回复
  8. 使用内网域名,而不是ip连接数据库,不太理解
    2017-02-15 15:04 回复
  9. (25)phone既然被建立了索引,为什么还会导致全表扫描?
    andy2017-02-15 15:06 回复
  10. 早饭献上,utf8建议用utf8mb4,现在移动设备多了
    贺博@超星2017-02-15 15:06 回复
  11. 能做到完全不用join吗?
    2017-02-15 15:07 回复
  12. 可惜可惜,没实习名额了,另外我觉得单表索引少于5个的建议可以去掉,只要索引更新频率不高,有必要就可以加索引,个数限制原因在哪呢?我写的一篇,有时间帮看看/呲牙mysql索引设计(分享自知乎网)https://zhuanlan.zhihu.com/p/25235279?utm_source=qq&utm_medium=social
    了不起的于海强2017-02-15 15:07 回复
  13. 25问题我们也出现过不止一次/冷汗
    spring 何恺2017-02-15 15:07 回复
  14. 那个隐试转换是不是会类似这样cast(phone as signed)
    小小王粑粑2017-02-15 15:07 回复
  15. 对于金融交易系统,一般都有日终对账的流程,我们目前都是用存储过程做的,数据量上来以后,处理就比较慢了。请问楼主,对于类似的业务,有没有比较好的解决方案呢?
    fiy2017-02-15 15:13 回复
  16. 请问线上内网DNS用的是什么方案?怎么保证高可用?
    spring 何恺2017-02-15 15:13 回复
  17. 25条简直是经典!
    坏鱼阿加西2017-02-15 15:14 回复
  18. 如果不用join,对于1对多或者多对多情况,需要循环查询,或者表需要冗余很多字段,而冗余字段一致性的维护和更新,会有大量的批操作,这样会不会有性能问题
    2017-02-15 15:14 回复
  19. 每个表都有一个del-flag列,只有0,1两个候选值,99%都是0(意思是 未删除),存在少数:select * from t where del_flag=1的情况,绝大部分都是select * from t where id in(x,y,z) and del_flag=0,这种需要为这个列建立索引吗?
    李兵2017-02-15 15:17 回复
  20. 涨姿势,不用join怎么办?冗余?
    星辰2017-02-15 15:19 回复
  21. 是因为phone是varchar,等号右边是数字,要先隐式转换吧/偷笑
    王贺2017-02-15 15:27 回复
  22. 第一条根据实际需要来进行优化会好点吗?有些表不会用到事务,查询多,修改少的表,用其它引擎不是更合适吗?
    只是当时已惘然2017-02-15 15:34 回复
  23. 关于第四条,记得之前有在网上看到过说秒杀系统这种高并发可以考虑将关联的事务写到一个sql函数中,然后调用,理由是mysql的在事务性能要比服务(java)高很多,减少服务层的压力,这个难道是错的?/糗大了求大神指教
    ZzZzz...2017-02-15 15:37 回复
  24. 贡献8块钱!因为这是干货!我喜欢,感谢^_^
    周伟2017-02-15 15:42 回复
  25. 对于状态/类型字段,用int好还是varchar好?最近在做个项目,领导说要用varchar,说可维护性好,但以前都用int
    肯定自己2017-02-15 15:48 回复
  26. 我来解释下25条吧:int数据类型优先级高于varchar,此查询数据库会把列phone转换为int类型,因此会把所有该列值转换为int,因此只能通过全盘扫描操作。(除有一条军规略有不同外,其它都深表赞同/强)
    咕噜噜2017-02-15 15:56 回复
  27. select *,insert into 表名<无列名>的写法在+(-)字段时很容易出bug,项目组正计划扫描这种SQL
    木鱼2017-02-15 16:11 回复
  28. 16条 关于商品价等死小数,怎么用整形存。
    krugle2017-02-15 16:47 回复
  29. 如果做了分片的情况下,如果确实有场景不能带分片字段,怎么处理?
    翔工2017-02-15 16:49 回复
  30. 对于第10条军规,如果有些表是做过分表的呢,可能逻辑上的一张表最终分成了100张,如果按照这个约束的话可能就得搞出好多实例
    周大鹏2017-02-15 16:51 回复
  31. 看到主键自增想到一个问题,对于有关联关系的表大数据量做添加,批量显然要效率高,但是自增主键批量添加时如何返回给关联表使用?
    佐鞋2017-02-15 19:06 回复
  32. 对于一般业务量不大的系统,数据库很少成为瓶颈,所以感受不到这种一点一点扣性能的感觉。像不准建视图,不准使用text,计算交给应用等很多实践的经验其实很少说绝对禁止,只是遵循数据库的基本设计理念。不同的业务场景适应于不通的设计理念。已赞,有收获,就必须打赏/呲牙。期望再多分享些实践经验,有需要的人可以自行领取
    陈同学2017-02-15 23:01 回复
  33. phone 是敏感信息,一般加密了才落地。字段注释方便了研发,但很大程度上也方便了黑客/呲牙,所以不一定要写,但要强制文档同步。因为运维基本不需要了解业务,自动化系统管理数据。既然有严格的命名,那就是基本不看文档也能理解字段含义666。
    wenfh20202017-02-15 23:14 回复
  34. 可以的 有些坑踩过,有些可能以后会踩,null列简直不能同意更多,前端处理不好遇到null就蹦 绝了
    星之七章2017-02-16 00:42 回复
  35. 你这个架构师,个人认为,能写出这样的所谓军规,就说明你不是一个合格的架构师。或者说,你的功力还没有到一定深度。任何工具都有其优点,也会有其缺点。你的什么军规里一概而论“不能使用存储过程、视图“,“数据库无法横向扩展“这些思想太过定理话。合格的架构师,是能熟悉很多大型工具,不论是各类型数据库,各类语言,并能熟悉每种工具的优点,缺点,还要知道如何利用优点,回避缺点;不同的场合,不同的成本,有不同的搭配。你这个文章一看就是一个纯做JAVA的人出生的。不懂数据库就要去深入学习。
    鲁万财2017-02-16 01:27 回复
  36. 单表索引少于5个?我觉得非必要,毕竟更新不高的话,产生慢查询的代价会更昂贵!能建还得建
    Darren2017-02-16 01:34 回复
  37. 必须使用UTF8字符集,用utf8mb4吧,支持emoji
    黄涛2017-02-16 01:42 回复
  38. 同一个机房的服务我更喜欢vip,utf8省空间这个牵强点(看和谁比),表命名t_xxxx加个t_前缀多余了,库下面除了表还能有什么(视图军规中你也给毙了)。ps:沈老师无所不知啊/强
    @拉风_zhang2017-02-16 02:00 回复
  39. 一(5) 请参考bill karwin的sql反模式第12章幽灵文件
    Null2017-02-16 02:57 回复
  40. 老大,我想知道27的不使用负向查询,用什么语句呢?比如select title from article where id != 6 用什么查询语句取代呢?
    阿剑2017-02-16 03:33 回复
  41. 请问27条 禁止负向查询及%开头的模糊查询 有什么样的解决方案啊 我刚做这个 想不通有什么好的方案 负向用的很多/流泪
    月影千华2017-02-16 05:21 回复
  42. 确实是干货,有些点我也在实际开发中遇到过,测试环境怎么试都没问题,一上生产环境,并发量一上来,问题马上就呈现了。/强
    Rex2017-02-16 16:55 回复
  43. 如果数据库链接用域名链接会有一定的延时吧?如果用IP链接,考虑到后期数据迁移是否可以从运维角度出发做IP漂移?
    A 康坤2017-02-17 00:46 回复
  44. 沈老师,禁止用存储过程这一条的依据在哪里?一次业务场景(如写单据)可能会多次进行读/写表操作,不用存储过程而是在业务层实现的话会不会造成数据库的频繁读写?您那边的解决思路是怎样的,是用缓存来分担这部分压力吗
    田乃翔2017-02-17 00:57 回复
  45. 14条,不是很明白,为什么要把所有字段都设置not null。
    j4念勾for2017-02-17 01:41 回复
  46. 26碰到过,最后是这么改的,但之前一直不明白原因。
    木木2017-02-17 02:50 回复
  47. 不用连接表查询,这就会产生著名的n+1查询的问题,多次查询,db的cpu消耗应该更多啊
    李志军2017-02-17 12:29 回复
  48. (24)禁止使用INSERT INTO t_xxx VALUES(xxx),必须显示指定插入的列属性 这条不懂,望表明。
    Jason2017-02-18 03:43 回复
  49. (11)单表列数目必须小于30, 这个30是什么依据呢?
    i岁月无声2017-02-21 11:00 回复
  50. 最近在做报表,对于公司那种多处用到的统计逻辑,我总想用视图。因为这样在统计逻辑变更的时候更好维护一点。可是公司不让用,给的理由也不能够说服我,我就想知道视图到底有什么弊端呢?谢谢
    冷场王2017-02-23 23:40 回复