北京SEO

mysql大数据分库和分表 php解决方案

2019/10/10/17:32:24  阅读:2019  来源:谷歌SEO算法  标签: 自媒体

当Mysql数据量过大时,就会面临压力分解,这时分库分表是一个不错的解决方案,现在我们就来谈谈Mysql如何分库分表比较理想,然后再用php如何调用.

1,主从复制,读写分离

对主库修改数据,查询使用从库,一主多从,来降低数据库读取压力.

2,分库分表

根据实体业务来分库,分表,如,根据数据的活跃性,根据用户uid等.

3,mysql 不同存储引擎区别

InnoDB 用于数据完整性/写性能要求比较高的应用. MyISAM 适合查询应用.

分表是分散数据库压力的好方法.

分表,最直白的意思,就是将一个表结构分为多个表,然后,可以再同一个库里,也可以放到不同的库.

当然,首先要知道什么情况下,才需要分表,个人觉得单表记录条数达到百万到千万级别时就要使用分表了.

1,分表的分类

1>纵向分表

将本来可以在同一个表的内容,人为划分为多个表,所谓的本来,是指按照关系型数据库的第三范式要求,是应该在同一个表的.

分表理由:根据数据的活跃度进行分离,因为不同活跃的数据,处理方式是不同的.

案例:对于一个博客系统,文章标题,作者,分类,创建时间等,是变化频率慢,查询次数多,而且最好有很好的实时性的数据,我们把它叫做冷数据。而博客的浏览量,回复数等,类似的统计信息,或者别的变化频率比较高的数据,我们把它叫做活跃数据。所以,在进行数据库结构设计的时候,就应该考虑分表,首先是纵向分表的处理。

这样纵向分表后:

首先存储引擎的使用不同,冷数据使用MyIsam 可以有更好的查询数据。活跃数据,可以使用Innodb ,可以有更好的更新速度。

其次,对冷数据进行更多的从库配置,因为更多的操作时查询,这样来加快查询速度。对热数据,可以相对有更多的主库的横向分表处理。

其实,对于一些特殊的活跃数据,也可以考虑使用memcache ,redis

之类的缓存,等累计到一定量再去更新数据库。或者mongodb 一类的nosql 数据库,这里只是举例,就先不说这个。

2>横向分表

字面意思,就可以看出来,是把大的表结构,横向切割为同样结构的不同表,如,用户信息表,user_1,user_2 等。表结构是完全一样,但是,根据某些特定的规则来划分的表,如根据用户ID来取模划分。

分表理由:根据数据量的规模来划分,保证单表的容量不会太大,从而来保证单表的查询等处理能力。

案例:同上面的例子,博客系统。当博客的量达到很大时候,就应该采取横向分割来降低每个单表的压力,来提升性能。例如博客的冷数据表,假如分为100个表,当同时有100万个用户在浏览时,如果是单表的话,会进行100万次请求,而现在分表后,就可能是每个表进行1万个数据的请求(因为,不可能绝对的平均,只是假设),这样压力就降低了很多很多。

1,背景:一个地址薄的应用程序,设计的用户量为2亿,统计出每个用户的地址薄为30个左右,整个数据量为60亿,使用mysql数据库(亿级数据库设计)

计划分为:1000个表,100个库

2,分库分表代码

  1. privatefunctiongetDbNo($email)
  2. {
  3. $m=md5($email);
  4. $n=hexdec(substr($m,0,16));
  5. $tableNo=fmod($n,1000);
  6. $dbNo=$tableNo%100;
  7. returnarray($dbNo,$tableNo);
  8. }

3,配合的连接访问代码

  1. require_once‘Db/Config.php’;
  2. classDb_Adapter
  3. {
  4. constMASTER=0;
  5. constSLAVE=1;
  6. privatestatic$instances=array();
  7. private$conf=array();
  8. private$conns=array();
  9. private$conn=NULL;
  10. private$stmt=NULL;
  11. publicfunction__construct($conf)
  12. {
  13. $this->conf=$conf;
  14. }
  15. publicfunctionexecute($sql,$params)
  16. {
  17. $cmd=substr(strtolower(trim($sql)),0,6);
  18. if($cmd==‘select’){
  19. $conn=$this->getConn(self::SLAVE);
  20. }else{
  21. $conn=$this->getConn(self::MASTER);
  22. }
  23. $conn->prepare($sql);
  24. $stmt=$conn->execute($params);
  25. $this->conn=$conn;
  26. $this->stmt=$stmt;
  27. }
  28. publicfunctionfetch()
  29. {
  30. return$this->stmt->fetch();
  31. }
  32. publicfunctionfetchAll()
  33. {
  34. return$this->stmt->fetchAll();
  35. }
  36. publicfunctionlastInsertId($name=NULL)
  37. {
  38. return$this->conn->lastInsertId($name);
  39. }
  40. publicfunctionrowCount()
  41. {
  42. return$this->stmt->rowCount();
  43. }
  44. privatefunctiongetConn($type)
  45. {
  46. if($type==self::SLAVE&&isset($this->conf[self::SLAVE])){
  47. $id=0;
  48. }else{
  49. $id=1;
  50. }
  51. if(!isset($this->conns[$id])){
  52. $conf=$this->conf[$id];
  53. $this->conns[$id]=newPDO(
  54. $conf['dsn'],$conf['user'],$conf['pass'],
  55. self::dbOptions);
  56. }
  57. return$this->conns[$id];
  58. }//phpfensi.com
  59. publicstaticfunctiongetInstance($dbName,$dbNo=0)
  60. {
  61. $key=$dbName.‘_’.$dbNo;
  62. if(!isset(self::$instances[$key])){
  63. $conf=Db_Config::getConfig($dbName,$dbNo);//连接配置参数
  64. self::$instances[$key]=newself($conf);
  65. }
  66. returnself::$instances[$key];
  67. }
  68. }

4,潜在问题

如果某个表中的那些用户的地址薄联系人超多,如每个人1000个,则可能出现该表超大,需要把该表区分为子表,暂时没有配置中心来处理该情况.

若真的出现该情况,在连接参数这个地方继续作一次hash.

广告内容

mysql大数据分库和分表 php解决方案 mysql大数据分库和分表 php解决方案 mysql大数据分库和分表 php解决方案

相关阅读

热门评论

小明SEO博客 小明SEO博客

小明SEO博客,新时代SEO博客

总篇数171

精选文章

RMAN中catalog和nocatalog区别介绍 小技巧:为Linux下的文件分配多个权限 zimbra8.5.1安装第三方签名ssl证书的步骤 解决mysql不能远程连接数据库方法 windows服务器mysql增量备份批处理数据库 mysql中slow query log慢日志查询分析 JavaScript跨域问题总结 Linux下负载均衡软件LVS配置(VS/DR)教程 mysql中权限参数说明 MYSQL(错误1053)无法正常启动

SEO最新算法