1,业务需求比如一个社交软件,比如像腾讯的qq。可以进行群聊天(gid),也可以单人聊天。 这里面使用到了数据库中间件mycat,和mysql数据表分区。 关于mycat分区参考: 【 数据库垂直拆分,水平拆分利器,cobar升级版mycat】 http://blog.csdn.net/freewebsys/article/details/44046365 2,具体方案设置分区利用mysql分区,假设mysql数据表简单的为: CREATE TABLE `group_msg` ( `id` bigint(20) NOT NULL, `gid` bigint(20) DEFAULT NULL COMMENT '', `content` varchar(4000), `create_time` datetime DEFAULT NULL, PRIMARY KEY (`id`,`gid`)) ENGINE=MyISAM DEFAULT CHARSET=utf8PARTITION BY KEY(`gid`) PARTITIONS 100;
数据表中按照gid进行分区,id不是自增,而是使用全局变量生成的。 在mycat中带全局变量生成的函数。这里有个技巧,按照每一个群组做一个全局的id,每个群组的消息都是从1开始。这样每个群组的id就是聊天信息的总数,方便分页查询历史记录使用。历史记录表后面继续分析。
参考:http://dev.mysql.com/doc/refman/5.1/en/partitioning-limitations.html
分区表可以设置的大些,因为数据放在本地切分成多个文件成本比较低。
3,配置mycat分表
由于mycat配置分表是按照分库进行的。所有需要创建多个数据库。 比起表分区是麻烦点。 参考之前博客: 【Mycat 水平分表,垂直分表实践(2)】博客数据表拆分和全局id http://blog.csdn.net/freewebsys/article/details/44399901 其中规则xml的配置如下:
user_id mod-long 10 分区schema配置文件:
select 1 select 1 select 1 select 1 select 1 . 考虑按照数据库拆分成本比较高,直接拆分成10个数据库,分别放到5个机器上面。如果压力大可以直接放到10个机器上面。 实际上表分区加上mycat,一个拆了100*10个文件。按照每个文件能承载1000w条记录算,可以承受100亿数据。 这个当然是理论了。假设日活100w,每人发10条,基本上够2-3年使用的了。 4,总结 这个只是消息表的一个简单的设计方案。通过使用成熟的组件搭建的分表方案。同时利用了mysql分区和mycat分表两个结合下。 毕竟一个mysql物理机器不能分太多文件,两个结合起来效率就高了。达到一个运维成本低,毕竟线上mysql数据库要配置master-slave,拆的多维护的多。 |