分库分表

1 分库分表介绍

什么是分库分表？

分库分表就是把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。

为什么要分库分表？

随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作，增删改查的开销也会越来越大；而一台服务器的资源（CPU、磁盘、内存、IO等）是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。因此我们要考虑分库分表，把原先的一个数据库，一张表拆分成多个数据库，多张表，以应对上面面临的问题。

如何进行分库分表？

分库分表有垂直切分和水平切分两种方式。

• 1. 垂直切分，即将表按照功能模块、关系密切程度划分出来，部署到不同的库上。例如，我们会建立订单数据库orderDB、商品数据库productDB、用户数据库userDB、日志数据库logDB等，分别用于存储订单表、商品定义表、用户数据表、日志数据表等。
• 1. 而水平切分，当一个表中的数据量过大时，我们可以把该表的数据按照某种规则，例如userID散列，进行划分，然后存储到多个结构相同的表，和不同的库上。例如，我们的userDB中的用户数据表中，每一个表的数据量都很大，就可以把userDB切分为结构相同的多个userDB：user0DB、user1DB等，再将userDB上的用户数据表userTable，切分为很多userTable：userTable0、userTable1等，然后将这些表按照一定的规则存储到多个userDB上。

应该使用哪一种方式来实施数据库分库分表，这要看数据库中数据量的瓶颈所在，并综合项目的业务类型进行考虑。如果数据库是因为表太多而造成海量数据，并且项目的各项业务逻辑划分清晰、低耦合，那么规则简单明了、容易实施的垂直切分必是首选。而如果数据库中的表并不多，但单表的数据量很大、或数据热度很高，这种情况之下就应该选择水平切分，水平切分比垂直切分要复杂一些，它将原本逻辑上属于一体的数据进行了物理分割，除了在分割时要对分割的粒度做好评估，考虑数据平均和负载平均，后期也将对项目人员及应用程序产生额外的数据管理负担。在现实项目中，往往是这两种情况兼而有之，这就需要做出权衡，甚至既需要垂直切分，又需要水平切分。

tangyuan-sql组件中对分库分表的支持指的对水平切分的支持。其默认支持四种切分策略，range、hash、 mod和 random。range是按照范围切分，hash是以散列方式切分，mod是按照余数切分，而random则是随机切分，后面我们会详细的介绍每一种方式的特性和使用。

接下来，我们先给出一个完整的示例。

2. 完整的示例

1.创建数据库和表

详见demo_sharding.sql

2.添加数据源组的配置

在component-sql.xml中配置：

<dataSourceGroup groupId="xds" type="DBCP" start="0" end="4">
    <property name="username" value="root" />
    <property name="password" value="123456" />
    <property name="url" value="jdbc:mysql://127.0.0.1:3306/tangyuan_x_db{}?Unicode=true&amp;characterEncoding=utf8" />
    <property name="driver" value="com.mysql.jdbc.Driver" />
</dataSourceGroup>

3.分库分别插件配置

以maven项目结构为例，在src/main/resources中增加sharding.xml配置文件，其配置如下：

<?xml version="1.0" encoding="UTF-8"?>
<sharding xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:noNamespaceSchemaLocation="http://xson.org/schema/tangyuan/sql/sharding.xsd">

    <table name="image" dataSource="xds" mode="range" dbCount="5" tableCount="5" tableCapacity="10" />

</sharding>

4.组件中配置插件

component-sql.xml中配置：

<sharding   resource="sharding.xml" />

5.编写SQL服务

<insert id="insertImage1" dsKey="xds" txRef="tx_02">
    insert into {DT:image, x_id}(x_id, x_name) values(#{x_id}, #{x_name});
</insert>

6.服务调用及结果

单元测试：

@Test
public void testInsertImage1() {
    for (int i = 1; i < 250; i++) {
       XCO request = new XCO();
       request.setLongValue("x_id", i);
       request.setStringValue("x_name", "中国");
       SqlServiceActuator.executeAlone("demo3/insertImage1", request);
    }
}

执行日志：

...
10:52:44,788  INFO XConnection:52 - open new connection. dsKey[xds.1], hashCode[6737131]
       insert into image9(x_id, x_name) values(93, '中国');
... 
10:52:45,078  INFO XConnection:52 - open new connection. dsKey[xds.3], hashCode[21406617]
       insert into image19(x_id, x_name) values(198, '中国');
...
10:52:45,211  INFO XConnection:52 - open new connection. dsKey[xds.4], hashCode[17199068]
       insert into image24(x_id, x_name) values(249, '中国');

通过上述步骤，我们就实现了一个具有分库分表特性的SQL服务的编写和单元测试。

3. 分库分表的配置

介绍配置之前，我们前先介绍一下分库分表的拆分粒度，有下面两种情况：

1. 分库+分表(多库多表): 例如：我们对user表进行拆分，分为5个库(userDB0到userDB4)，每个库存放5张表共25张表，从user0到user24。
2. 分表(单库多表):例如：还是以user表为例，只有一个userDB库，其中存放5张表，从user0到user4。

了解了分库分表的拆分粒度，我们接着来介绍具体的配置。分库分表的配置主要是通过sharding.xml这个文件来进行描述的，我们先看一下其总体Schema的设计：

Schema设计图：

上图中，sharding是根节点，他下面包含table和shardingClass两个子节点，shardingClass是和用户自定义策略相关，稍后介绍，我们先介绍一下table节点的使用。

<table name="file"  dataSource="ds"  mode="range"  dbCount="1" tableCount="5" tableCapacity="10" />

<table name="url"   dataSource="ds"  mode="hash"   dbCount="1" tableCount="5" tableCapacity="10" />

<table name="image" dataSource="xds" mode="range"  dbCount="5" tableCount="5" tableCapacity="10" />

<dataSourceGroup groupId="xds" type="DBCP" start="0" end="4">
    <property name="username" value="root" />
    <property name="password" value="123456" />
    <property name="url" value="jdbc:mysql://127.0.0.1:3306/tangyuan_x_db{}?Unicode=true&amp;characterEncoding=utf8" />
    <property name="driver" value="com.mysql.jdbc.Driver" />
</dataSourceGroup>

4. SQL服务中的使用

前面我们对分库分表的配置进行了详细的说明，在这章里，我们会对在SQL服务中如何使用分库分表功能做具体的讲解。在SQL服务中也就是XML中编写SQL语句，让其实现分库分表功能，主要是通过特殊文本标签来实现，具体如下：

结合上面的表格说明，我们来看下面的几个示例：

<insert id="insertFile1" dsKey="ds" txRef="tx_02">
    insert into {T:file, x_id}(x_id, x_name) values(#{x_id}, #{x_name});
</insert>

<insert id="insertFile2" dsKey="ds" txRef="tx_02">
    insert into file{I:file, x_id}(x_id, x_name) values(#{x_id}, #{x_name});
</insert>

<insert id="insertUserx1" dsKey="xds" txRef="tx_02">
    insert into userx{D:userx, x_id}(x_id, x_name) values(#{x_id}, #{x_name});
</insert>

<insert id="insertImage1" dsKey="xds" txRef="tx_02">
    insert into {DT:image, x_id}(x_id, x_name) values(#{x_id}, #{x_name});
</insert>

<sql-service id="insertAll" txRef="tx_02">
    <insert>
       insert into image{DI:image, x_id}(x_id, x_name) values(#{x_id}, #{x_name});
    </insert>
    <insert>
       insert into userx{D:userx, x_id}(x_id, x_name) values(#{x_id}, #{x_name});
    </insert>   
</sql-service>

5. 用户自定义分库分表策略

如果tangyuan-sql组件默认的切分策略不能满足应用需求的时候，我们可以通过编写一个自定义的切分策略处理类来实现其特殊的需求。具体操作如下：

1.编写一个切分策略的实现类，需要实现org.xson.tangyuan.sharding.ShardingHandler接口

2.在sharding.xml注册自定义的策略实现类

<shardingClass id="mySharding" class="xxx.MyShardingHandler"/>

3.在table节点中使用自定义策略实现类

<table name="file" dataSource="ds" impl="mySharding" />

通过上述三个步骤，就可以使用用户自定义的分库分表策略了。

注意：

在这种情况下，<table>节点的mode属性将不再有意义，同时dbCount、tableCount、tableCapacity属性也将不再成为必须。