介绍使用super-smack测试MySQL多线程指定SQL语句执行，测试其QPS。



安装：

仓库地址：https://github.com/winebarrel/super-smack

编译安装（依赖包都太老了，基本安装不成功）

```SHELL
./configure --prefix=/usr/local/super-smack--with-mysql \
            --with-mysql-lib=/var/lib/mysql \
            --with-mysql-include=/usr/include/mysql \
            --with-mysql
            
make -j 4 && make install
```

CentOS可直接现在rpm安装包

```SHELL
rmp -ivh super-smack-1.3.3-1.el7.x86_64.rpm
```

安装好后，运行 `which super-smack` 可以查到具体安装位置`/usr/bin/super-smack`

```shell
/usr/bin/super-smack #压测可执行文件
/usr/bin/gen-data #随机生成压测条件数据
/usr/share/smacks #存放压测脚本
/usr/share/smacks/select-key.smack #根据随机键压测查询
/usr/share/smacks/update-select.smack #根据随机键压测更新、查询
```

自动生成随机查询条件

```shell
gen-data -n 10 -f %48-64s%n,%32-64s,%n,%d > /usr/share/smacks/locationcenter.dat
-n 生成随机数行数
-f 格式
s 表示字符串
n 表示序列
d 表示数字
#查看字典文件
cat /usr/share/smacks/locationcenter.dat 
```

执行压测语句

```shell
super-smack -dmysql /usr/share/smacks/select-key-userlocation.smack -D /usr/share/smacks/ 5 200
```

MySQL压测工具-super-smack

MySQl压测工具-sysbench

阿里2022 PolarDB-X暑期集训营笔记



# PolarDB-X应用

## 搭建实时分析系统

本步骤将指导您如何使用PolarDB-X+Canal+ClickHouse搭建实时分析系统。

1. 部署Canal。

Canal是一款流行的MySQL Binlog增量订阅工具，详情请参见[Canal说明文档](https://github.com/alibaba/canal)。Canal提供了Docker镜像，详情请参见[Canal Docker镜像文档](https://github.com/alibaba/canal/wiki/Docker-QuickStart)。

(1) 执行如下命令，下载脚本。

```
wget https://raw.githubusercontent.com/alibaba/canal/master/docker/run.sh
```

(2) 执行如下命令，构建一个destination name为test的队列。

**注意 ：**您需要将none_loopback_host_ip修改为云产品资源列表中的ECS的弹性IP，请勿使用localhost或127.0.0.1。

```
sh run.sh -e canal.auto.scan=false \
-e canal.destinations=test \
-e canal.instance.master.address=none_loopback_host_ip:8527 \
-e canal.instance.dbUsername=polardbx_root \
-e canal.instance.dbPassword=123456 \
-e canal.instance.connectionCharset=UTF-8 \
-e canal.instance.tsdb.enable=true \
-e canal.instance.gtidon=false
```

1. 部署ClickHouse。

ClickHouse是一款分析系统，详情请参见[ClickHouse官方文档](https://clickhouse.com/)。ClickHouse提供了Docker镜像，详情请参见[ClickHouseDocker镜像文档](https://hub.docker.com/r/clickhouse/clickhouse-server)。

执行如下命令，部署ClickHouse。

```
docker run -d --name some-clickhouse-server --ulimit nofile=262144:262144 -p 8123:8123 yandex/clickhouse-server
```

1. 在PolarDB-X和ClickHouse中创建测试库和表。

(1) 执行如下命令，登录PolarDB-X数据库。

```
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
```

(2) 执行如下SQL语句，创建数据库testdb。

```
CREATE DATABASE testdb;
```

(3) 执行如下SQL语句，使用数据库testdb。

```
USE testdb;
```

(4) 执行如下SQL语句，创建test表。

```
CREATE TABLE test(
id INT(11) AUTO_INCREMENT PRIMARY KEY,
name CHAR(20) not null );
```

(5) 输入exit退出数据库。

![img](https://ucc.alicdn.com/pic/developer-ecology/83b8b5c857e0400481d57e4d0b0f0ef9.png)

(6) 执行如下命令，登录ClickHouse数据库。

```
docker run -it --rm --link some-clickhouse-server:clickhouse-server yandex/clickhouse-client --host clickhouse-server
```

(7) 执行如下SQL语句，创建数据库testdb。

```
CREATE DATABASE testdb;
```

(8) 执行如下SQL语句，使用数据库testdb。

```
USE testdb;
```

(9) 执行如下SQL语句，创建test表。

```
Create Table test(id INT(32),name CHAR(20)) Engine = MergeTree() Order By id;
```

(10) 输入exit退出数据库。

1. 运行Canal Client消费并投递增量变更。

经过以上步骤，您已经准备好了PolarDB-X、Canal Server和ClickHouse三个容器，并且在源端（PolarDB-X）和目标端（ClickHouse）建好了测试用的数据库和表。接下来我们通过Canal Client消费Canal Server获取的增量数据，并将源端DML中的Insert事件投递到ClickHouse中。

(1) 执行如下命令，使用yum安装JDK 1.8。

```
yum -y install java-1.8.0-openjdk*
```

(2) 执行如下命令，下载polardb-x-to-clickhouse-canal-client.jar投递代码文件。

```
wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/polardb-x-to-clickhouse-canal-client.jar
```

(3) 执行如下命令，运行polardb-x-to-clickhouse-canal-client.jar代码文件。

```
java -jar polardb-x-to-clickhouse-canal-client.jar
```

**注意：**请勿中断投递代码文件，否则会造成投递失败。

(4) 投递链路已成功打通，接下来您可以在源端（PolarDB-X）执行INSERT语句，并观察目标端（ClickHouse）中的数据变化。

在实验页面，单击右上角的![img](https://ucc.alicdn.com/pic/developer-ecology/fb9a00a2cbff4bf59597914e7413505b.png) 图标，创建新的终端窗口。

![img](https://ucc.alicdn.com/pic/developer-ecology/e9d5f36fdfee40318fc6ea64b84841e0.png)

(5) 在新的终端窗口中，执行如下命令，登录PolarDB-X数据库。

```
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
```

(6) 执行如下SQL语句，使用数据库testdb。

```
USE testdb;
```

(7) 执行如下SQL语句，插入一条数据。

```
INSERT INTO test(name) values("polardb-x"), ("is"), ("awsome");
```

(8) 输入exit退出数据库。

(9) 执行如下命令，登录ClickHouse数据库。

```
docker run -it --rm --link some-clickhouse-server:clickhouse-server yandex/clickhouse-client --host clickhouse-server
```

(10) 执行如下SQL语句，使用数据库testdb。

```
USE testdb;
```

(11) 执行如下SQL语句，查询test表

```
SELECT * FROM test;
```

返回结果如下，您可以看到目标端（ClickHouse）接收到投递过来的数据。

![img](https://ucc.alicdn.com/pic/developer-ecology/4aed414de5954f2da0849c14764f1e0f.png)

PolarDB-X应用测试

阿里2022暑期PolarDB-X集训营笔记



本步骤将指导您如何安装并启动依赖Docker。

执行如下命令，安装Docker。

```
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
```

执行如下命令，启动Docker。

```
systemctl start docker
```

本步骤将指导您如何使用Docker镜像安装PolarDB-X。

执行如下命令，拉取PolarDB-X容器镜像。

```
docker pull polardbx/polardb-x
```

1. 执行如下命令，运行PolarDB-X容器。

```
docker run -d --name some-polardb-x -p 8527:8527 polardbx/polardb-x
```

本步骤将指导您如何登录PolarDB-X并体验PolarDB-X的分布式特性。

PolarDB-X支持通过MySQL Client命令行、第三方客户端以及符合MySQL交互协议的第三方程序代码进行连接。本实验场景主要介绍如何通过MySQL Client命令行连接到PolarDB-X数据库。

执行如下命令，安装MySQL。

```
yum install mysql -y
```

执行如下命令，查看MySQL版本号。

```
mysql -V
```

返回结果如下，表示您已成功安装MySQL。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636919.png)

执行如下命令，登录PolarDB-X数据库。

```
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
```

**说明**：

本实验场景中的PolarDB-X数据库用户名和密码已预设，请您使用下方命令登录即可。

如遇到mysql: [Warning] Using a password on the command line interface can be insecure. ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0报错，重新执行登录命令即可。

执行如下SQL语句，检查GMS。

```
select * from information_schema.schemata;
```

体验PolarDB-X数据库的分布式特性。

执行如下SQL语句，创建数据库。

```
create database polarx_example mode='auto'; 
```

执行如下SQL语句，使用polarx_example数据库。

```
use polarx_example;
```

执行如下SQL语句，创建数据表。

```
create table example (
  `id` bigint(11) auto_increment NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  `score` bigint(11) DEFAULT NULL,
  primary key (`id`)
) engine=InnoDB default charset=utf8 
partition by hash(id) 
partitions 8;
```

执行如下SQL语句，向example数据表中插入数据。

```
insert into example values(null,'lily',375),(null,'lisa',400),(null,'ljh',500);
```

执行如下SQL语句，查询example表所有数据。

```
select * from example;
```

执行如下SQL语句，查看example数据表的分区。

```
show topology from example;
```

返回结果如下，您可以看到example数据表分布在8个分区。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636508.png)

执行如下SQL语句，检查CDC。

```
show master status;
show binlog events  in 'binlog.000001' from 4;
```

执行如下SQL语句，检查DN和CN。

```
show storage;  
show mpp;
```

输入exit退出数据库。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636746.png)

执行如下命令，停止PolarDB-X容器。

```
docker stop some-polardb-x
```

本步骤将指导您如何使用PXD工具一键安装PolarDB-X，详细文档参考[使用PXD工具一键安装PolarDB-X](https://doc.polardbx.com/quickstart/topics/quickstart-pxd-cluster.html)。

安装 PXD

PXD是PolarDB-X的部署工具，除了支持在本地一键快速拉起测试环境外，也支持在Linux集群中通过指定的拓扑的方式部署PolarDB-X分布式数据库。

**说明**：本实验场景使用virtual environment安装PXD工具。

执行如下命令，创建并激活虚拟场景。

```
python3 -m venv venv
source venv/bin/activate
```

执行如下命令，升级pip。

```
pip install --upgrade pip
```

执行如下命令，安装PXD。

```
pip install pxd
```

部署PolarDB-X。

**说明**：部署PolarDB-X有两种方式，请您选择其中一种方式即可。

- 方式一：执行如下命令，创建一个PolarDB-X数据库，其中GMS、CN、DN和CDC节点个数为1。

```
pxd tryout
```

- 方式二：执行如下命令，创建一个PolarDB-X数据库，指定CN、DN和CDC节点个数为1以及版本为latest。

```
pxd tryout -cn_replica 1 -cn_version latest -dn_replica 1 -dn_version latest -cdc_replica 1 -cdc_version latest
```

返回结果如下，表示您已成功部署PolarDB-X数据库，您可以看到输出的连接信息，通过MySQL Client即可连接。

**注意**：PolarDB-X管理员账号的密码随机生成，仅出现这一次，请注意保存。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636752.png)

执行如下命令，登录PolarDB-X数据库。

```
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
```

体验PolarDB-X。

执行如下SQL语句，检查GMS。

```
select * from information_schema.schemata;
```

执行如下SQL语句，创建数据库。

```
create database polarx_example mode='auto'; 
```

执行如下SQL语句，使用polarx_example数据库。sd

```
use polarx_example;
```

执行如下SQL语句，创建数据表。

```
create table example (
  `id` bigint(11) auto_increment NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  `score` bigint(11) DEFAULT NULL,
  primary key (`id`)
) engine=InnoDB default charset=utf8 
partition by hash(id) 
partitions 8;
```

执行如下SQL语句，向example数据表中插入数据。

```
insert into example values(null,'lily',375),(null,'lisa',400),(null,'ljh',500);
```

执行如下SQL语句，查询example表所有数据。

```
select * from example;
```

执行如下SQL语句，查看example数据表的分区。

```
show topology from example;
```

返回结果如下，您可以看到example数据表分布在8个分区。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636496.png)

执行如下SQL语句，检查CDC。

```
show master status;
show binlog events  in 'binlog.000001' from 4;
```

执行如下SQL语句，检查DN和CN。

```
show storage;  
show mpp;
```

输入exit退出数据库。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636486.png)

查看PolarDB-X状态。

执行如下命令，查看当前环境的PolarDB-X状态。

```
pxd list
```

返回如下结果，您可查看到PolarDB-X状态。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636576.png)

清理PolarDB-X。

执行如下命令，清理本地环境所有的PolarDB-X

```
pxd cleanup
```

本步骤将指导您如何创建一个简单的Kubernetes集群并部署PolarDB-X Operator ，使用Operator部署一个完整的PolarDB-X集群，详细文档请参考[通过](https://doc.polardbx.com/quickstart/topics/quickstart-k8s.html)。

安装kubectl。

执行如下命令，下载kubectl文件。

```shell
curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl
```

执行如下命令，赋予可执行权限。

```shell
chmod +x ./kubectl
```

执行如下命令，移动到系统目录。

```shell
mv ./kubectl /usr/local/bin/kubectl
```

安装minikube。

执行如下命令，下载并安装minikube。

```shell
curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
sudo install minikube-linux-amd64 /usr/local/bin/minikube
```

安装Helm3。

执行如下命令，下载Helm3。

```shell
wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/helm-v3.9.0-linux-amd64.tar.gz
```

执行如下命令，解压Helm3。

```shell
tar -zxvf helm-v3.9.0-linux-amd64.tar.gz
```

执行如下命令，移动到系统目录。

```shell
mv linux-amd64/helm /usr/local/bin/helm
```

使用minikube创建Kubernetes集群。

minikube是由社区维护的用于快速创建Kubernetes测试集群的工具，适合测试和学习Kubernetes。使用minikube创建的Kubernetes集群可以运行在容器或是虚拟机中，本实验场景以CentOS 8.5上创建Kubernetes为例。

**说明**：如您使用其他操作系统部署minikube，例如macOS或Windows，部分步骤可能略有不同。

执行如下命令，新建账号galaxykube，并将galaxykube加入docker组中。minikube要求使用非root账号进行部署，所有您需要新建一个账号。

```shell
useradd -ms /bin/bash galaxykube 
usermod -aG docker galaxykube 
```

执行如下命令，切换到账号galaxykube。

```shell
su galaxykube
```

执行如下命令，进入到home/galaxykube目录。

```shell
cd
```

执行如下命令，启动一个minikube。

**说明**：这里我们使用了阿里云的minikube镜像源以及USTC提供的docker镜像源来加速镜像的拉取。

```shell
minikube start --cpus 4 --memory 7168 --image-mirror-country cn --registry-mirror=https://docker.mirrors.ustc.edu.cn
```

返回结果如下，表示minikube已经正常运行，minikube将自动设置kubectl的配置文件。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636646.png)

执行如下命令，使用kubectl查看集群信息。

```shell
minikube kubectl -- cluster-info
```

返回如下结果，您可以查看到集群相关信息.

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011637433.png)

部署 PolarDB-X Operator。

执行如下命令，创建一个名为polardbx-operator-system的命名空间。

```shell
kubectl create namespace polardbx-operator-system
```

执行如下命令，安装PolarDB-X Operator。

```shell
helm install --namespace polardbx-operator-system polardbx-operator https://github.com/ApsaraDB/galaxykube/releases/download/v1.1.0/polardbx-operator-1.1.0.tgz
```

执行如下命令，查看PolarDB-X Operator组件的运行情况。

```
kubectl get pods --namespace polardbx-operator-system
```

返回结果如下，请您耐心等待2分钟，等待所有组件都进入Running状态，表示PolarDB-X Operator已经安装完成。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011637508.png)

部署 PolarDB-X 集群。

执行如下命令，部署一个PolarDB-X集群，它包含1个GMS 节点、1个 CN节点、1个DN节点和1 个CDC节点。

```shell
echo "apiVersion: polardbx.aliyun.com/v1
kind: PolarDBXCluster
metadata:
  name: quick-start
  annotations:
    polardbx/topology-mode-guide: quick-start" | kubectl apply -f -
```

执行如下命令，查看创建状态。

```shell
kubectl get polardbxcluster -w
```

返回结果如下，请您耐心等待大约七分钟，当PHASE显示为Running时，表示PolarDB-X集群已经部署完成。现在您可以开始连接并体验PolarDB-X分布式数据库了。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011637419.png)



本步骤将指导您如何使用源码编译安装PolarDB-X，详细文档请详见[源码编译安装PolarDB-X](https://doc.polardbx.com/quickstart/topics/quickstart-development.html)。

执行如下命令，安装git。

```
yum -y install git
```

执行如下命令，下载源码。

```
git clone https://github.com/ApsaraDB/PolarDB-X.git
```

执行如下命令，进入PolarDB-X目录。

```
cd PolarDB-X
```

执行如下命令，编译。

**说明**：make将下载所有源码、工具和库，并构建和安装PolarDB-X。源码将下载到./build目录下，编译好的二进制文件将安装到./build/run目录下。您可以运行make clean来移除安装，并尝试再次构建PolarDB-X。您也可以运行make cleanAll来删除./build下的所有东西。这个过程可能需要半个多小时，取决于您的网络带宽。

```
make
```

执行如下命令，运行PolarDB-X。

```
./build/run/bin/polardb-x.sh start
```

执行如下命令，停止PolarDB-X。

```
./build/run/bin/polardb-x.sh stop
```

PolarDB-X部署

介绍公司实际项目实战，DATAX离线数据迁移。



### MySQL2MongoDB

1.Josn配置文件可能加载失败，需要核对各参数，严格按照官方样例写参数，即使是Json格式也可能解析失败！

2.源库单表数据量过大时一定要加主键，加分片键 "**splitPk**"，分片键必需为主键、int整数型，此键可以不包含在所传输字段中；

3.报错：

```
Exception in thread "taskGroup-0" com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-07], Description:[读取数据库数据失败. 请检查您的配置的 column/table/where/querySql或者向 DBA 寻求帮助.].  - 执行的SQL为: select WorkOrderId,CustStoreId,CustStoreName,CustStoreCode,PreCustStoreId,PreCustStoreName,CustSettleId,CustSettleName,IsCustomer,CustCoopType,ProCode,AppCode,ProName,CityCode,CityName,AreaCode,AreaName,InstallAddress,InstallTime,RequiredTime,LinkMan,LinkTel,SourceType,SecondLinkTel,SecondLinkMan,WarehouseId,WarehouseName,Remark,IsUrgent,CustUniqueSign,CreatePersonCode,CreatePersonName,EffectiveTime,OrderType,EffectiveSuccessfulTime,CreatedById,CreatedAt,UpdatedById,UpdatedAt,DeletedById,DeletedAt,Deleted,AppointStatus,ServiceCode,CreateType,ServiceName,RecCompleteTime,RecRecordPersonCode,RecRecordPersonName,WfOrderCompletetime,WfAssignor,WfDirectOrderAccept,WorkOdrTypeStatus,WorkOdrCloseStatusName,WorkOdrSuspendStatus,WorkStatus,WorkOdrClosedAt,AFCCreatedAt,AFCRetreatTime,AFCFollowFrequency,AFCIfRemove,AFCReturnedTypeCode,VHSAppraisalStatus,VHSReceiverLoginName,OperatingInfo,OperatedInfo,ServiceProviderCode,WorkflowInfo,WorkServiceSubject,AFCWorkFinanceRecord,AFCPaymentReport,VHSWorkFileReceiveInfo,CustomerId,CustomerName from workjsoninfo  where  (169036 <= Id AND Id < 338071)  具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Application was streaming results when the connection failed. Consider raising value of 'net_write_timeout' on the server.
```

解决方法：

增加源端 wait_timeout 参数值。

NULL值处理



问题：mysql2mongo数据库传输，不识别mysql内josn字段，因为datax会给json增加转义字符 "\"

解决方法:源端字段类型改为varchar，入目标为array类型，mongodbwriter需要指定特殊解析数组分隔符；







### 注意事项

1.单 executor执行速度有限，尽量开多管道；