MySQl压测工具-sysbench

阿里2022 PolarDB-X暑期集训营笔记



# PolarDB-X应用

## 搭建实时分析系统

本步骤将指导您如何使用PolarDB-X+Canal+ClickHouse搭建实时分析系统。

1. 部署Canal。

Canal是一款流行的MySQL Binlog增量订阅工具，详情请参见[Canal说明文档](https://github.com/alibaba/canal)。Canal提供了Docker镜像，详情请参见[Canal Docker镜像文档](https://github.com/alibaba/canal/wiki/Docker-QuickStart)。

(1) 执行如下命令，下载脚本。

```
wget https://raw.githubusercontent.com/alibaba/canal/master/docker/run.sh
```

(2) 执行如下命令，构建一个destination name为test的队列。

**注意 ：**您需要将none_loopback_host_ip修改为云产品资源列表中的ECS的弹性IP，请勿使用localhost或127.0.0.1。

```
sh run.sh -e canal.auto.scan=false \
-e canal.destinations=test \
-e canal.instance.master.address=none_loopback_host_ip:8527 \
-e canal.instance.dbUsername=polardbx_root \
-e canal.instance.dbPassword=123456 \
-e canal.instance.connectionCharset=UTF-8 \
-e canal.instance.tsdb.enable=true \
-e canal.instance.gtidon=false
```

1. 部署ClickHouse。

ClickHouse是一款分析系统，详情请参见[ClickHouse官方文档](https://clickhouse.com/)。ClickHouse提供了Docker镜像，详情请参见[ClickHouseDocker镜像文档](https://hub.docker.com/r/clickhouse/clickhouse-server)。

执行如下命令，部署ClickHouse。

```
docker run -d --name some-clickhouse-server --ulimit nofile=262144:262144 -p 8123:8123 yandex/clickhouse-server
```

1. 在PolarDB-X和ClickHouse中创建测试库和表。

(1) 执行如下命令，登录PolarDB-X数据库。

```
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
```

(2) 执行如下SQL语句，创建数据库testdb。

```
CREATE DATABASE testdb;
```

(3) 执行如下SQL语句，使用数据库testdb。

```
USE testdb;
```

(4) 执行如下SQL语句，创建test表。

```
CREATE TABLE test(
id INT(11) AUTO_INCREMENT PRIMARY KEY,
name CHAR(20) not null );
```

(5) 输入exit退出数据库。

![img](https://ucc.alicdn.com/pic/developer-ecology/83b8b5c857e0400481d57e4d0b0f0ef9.png)

(6) 执行如下命令，登录ClickHouse数据库。

```
docker run -it --rm --link some-clickhouse-server:clickhouse-server yandex/clickhouse-client --host clickhouse-server
```

(7) 执行如下SQL语句，创建数据库testdb。

```
CREATE DATABASE testdb;
```

(8) 执行如下SQL语句，使用数据库testdb。

```
USE testdb;
```

(9) 执行如下SQL语句，创建test表。

```
Create Table test(id INT(32),name CHAR(20)) Engine = MergeTree() Order By id;
```

(10) 输入exit退出数据库。

1. 运行Canal Client消费并投递增量变更。

经过以上步骤，您已经准备好了PolarDB-X、Canal Server和ClickHouse三个容器，并且在源端（PolarDB-X）和目标端（ClickHouse）建好了测试用的数据库和表。接下来我们通过Canal Client消费Canal Server获取的增量数据，并将源端DML中的Insert事件投递到ClickHouse中。

(1) 执行如下命令，使用yum安装JDK 1.8。

```
yum -y install java-1.8.0-openjdk*
```

(2) 执行如下命令，下载polardb-x-to-clickhouse-canal-client.jar投递代码文件。

```
wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/polardb-x-to-clickhouse-canal-client.jar
```

(3) 执行如下命令，运行polardb-x-to-clickhouse-canal-client.jar代码文件。

```
java -jar polardb-x-to-clickhouse-canal-client.jar
```

**注意：**请勿中断投递代码文件，否则会造成投递失败。

(4) 投递链路已成功打通，接下来您可以在源端（PolarDB-X）执行INSERT语句，并观察目标端（ClickHouse）中的数据变化。

在实验页面，单击右上角的![img](https://ucc.alicdn.com/pic/developer-ecology/fb9a00a2cbff4bf59597914e7413505b.png) 图标，创建新的终端窗口。

![img](https://ucc.alicdn.com/pic/developer-ecology/e9d5f36fdfee40318fc6ea64b84841e0.png)

(5) 在新的终端窗口中，执行如下命令，登录PolarDB-X数据库。

```
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
```

(6) 执行如下SQL语句，使用数据库testdb。

```
USE testdb;
```

(7) 执行如下SQL语句，插入一条数据。

```
INSERT INTO test(name) values("polardb-x"), ("is"), ("awsome");
```

(8) 输入exit退出数据库。

(9) 执行如下命令，登录ClickHouse数据库。

```
docker run -it --rm --link some-clickhouse-server:clickhouse-server yandex/clickhouse-client --host clickhouse-server
```

(10) 执行如下SQL语句，使用数据库testdb。

```
USE testdb;
```

(11) 执行如下SQL语句，查询test表

```
SELECT * FROM test;
```

返回结果如下，您可以看到目标端（ClickHouse）接收到投递过来的数据。

![img](https://ucc.alicdn.com/pic/developer-ecology/4aed414de5954f2da0849c14764f1e0f.png)

PolarDB-X应用测试

阿里2022暑期PolarDB-X集训营笔记



本步骤将指导您如何安装并启动依赖Docker。

执行如下命令，安装Docker。

```
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
```

执行如下命令，启动Docker。

```
systemctl start docker
```

本步骤将指导您如何使用Docker镜像安装PolarDB-X。

执行如下命令，拉取PolarDB-X容器镜像。

```
docker pull polardbx/polardb-x
```

1. 执行如下命令，运行PolarDB-X容器。

```
docker run -d --name some-polardb-x -p 8527:8527 polardbx/polardb-x
```

本步骤将指导您如何登录PolarDB-X并体验PolarDB-X的分布式特性。

PolarDB-X支持通过MySQL Client命令行、第三方客户端以及符合MySQL交互协议的第三方程序代码进行连接。本实验场景主要介绍如何通过MySQL Client命令行连接到PolarDB-X数据库。

执行如下命令，安装MySQL。

```
yum install mysql -y
```

执行如下命令，查看MySQL版本号。

```
mysql -V
```

返回结果如下，表示您已成功安装MySQL。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636919.png)

执行如下命令，登录PolarDB-X数据库。

```
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
```

**说明**：

本实验场景中的PolarDB-X数据库用户名和密码已预设，请您使用下方命令登录即可。

如遇到mysql: [Warning] Using a password on the command line interface can be insecure. ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0报错，重新执行登录命令即可。

执行如下SQL语句，检查GMS。

```
select * from information_schema.schemata;
```

体验PolarDB-X数据库的分布式特性。

执行如下SQL语句，创建数据库。

```
create database polarx_example mode='auto'; 
```

执行如下SQL语句，使用polarx_example数据库。

```
use polarx_example;
```

执行如下SQL语句，创建数据表。

```
create table example (
  `id` bigint(11) auto_increment NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  `score` bigint(11) DEFAULT NULL,
  primary key (`id`)
) engine=InnoDB default charset=utf8 
partition by hash(id) 
partitions 8;
```

执行如下SQL语句，向example数据表中插入数据。

```
insert into example values(null,'lily',375),(null,'lisa',400),(null,'ljh',500);
```

执行如下SQL语句，查询example表所有数据。

```
select * from example;
```

执行如下SQL语句，查看example数据表的分区。

```
show topology from example;
```

返回结果如下，您可以看到example数据表分布在8个分区。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636508.png)

执行如下SQL语句，检查CDC。

```
show master status;
show binlog events  in 'binlog.000001' from 4;
```

执行如下SQL语句，检查DN和CN。

```
show storage;  
show mpp;
```

输入exit退出数据库。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636746.png)

执行如下命令，停止PolarDB-X容器。

```
docker stop some-polardb-x
```

本步骤将指导您如何使用PXD工具一键安装PolarDB-X，详细文档参考[使用PXD工具一键安装PolarDB-X](https://doc.polardbx.com/quickstart/topics/quickstart-pxd-cluster.html)。

安装 PXD

PXD是PolarDB-X的部署工具，除了支持在本地一键快速拉起测试环境外，也支持在Linux集群中通过指定的拓扑的方式部署PolarDB-X分布式数据库。

**说明**：本实验场景使用virtual environment安装PXD工具。

执行如下命令，创建并激活虚拟场景。

```
python3 -m venv venv
source venv/bin/activate
```

执行如下命令，升级pip。

```
pip install --upgrade pip
```

执行如下命令，安装PXD。

```
pip install pxd
```

部署PolarDB-X。

**说明**：部署PolarDB-X有两种方式，请您选择其中一种方式即可。

- 方式一：执行如下命令，创建一个PolarDB-X数据库，其中GMS、CN、DN和CDC节点个数为1。

```
pxd tryout
```

- 方式二：执行如下命令，创建一个PolarDB-X数据库，指定CN、DN和CDC节点个数为1以及版本为latest。

```
pxd tryout -cn_replica 1 -cn_version latest -dn_replica 1 -dn_version latest -cdc_replica 1 -cdc_version latest
```

返回结果如下，表示您已成功部署PolarDB-X数据库，您可以看到输出的连接信息，通过MySQL Client即可连接。

**注意**：PolarDB-X管理员账号的密码随机生成，仅出现这一次，请注意保存。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636752.png)

执行如下命令，登录PolarDB-X数据库。

```
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
```

体验PolarDB-X。

执行如下SQL语句，检查GMS。

```
select * from information_schema.schemata;
```

执行如下SQL语句，创建数据库。

```
create database polarx_example mode='auto'; 
```

执行如下SQL语句，使用polarx_example数据库。sd

```
use polarx_example;
```

执行如下SQL语句，创建数据表。

```
create table example (
  `id` bigint(11) auto_increment NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  `score` bigint(11) DEFAULT NULL,
  primary key (`id`)
) engine=InnoDB default charset=utf8 
partition by hash(id) 
partitions 8;
```

执行如下SQL语句，向example数据表中插入数据。

```
insert into example values(null,'lily',375),(null,'lisa',400),(null,'ljh',500);
```

执行如下SQL语句，查询example表所有数据。

```
select * from example;
```

执行如下SQL语句，查看example数据表的分区。

```
show topology from example;
```

返回结果如下，您可以看到example数据表分布在8个分区。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636496.png)

执行如下SQL语句，检查CDC。

```
show master status;
show binlog events  in 'binlog.000001' from 4;
```

执行如下SQL语句，检查DN和CN。

```
show storage;  
show mpp;
```

输入exit退出数据库。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636486.png)

查看PolarDB-X状态。

执行如下命令，查看当前环境的PolarDB-X状态。

```
pxd list
```

返回如下结果，您可查看到PolarDB-X状态。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636576.png)

清理PolarDB-X。

执行如下命令，清理本地环境所有的PolarDB-X

```
pxd cleanup
```

本步骤将指导您如何创建一个简单的Kubernetes集群并部署PolarDB-X Operator ，使用Operator部署一个完整的PolarDB-X集群，详细文档请参考[通过](https://doc.polardbx.com/quickstart/topics/quickstart-k8s.html)。

安装kubectl。

执行如下命令，下载kubectl文件。

```shell
curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl
```

执行如下命令，赋予可执行权限。

```shell
chmod +x ./kubectl
```

执行如下命令，移动到系统目录。

```shell
mv ./kubectl /usr/local/bin/kubectl
```

安装minikube。

执行如下命令，下载并安装minikube。

```shell
curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
sudo install minikube-linux-amd64 /usr/local/bin/minikube
```

安装Helm3。

执行如下命令，下载Helm3。

```shell
wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/helm-v3.9.0-linux-amd64.tar.gz
```

执行如下命令，解压Helm3。

```shell
tar -zxvf helm-v3.9.0-linux-amd64.tar.gz
```

执行如下命令，移动到系统目录。

```shell
mv linux-amd64/helm /usr/local/bin/helm
```

使用minikube创建Kubernetes集群。

minikube是由社区维护的用于快速创建Kubernetes测试集群的工具，适合测试和学习Kubernetes。使用minikube创建的Kubernetes集群可以运行在容器或是虚拟机中，本实验场景以CentOS 8.5上创建Kubernetes为例。

**说明**：如您使用其他操作系统部署minikube，例如macOS或Windows，部分步骤可能略有不同。

执行如下命令，新建账号galaxykube，并将galaxykube加入docker组中。minikube要求使用非root账号进行部署，所有您需要新建一个账号。

```shell
useradd -ms /bin/bash galaxykube 
usermod -aG docker galaxykube 
```

执行如下命令，切换到账号galaxykube。

```shell
su galaxykube
```

执行如下命令，进入到home/galaxykube目录。

```shell
cd
```

执行如下命令，启动一个minikube。

**说明**：这里我们使用了阿里云的minikube镜像源以及USTC提供的docker镜像源来加速镜像的拉取。

```shell
minikube start --cpus 4 --memory 7168 --image-mirror-country cn --registry-mirror=https://docker.mirrors.ustc.edu.cn
```

返回结果如下，表示minikube已经正常运行，minikube将自动设置kubectl的配置文件。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011636646.png)

执行如下命令，使用kubectl查看集群信息。

```shell
minikube kubectl -- cluster-info
```

返回如下结果，您可以查看到集群相关信息.

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011637433.png)

部署 PolarDB-X Operator。

执行如下命令，创建一个名为polardbx-operator-system的命名空间。

```shell
kubectl create namespace polardbx-operator-system
```

执行如下命令，安装PolarDB-X Operator。

```shell
helm install --namespace polardbx-operator-system polardbx-operator https://github.com/ApsaraDB/galaxykube/releases/download/v1.1.0/polardbx-operator-1.1.0.tgz
```

执行如下命令，查看PolarDB-X Operator组件的运行情况。

```
kubectl get pods --namespace polardbx-operator-system
```

返回结果如下，请您耐心等待2分钟，等待所有组件都进入Running状态，表示PolarDB-X Operator已经安装完成。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011637508.png)

部署 PolarDB-X 集群。

执行如下命令，部署一个PolarDB-X集群，它包含1个GMS 节点、1个 CN节点、1个DN节点和1 个CDC节点。

```shell
echo "apiVersion: polardbx.aliyun.com/v1
kind: PolarDBXCluster
metadata:
  name: quick-start
  annotations:
    polardbx/topology-mode-guide: quick-start" | kubectl apply -f -
```

执行如下命令，查看创建状态。

```shell
kubectl get polardbxcluster -w
```

返回结果如下，请您耐心等待大约七分钟，当PHASE显示为Running时，表示PolarDB-X集群已经部署完成。现在您可以开始连接并体验PolarDB-X分布式数据库了。

![img](https://picwong.oss-cn-qingdao.aliyuncs.com/zr.wongcw/202207011637419.png)



本步骤将指导您如何使用源码编译安装PolarDB-X，详细文档请详见[源码编译安装PolarDB-X](https://doc.polardbx.com/quickstart/topics/quickstart-development.html)。

执行如下命令，安装git。

```
yum -y install git
```

执行如下命令，下载源码。

```
git clone https://github.com/ApsaraDB/PolarDB-X.git
```

执行如下命令，进入PolarDB-X目录。

```
cd PolarDB-X
```

执行如下命令，编译。

**说明**：make将下载所有源码、工具和库，并构建和安装PolarDB-X。源码将下载到./build目录下，编译好的二进制文件将安装到./build/run目录下。您可以运行make clean来移除安装，并尝试再次构建PolarDB-X。您也可以运行make cleanAll来删除./build下的所有东西。这个过程可能需要半个多小时，取决于您的网络带宽。

```
make
```

执行如下命令，运行PolarDB-X。

```
./build/run/bin/polardb-x.sh start
```

执行如下命令，停止PolarDB-X。

```
./build/run/bin/polardb-x.sh stop
```

PolarDB-X部署

介绍公司实际项目实战，DATAX离线数据迁移。



### MySQL2MongoDB

1.Josn配置文件可能加载失败，需要核对各参数，严格按照官方样例写参数，即使是Json格式也可能解析失败！

2.源库单表数据量过大时一定要加主键，加分片键 "**splitPk**"，分片键必需为主键、int整数型，此键可以不包含在所传输字段中；

3.报错：

```
Exception in thread "taskGroup-0" com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-07], Description:[读取数据库数据失败. 请检查您的配置的 column/table/where/querySql或者向 DBA 寻求帮助.].  - 执行的SQL为: select WorkOrderId,CustStoreId,CustStoreName,CustStoreCode,PreCustStoreId,PreCustStoreName,CustSettleId,CustSettleName,IsCustomer,CustCoopType,ProCode,AppCode,ProName,CityCode,CityName,AreaCode,AreaName,InstallAddress,InstallTime,RequiredTime,LinkMan,LinkTel,SourceType,SecondLinkTel,SecondLinkMan,WarehouseId,WarehouseName,Remark,IsUrgent,CustUniqueSign,CreatePersonCode,CreatePersonName,EffectiveTime,OrderType,EffectiveSuccessfulTime,CreatedById,CreatedAt,UpdatedById,UpdatedAt,DeletedById,DeletedAt,Deleted,AppointStatus,ServiceCode,CreateType,ServiceName,RecCompleteTime,RecRecordPersonCode,RecRecordPersonName,WfOrderCompletetime,WfAssignor,WfDirectOrderAccept,WorkOdrTypeStatus,WorkOdrCloseStatusName,WorkOdrSuspendStatus,WorkStatus,WorkOdrClosedAt,AFCCreatedAt,AFCRetreatTime,AFCFollowFrequency,AFCIfRemove,AFCReturnedTypeCode,VHSAppraisalStatus,VHSReceiverLoginName,OperatingInfo,OperatedInfo,ServiceProviderCode,WorkflowInfo,WorkServiceSubject,AFCWorkFinanceRecord,AFCPaymentReport,VHSWorkFileReceiveInfo,CustomerId,CustomerName from workjsoninfo  where  (169036 <= Id AND Id < 338071)  具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Application was streaming results when the connection failed. Consider raising value of 'net_write_timeout' on the server.
```

解决方法：

增加源端 wait_timeout 参数值。

NULL值处理



问题：mysql2mongo数据库传输，不识别mysql内josn字段，因为datax会给json增加转义字符 "\"

解决方法:源端字段类型改为varchar，入目标为array类型，mongodbwriter需要指定特殊解析数组分隔符；







### 注意事项

1.单 executor执行速度有限，尽量开多管道；

DataX-MySQL2MongoDB案例

国外数据治理开源项目，DataHub的安装，应用探索。



# 产品介绍

前身为LinkedIn 的数据团队开发的 WhereHow，WhereHow 围绕着任何一个大数据系统中最重要的组成部分数据本身构建了一整套关于数据处理流程、使用人员和相关洞见的集中式平台和相应网页。

官网地址：https://datahubproject.io/

Demo地址：https://demo.datahubproject.io/

github开源地址：https://github.com/datahub-project/datahub

CSDN介绍链接：https://blog.csdn.net/ZYC88888/article/details/119213446

CSDN专栏介绍：https://cloud.189.cn/t/YZ3Ejyn6nUzq（访问码：9uhx）

各元数据管理系统实现功能对比：

![img](https://img-blog.csdnimg.cn/20210729163327921.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pZQzg4ODg4,size_16,color_FFFFFF,t_70)

# 使用场景

1. 元数据收集、发现，结构变更通知；
2. 数据血缘，开源版暂时不支持字段级血缘关系，不支持自动发现，需自己写脚本解析执行计划收集表字段关系；脚本样例：https://datahubproject.io/docs/lineage/sample_code
3. API接口获取元数据
4. 标签管理
5. 业务域划分
6. 权限控制

# 部署方案

### 环境要求

uname -a #CENTOS 7.9&8.5 安装成功，没特殊要求，其他发行版指令、依赖包不一样
python3 -V #0.8以后要求python版本大于3.6
java version #1.8
docker version #Docker version 20.10.16

部署附件：

https://cloud.189.cn/t/6RNFNbYVzM3y（访问码：uqk6）

下面这仨先不用下载

https://cloud.189.cn/t/Fb6jIrZbEFzq（访问码：oar2）

https://cloud.189.cn/t/yuuQZfryiUNf（访问码：qym5）

https://cloud.189.cn/t/FR7v2mbee2y2（访问码：mv0m）

### 安装依赖包
```
yum -y install libffi-devel
yum -y install zlib*
yum -y install gcc
yum -y install git
yum -y install python3-devel
yum -y install cyrus-sasl-devel
```

安装必要插件时使用

```shell
yum groupinstall "Development tools"
yum install openldap-devel python-devel
```

python 安装好后安装
```shell
pip install pyopenssl ndg-httpsclient pyasn1
pip install -U urllib3
pip install -U channels
pip install requests[security]
pip3 install toml
pip --cert /user/local/cacert.pem install -U channels
```

python编译安装 （python3 -V 大于3.6的忽略）
```shell
cd /opt/module/Python-3.8.0
#编译安装
./configure --prefix=/usr/local/python3
sudo make && sudo make install
#创建软连接
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3
#查看版本
python3 -V
```

great_expectations 插件安装 （root环境执行pip指令会有提示权限问题，忽略即可，也可以进入虚拟环境运行）
```shell
python -m venv /usr/bin/venv
source usr/bin/activate
pip install great_expectations
```

下载安装docker-compose、jq

```shell
wget https://github.com/docker/compose/releases/download/v2.5.0/docker-compose-linux-x86_64
wget https://github.com/stedolan/jq/releases/download/jq-1.6/jq-linux64
mv docker-compose-linux-x86_64 /usr/local/bin/docker-compose
mv jq-linux64 /usr/local/bin/jq
chmod +x /usr/local/bin/docker-compose
chmod +x /usr/local/bin/jq
```

### 部署

复制后台安装包

```shell
git clone git://github.com/linkedin/datahub.git
```

有时会连接失败，可以用上面网盘下载下来的安装包使用sftp上传至根目录

```shell
mkdir -p /opt/datahub
#解压至指定文件夹
tar -zxvf datahub-0.8.34.tar.gz -C /opt/datahub
```

后台初始化运行/shell 运行

```shell
cd /opt/datahub/docker
mkdir logs
touch logs/quickstart.log
nohup ./quickstart.sh > logs/quickstart.log 2>&1 &
tail -200f logs/quickstart.log
```

安装前台

```shell
pip install --upgrade pip wheel setuptools
pip uninstall datahub acryl-datahub || true
pip install --upgrade acryl-datahub

datahub version
```

检查前台运行情况

```shell
pip show acryl_datahub
```

docker方式启动(上面是shell运行方式，两者不能同时跑) 后面可以指定启动配置文件，默认没有图数据库组件，即没血缘关系

```shell
datahub docker quickstart --quickstart-compose-file /opt/datahub/docker/quickstart/docker-compose.quickstart.yml
```

检查各组件运行情况

```shell
docker ps --format "table {{.ID}}\t{{.Names}}\t{{.Ports}}\t{{.Status}}"
```

> CONTAINER ID   NAMES                       PORTS                                                                                            STATUS
> feccca9dc28d   datahub-frontend-react      0.0.0.0:9002->9002/tcp, :::9002->9002/tcp                                                        Up 2 hours (healthy)
> cb58e6dd06c9   datahub-datahub-actions-1                                                                                                    Up 2 hours
> fdc533e04c62   schema-registry             0.0.0.0:8081->8081/tcp, :::8081->8081/tcp                                                        Up 2 hours
> 3d6985bdb797   broker                      0.0.0.0:9092->9092/tcp, :::9092->9092/tcp, 0.0.0.0:29092->29092/tcp, :::29092->29092/tcp         Up 2 hours
> e8552b179b85   datahub-gms                 0.0.0.0:8080->8080/tcp, :::8080->8080/tcp                                                        Up 2 hours (healthy)
> dd45ab58216d   mysql                       0.0.0.0:3306->3306/tcp, :::3306->3306/tcp, 33060/tcp                                             Up 2 hours
> 8ce0c1069530   zookeeper                   2888/tcp, 0.0.0.0:2181->2181/tcp, :::2181->2181/tcp, 3888/tcp                                    Up 2 hours
> 0c54c0cea09c   neo4j                       0.0.0.0:7474->7474/tcp, :::7474->7474/tcp, 7473/tcp, 0.0.0.0:7687->7687/tcp, :::7687->7687/tcp   Up 2 hours
> 87c2617c36da   elasticsearch               0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 9300/tcp                                              Up 2 hours (healthy)

#检查插件

```shell
datahub check plugins
```

安装数据源插件

```shell
pip install 'acryl-datahub[mysql]'
pip install 'acryl-datahub[bigquery]'
pip install 'acryl-datahub[bigquery-usage]'
pip install 'acryl-datahub[druid]'
pip install 'acryl-datahub[hive]'
pip install 'acryl-datahub[kafka]'
pip install 'acryl-datahub[kafka-connect]'
pip install 'acryl-datahub[metabase]'
pip install 'acryl-datahub[mongodb]'
pip install 'acryl-datahub[mssql]'
pip install 'acryl-datahub[mariadb]'
pip install 'acryl-datahub[openapi]'
pip install 'acryl-datahub[oracle]'
pip install 'acryl-datahub[postgres]'
pip install 'acryl-datahub[sqlalchemy]'
```

目标端插件

```shell
pip install 'acryl-datahub[datahub-rest]'
pip install 'acryl-datahub[datahub-kafka]'
```

airflow组件（暂时用不到，crontab可实现定时更新元数据）

```shell
 pip install acryl-datahub[airflow]
```

<font color=red>降级great_expectations</font>

> python 包great_expectation升级至最新版本后datahub未适配，必需降级至0.14.0

```shell
pip install --upgrade great-expectations==0.14.0
```

血缘关系开启（未成功）

```SHELL
# For REST-based:
airflow connections add  --conn-type 'datahub_rest' 'datahub_rest_default' --conn-host 'http://localhost:8080'
# For Kafka-based (standard Kafka sink config can be passed via extras):
airflow connections add  --conn-type 'datahub_kafka' 'datahub_kafka_default' --conn-host 'broker:9092' --conn-extra '{}'
```

添加配置文件

```shell
vim ./airflow/airflow.cfg
```

```cfg
[lineage]
backend = datahub_provider.lineage.datahub.DatahubLineageBackend
datahub_kwargs = {
    "datahub_conn_id": "datahub_rest_default",
    "cluster": "prod",
    "capture_ownership_info": true,
    "capture_tags_info": true,
    "graceful_exceptions": true }
# The above indentation is important!
```

导入MySQL元数据

```shell
vim /opt/datahub/docker/ingestion/mysql_datahub.yml
```

```yaml
source:
  type: "mysql"
  config:
    username: "user_xxx"
    password: "xxxxx"
    database: "yourdatabase"
    host_port: "10.10.1.10:3306"
sink:
  type: "datahub-rest"
  config:
    server: 'http://localhost:8080'
```

导入操作

```shell
datahub ingest -c /opt/datahub/docker/ingestion/mysql_datahub.yml
```

使用linux定时任务定时导入数据源，crontab 计算器https://www.matools.com/crontab

```shell
#编辑定时器
crontab -e
#按 i 进入编辑模式 添加每3小时执行一次任务 后保存退出
0 0 0-3 * * ? datahub ingest -c /opt/datahub/docker/ingestion/mysql_datahub.yml
#查看任务列表
crontab -l
```

### 查看

http://ip:9002 （机器必需开启9002端口外网访问）

### 销毁容器等

关闭后台各docker容器 （保留数据）

```shell
datahub docker nuke --keep-data
```

docker关闭、删除所有容器

```shell
docker stop $(docker ps -a -q)
docker rm $(docker ps -aq)
```

查看docker运行中项目日志

```css
docker logs -f  容器ID
docker logs -f -t --tail 100 容器ID
```

查看docker-compose运行日志

```r
docker-compose  logs -f
docker-compose  logs 
```

# 使用指南&FAQ

待补充