TiDB DM-1 概述及运维

TiDB DM-1 概述及运维

功能：一体化的数据迁移任务管理工具，用于将数据从与 MySQL 协议兼容的数据库迁移到 TiDB。支持全量迁移和增量同步；支持对表与操作进行过滤；支持分库分表的合并迁移。起源：源自微众银行项目，和微众一起打磨出来；数据量：全量迁移，目前建议用于 1TB 以内的存量数据；典型用户：微众、小米、德克士、Paypay等开发语言：主要是go、shell；

本文总结了 TiDB Data Migration (DM) 工具日常巡检的方法：安装运维：TIup（tiup dm）：list，start，display，scale-in，scale-out，upgrade，edit-config,reload，dmctl：list-member,query-status,start-task;OpenAPI，如下：curl -X 'DELETE' 'http://127.0.0.1:8261/api/v1/cluster/masters/master1' -H 'accept: */*'错误调查：方法一：执行 query-status 命令查看任务运行状态以及相关错误输出。详见查询状态。方法二：如果使用 TiUP 部署 DM 集群时正确部署了 Prometheus 与 Grafana，如 Grafana 的地址为 172.16.10.71，可在浏览器中打开 http://172.16.10.71:3000 进入 Grafana，选择 DM 的 Dashboard 即可查看 DM 相关监控项。具体监控指标参照监控与告警设置。方法三：通过日志文件查看 DM 运行状态和相关错误。DM-master 日志目录：通过 DM-master 进程参数 --log-file 设置。如果使用 TiUP 部署 DM，则日志目录位于 {log_dir}。DM-worker 日志目录：通过 DM-worker 进程参数 --log-file 设置。如果使用 TiUP 部署 DM，则日志目录位于 {log_dir}。