TIDB的md同步(多任务)

外题

本章依赖上一章的:TIDB的md同步(全量+增量)mysql同步

如果你有多个mysql机器,都想迁移到TIDB集群中(比如我就是)

那么就可以查看本章,如只想看md迁移单个mysql的话,可以过滤本章

声明:本文不适合所有人,博主使用这方式只是临时同步mysql使用,后续会将永久任务迁移,然后直接回收本机,建议只作为参考

扩容

.yaml

master_servers:
  - host: 172.18.3.43
    ssh_port: 22
    port: 3011
    peer_port: 3021
    deploy_dir: "/usr/local/tidb/dm3011"
    data_dir: "/data/tidb/dm3011"
worker_servers:
  - host: 172.18.3.43
    ssh_port: 22
    port: 3031
    deploy_dir: "/usr/local/tidb/dm3031"

也可以只扩容worker

执行扩容命令

tiup dm scale-out dm-sdk scale.yaml

创建同步源

.yaml

source-id: "yy"
enable-gtid: true

from:
 host: "172.18.3.48"
 port: 3306
 user: "xxxx"
 password: "xxxxxxxx"

加入同步源

tiup dmctl --master-addr 172.18.3.43:3011 operate-source create yy.yaml

创建task任务

.yaml任务

name: yy-task
task-mode: all
case-sensitive: true
clean-dump-file: true

target-database:
  host: "172.18.3.40"
  port: 4000
  user: "xxx"
  password: "xxxxxxx"

mysql-instances:
  -
    source-id: "yy"
    block-allow-list:  "instance"
    mydumper-thread: 4
    loader-thread: 3
    syncer-thread: 3

block-allow-list:
  instance:
    do-dbs: ["xxxx"]
    ignore-dbs: ["mysql", "sys", "information_schema", "performance_schema"]

检查任务

tiup dmctl --master-addr 172.18.3.43:3011 check-task yy-task.yaml

启动任务

tiup dmctl --master-addr 172.18.3.43:3011 start-task yy-task.yaml

查看任务

tiup dmctl --master-addr 172.18.3.43:3011 query-status yy-task

再次声明:本文不适合所有人,博主使用这方式只是临时同步mysql使用,后续会将永久任务迁移,然后直接回收本机,建议只作为参考


   转载规则


《TIDB的md同步(多任务)》 江松泉 采用 知识共享署名 4.0 国际许可协议 进行许可。
 上一篇
TIDB的md只增量同步 TIDB的md只增量同步
外题本文只写增量,全量请看历史文章 为啥用增量呢,因为同步机目前比较乱,近10个任务,只有小部分任务需要保留,所以配置也不用太高,磁盘也不用太高,所以通过重新新一台机搭建md集群,用增量同步来达到迁移的效果 增量怎么保持数据一致性,这个,因
2022-06-21
下一篇 
TIDB的md同步(全量+增量)mysql同步 TIDB的md同步(全量+增量)mysql同步
外题竟然是mysql转TIDB,那么就需要mysql的数据同步到TIDB 通过TIUP进行使用,TIUP如何安装,请看本站的TIDB集群搭建或官方文档 注意:多看官方文档 安装需要二个组件 DM安装 tiup install dm dmct
2022-06-21
  目录