From 957895cf712aba989ad66b6e68fb5e1a4fcea3dd Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 10:09:12 +0800 Subject: [PATCH 01/10] fix cdc Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 658d13e7ce9f..c9769c429743 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -53,6 +53,8 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; * v5.1 版本及后续版本将不再支持设置系统表的 replica。在集群升级前，需要清除相关系统表的 replica，否则升级到较高版本后将无法再修改系统表的 replica 设置。 +* 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 + ### 查看表同步进度 可通过如下 SQL 语句查看特定表（通过 WHERE 语句指定，去掉 WHERE 语句则查看所有表）的 TiFlash 副本的状态： From 7ac4d87125d389b620af152bf1bdb7dc7247417c Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 11:00:51 +0800 Subject: [PATCH 02/10] fix cdc2 Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 4 +++- 1 file changed, 3 insertions(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index c9769c429743..5726a6a3e8f1 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -53,7 +53,9 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; * v5.1 版本及后续版本将不再支持设置系统表的 replica。在集群升级前，需要清除相关系统表的 replica，否则升级到较高版本后将无法再修改系统表的 replica 设置。 -* 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 +> **注意：** +> +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 ### 查看表同步进度 From 5bdb5a1c69009e96c625a752bc43c1478f1a5e89 Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 11:57:28 +0800 Subject: [PATCH 03/10] fix cdc3 Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 5726a6a3e8f1..5bc59ac1098d 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -106,6 +106,8 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > - 该命令执行结束后，在该库中新建的表不会自动创建 TiFlash 副本。 > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 +> +> - 通过设置 `tidb_batch_pending_tiflash_count` 环境变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度 From 7c11b80f73611ef28d4561c56a96eb7f5e8a728e Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 16:26:27 +0800 Subject: [PATCH 04/10] Update tiflash/create-tiflash-replicas.md Co-authored-by: wlwilliamx <53336371+wlwilliamx@users.noreply.github.com> --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 5bc59ac1098d..0e18f27515b0 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,7 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。 ### 查看表同步进度 From c0374fbdbc8ed73519a3c16eeb573f3396d497d1 Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 16:28:13 +0800 Subject: [PATCH 05/10] f Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 0e18f27515b0..ad359cf2acc4 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -107,7 +107,7 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 > -> - 通过设置 `tidb_batch_pending_tiflash_count` 环境变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 +> - 通过设置 `tidb_batch_pending_tiflash_count` 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度 From 1e5ffa8b2215e0309b138679e66a36917e162ed6 Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Tue, 11 Mar 2025 17:19:59 +0800 Subject: [PATCH 06/10] fix Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index ad359cf2acc4..d5ad16496d4b 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,7 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。 +> TiCDC 不会同步添加或移除 TiFlash 副本的 DDL，即 `ALTER TABLE table_name SET TIFLASH REPLICA count`。 ### 查看表同步进度 From 6e0db8554d6b2ccf3069adc4d8098b0583bf6bcf Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Tue, 11 Mar 2025 17:22:29 +0800 Subject: [PATCH 07/10] merge Signed-off-by: Calvin Neo --- ticdc/ticdc-compatibility.md | 8 ++++++++ tiflash/create-tiflash-replicas.md | 5 ++++- 2 files changed, 12 insertions(+), 1 deletion(-) diff --git a/ticdc/ticdc-compatibility.md b/ticdc/ticdc-compatibility.md index a9fb592683c6..c49627449e3d 100644 --- a/ticdc/ticdc-compatibility.md +++ b/ticdc/ticdc-compatibility.md @@ -28,6 +28,14 @@ summary: 了解 TiCDC 兼容性相关限制和问题处理。 1. 使用下游系统提供的离线导入工具，将 TiDB Lightning 的输入文件导入到下游系统。 2. 创建 changefeed，用于同步后续通过 SQL 写入的增量数据。详情参考[创建同步任务](/ticdc/ticdc-manage-changefeed.md#创建同步任务)。 + +## TiCDC 与 TiFlash 的兼容性 + +目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: + +* `ALTER TABLE table_name SET TIFLASH REPLICA count;` +* `ALTER DATABASE db_name SET TIFLASH REPLICA count;` + ## 命令行参数和配置文件兼容性 * TiCDC v4.0.0 中移除了 `ignore-txn-commit-ts`，添加了 `ignore-txn-start-ts`，使用 start_ts 过滤事务。 diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index d5ad16496d4b..65a0bcf72118 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,10 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> TiCDC 不会同步添加或移除 TiFlash 副本的 DDL，即 `ALTER TABLE table_name SET TIFLASH REPLICA count`。 +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: +> +> * `ALTER TABLE table_name SET TIFLASH REPLICA count;` +> * `ALTER DATABASE db_name SET TIFLASH REPLICA count;` ### 查看表同步进度 From e36bfaee110f68de095bca9911fb1924d6073cb4 Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Tue, 11 Mar 2025 17:27:57 +0800 Subject: [PATCH 08/10] merge Signed-off-by: Calvin Neo --- ticdc/ticdc-compatibility.md | 1 - 1 file changed, 1 deletion(-) diff --git a/ticdc/ticdc-compatibility.md b/ticdc/ticdc-compatibility.md index c49627449e3d..9acbdbda8891 100644 --- a/ticdc/ticdc-compatibility.md +++ b/ticdc/ticdc-compatibility.md @@ -28,7 +28,6 @@ summary: 了解 TiCDC 兼容性相关限制和问题处理。 1. 使用下游系统提供的离线导入工具，将 TiDB Lightning 的输入文件导入到下游系统。 2. 创建 changefeed，用于同步后续通过 SQL 写入的增量数据。详情参考[创建同步任务](/ticdc/ticdc-manage-changefeed.md#创建同步任务)。 - ## TiCDC 与 TiFlash 的兼容性 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: From 215336ee7e67f4d8d28c0def5e578eae928c1c4b Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Mon, 31 Mar 2025 19:14:01 +0800 Subject: [PATCH 09/10] Apply suggestions from code review --- ticdc/ticdc-compatibility.md | 2 +- tiflash/create-tiflash-replicas.md | 4 ++-- 2 files changed, 3 insertions(+), 3 deletions(-) diff --git a/ticdc/ticdc-compatibility.md b/ticdc/ticdc-compatibility.md index 9acbdbda8891..3502d327dd8e 100644 --- a/ticdc/ticdc-compatibility.md +++ b/ticdc/ticdc-compatibility.md @@ -30,7 +30,7 @@ summary: 了解 TiCDC 兼容性相关限制和问题处理。 ## TiCDC 与 TiFlash 的兼容性 -目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: +目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本，即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: * `ALTER TABLE table_name SET TIFLASH REPLICA count;` * `ALTER DATABASE db_name SET TIFLASH REPLICA count;` diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 65a0bcf72118..5814816d9707 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,7 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本，即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: > > * `ALTER TABLE table_name SET TIFLASH REPLICA count;` > * `ALTER DATABASE db_name SET TIFLASH REPLICA count;` @@ -110,7 +110,7 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 > -> - 通过设置 `tidb_batch_pending_tiflash_count` 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 +> - 通过设置 [`tidb_batch_pending_tiflash_count`](/system-variables.md/#tidb_batch_pending_tiflash_count-从-v60-版本开始引入) 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度 From e93303fc1255c01b1df484cbac0a84b583257a25 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Tue, 1 Apr 2025 14:09:19 +0800 Subject: [PATCH 10/10] Update tiflash/create-tiflash-replicas.md --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 5814816d9707..70ba51062094 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -110,7 +110,7 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 > -> - 通过设置 [`tidb_batch_pending_tiflash_count`](/system-variables.md/#tidb_batch_pending_tiflash_count-从-v60-版本开始引入) 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 +> - 通过设置 [`tidb_batch_pending_tiflash_count`](/system-variables.md#tidb_batch_pending_tiflash_count-从-v60-版本开始引入) 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度