From 59e5d2d3ff9e942c3c8f54bf49409f877e8fb983 Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 10:09:12 +0800 Subject: [PATCH 01/10] fix cdc Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index e5240380a179..9c812f27f87e 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -53,6 +53,8 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; * v5.1 版本及后续版本将不再支持设置系统表的 replica。在集群升级前，需要清除相关系统表的 replica，否则升级到较高版本后将无法再修改系统表的 replica 设置。 +* 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 + ### 查看表同步进度 可通过如下 SQL 语句查看特定表（通过 WHERE 语句指定，去掉 WHERE 语句则查看所有表）的 TiFlash 副本的状态： From 1222af3d780b0d712e5771caee5186d8535868c2 Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 11:00:51 +0800 Subject: [PATCH 02/10] fix cdc2 Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 4 +++- 1 file changed, 3 insertions(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 9c812f27f87e..479ea50f0645 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -53,7 +53,9 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; * v5.1 版本及后续版本将不再支持设置系统表的 replica。在集群升级前，需要清除相关系统表的 replica，否则升级到较高版本后将无法再修改系统表的 replica 设置。 -* 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 +> **注意：** +> +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 ### 查看表同步进度 From cbcbdc295352a16db29ac151fd26b38ce4a1df97 Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 11:57:28 +0800 Subject: [PATCH 03/10] fix cdc3 Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 479ea50f0645..726e5d87661a 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -106,6 +106,8 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > - 该命令执行结束后，在该库中新建的表不会自动创建 TiFlash 副本。 > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 +> +> - 通过设置 `tidb_batch_pending_tiflash_count` 环境变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度 From 2142f65d4d0a70e470aaf57bbaa29b6d2e204e8d Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 16:26:27 +0800 Subject: [PATCH 04/10] Update tiflash/create-tiflash-replicas.md Co-authored-by: wlwilliamx <53336371+wlwilliamx@users.noreply.github.com> --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 726e5d87661a..af460b370481 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,7 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不会自动为表创建 TiFlash 副本。 +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。 ### 查看表同步进度 From f53ec122467408fb966e1c02dc0f99aa5a9a42ca Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Fri, 7 Mar 2025 16:28:13 +0800 Subject: [PATCH 05/10] f Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index af460b370481..beee233542a3 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -107,7 +107,7 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 > -> - 通过设置 `tidb_batch_pending_tiflash_count` 环境变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 +> - 通过设置 `tidb_batch_pending_tiflash_count` 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度 From 13bf6e50be40025b31d3b898aea6796a5538be80 Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Tue, 11 Mar 2025 17:19:59 +0800 Subject: [PATCH 06/10] fix Signed-off-by: Calvin Neo --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index beee233542a3..70adaacf9450 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,7 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。 +> TiCDC 不会同步添加或移除 TiFlash 副本的 DDL，即 `ALTER TABLE table_name SET TIFLASH REPLICA count`。 ### 查看表同步进度 From 17afb35e250cd6d37f4e5a31a03deacdac325acb Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Tue, 11 Mar 2025 17:22:29 +0800 Subject: [PATCH 07/10] merge Signed-off-by: Calvin Neo --- ticdc/ticdc-compatibility.md | 8 ++++++++ tiflash/create-tiflash-replicas.md | 5 ++++- 2 files changed, 12 insertions(+), 1 deletion(-) diff --git a/ticdc/ticdc-compatibility.md b/ticdc/ticdc-compatibility.md index d56d8599aa5b..3980ea53883b 100644 --- a/ticdc/ticdc-compatibility.md +++ b/ticdc/ticdc-compatibility.md @@ -26,6 +26,14 @@ summary: 了解 TiCDC 兼容性相关限制和问题处理。 1. 使用下游系统提供的离线导入工具，将 TiDB Lightning 的输入文件导入到下游系统。 2. 创建 changefeed，用于同步后续通过 SQL 写入的增量数据。详情参考[创建同步任务](/ticdc/ticdc-manage-changefeed.md#创建同步任务)。 + +## TiCDC 与 TiFlash 的兼容性 + +目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: + +* `ALTER TABLE table_name SET TIFLASH REPLICA count;` +* `ALTER DATABASE db_name SET TIFLASH REPLICA count;` + ## 命令行参数和配置文件兼容性 * TiCDC v4.0.0 中移除了 `ignore-txn-commit-ts`，添加了 `ignore-txn-start-ts`，使用 start_ts 过滤事务。 diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index 70adaacf9450..a87d59a1e3ac 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,10 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> TiCDC 不会同步添加或移除 TiFlash 副本的 DDL，即 `ALTER TABLE table_name SET TIFLASH REPLICA count`。 +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: +> +> * `ALTER TABLE table_name SET TIFLASH REPLICA count;` +> * `ALTER DATABASE db_name SET TIFLASH REPLICA count;` ### 查看表同步进度 From 78cb42b44ce38eb307597c7b4ffa11a85eefa5a8 Mon Sep 17 00:00:00 2001 From: Calvin Neo Date: Tue, 11 Mar 2025 17:27:57 +0800 Subject: [PATCH 08/10] merge Signed-off-by: Calvin Neo --- ticdc/ticdc-compatibility.md | 1 - 1 file changed, 1 deletion(-) diff --git a/ticdc/ticdc-compatibility.md b/ticdc/ticdc-compatibility.md index 3980ea53883b..c5f8853ee387 100644 --- a/ticdc/ticdc-compatibility.md +++ b/ticdc/ticdc-compatibility.md @@ -26,7 +26,6 @@ summary: 了解 TiCDC 兼容性相关限制和问题处理。 1. 使用下游系统提供的离线导入工具，将 TiDB Lightning 的输入文件导入到下游系统。 2. 创建 changefeed，用于同步后续通过 SQL 写入的增量数据。详情参考[创建同步任务](/ticdc/ticdc-manage-changefeed.md#创建同步任务)。 - ## TiCDC 与 TiFlash 的兼容性 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: From 197ed7ea981a5dc1689e6fc54161cd9abc770e1d Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Mon, 31 Mar 2025 19:14:01 +0800 Subject: [PATCH 09/10] Apply suggestions from code review --- ticdc/ticdc-compatibility.md | 2 +- tiflash/create-tiflash-replicas.md | 4 ++-- 2 files changed, 3 insertions(+), 3 deletions(-) diff --git a/ticdc/ticdc-compatibility.md b/ticdc/ticdc-compatibility.md index c5f8853ee387..539838593d3d 100644 --- a/ticdc/ticdc-compatibility.md +++ b/ticdc/ticdc-compatibility.md @@ -28,7 +28,7 @@ summary: 了解 TiCDC 兼容性相关限制和问题处理。 ## TiCDC 与 TiFlash 的兼容性 -目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: +目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本，即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: * `ALTER TABLE table_name SET TIFLASH REPLICA count;` * `ALTER DATABASE db_name SET TIFLASH REPLICA count;` diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index a87d59a1e3ac..bb5a94d996cd 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -55,7 +55,7 @@ ALTER TABLE `tpch50`.`lineitem` SET TIFLASH REPLICA 0; > **注意：** > -> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本。即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: +> 目前，使用 TiCDC 同步表到下游 TiDB 集群时，不支持为表创建 TiFlash 副本，即 TiCDC 不支持同步 TiFlash 相关的 DDL，例如: > > * `ALTER TABLE table_name SET TIFLASH REPLICA count;` > * `ALTER DATABASE db_name SET TIFLASH REPLICA count;` @@ -110,7 +110,7 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 > -> - 通过设置 `tidb_batch_pending_tiflash_count` 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 +> - 通过设置 [`tidb_batch_pending_tiflash_count`](/system-variables.md/#tidb_batch_pending_tiflash_count-从-v60-版本开始引入) 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度 From 93340d4f3aa7f1a4615abfbc4b936e14343c77cb Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Tue, 1 Apr 2025 14:09:19 +0800 Subject: [PATCH 10/10] Update tiflash/create-tiflash-replicas.md --- tiflash/create-tiflash-replicas.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/create-tiflash-replicas.md b/tiflash/create-tiflash-replicas.md index bb5a94d996cd..30dea5c176f4 100644 --- a/tiflash/create-tiflash-replicas.md +++ b/tiflash/create-tiflash-replicas.md @@ -110,7 +110,7 @@ ALTER DATABASE `tpch50` SET TIFLASH REPLICA 0; > > - 该命令会跳过系统表、视图、临时表以及包含了 TiFlash 不支持字符集的表。 > -> - 通过设置 [`tidb_batch_pending_tiflash_count`](/system-variables.md/#tidb_batch_pending_tiflash_count-从-v60-版本开始引入) 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 +> - 通过设置 [`tidb_batch_pending_tiflash_count`](/system-variables.md#tidb_batch_pending_tiflash_count-从-v60-版本开始引入) 系统变量可以控制执行过程中允许的尚未同步完成的表的数量。调小该值有助于减低同步时集群受到的压力。注意，因为这个限制不是实时的，所以设置完后仍有可能存在尚未同步完成的表的数量超过限制的情况。 ### 查看库同步进度