From afbbdbba82ae4152ca24bd7a45b4ef4fb4bc81e2 Mon Sep 17 00:00:00 2001 From: Jianjun Liao Date: Mon, 10 Mar 2025 10:24:25 +0800 Subject: [PATCH 1/3] improve visualization of br Signed-off-by: Jianjun Liao --- br/backup-and-restore-use-cases.md | 4 +++- br/br-pitr-guide.md | 4 +++- br/br-pitr-manual.md | 4 +++- br/br-snapshot-guide.md | 29 ++++++++++++++++++++++++----- br/br-snapshot-manual.md | 4 +++- 5 files changed, 36 insertions(+), 9 deletions(-) diff --git a/br/backup-and-restore-use-cases.md b/br/backup-and-restore-use-cases.md index 4b1e5894c8ac..d1a160a69620 100644 --- a/br/backup-and-restore-use-cases.md +++ b/br/backup-and-restore-use-cases.md @@ -141,7 +141,9 @@ tiup br restore point --pd="${PD_IP}:2379" \ --full-backup-storage='s3://tidb-pitr-bucket/backup-data/snapshot-20220514000000' \ --restored-ts '2022-05-15 18:00:00+0800' -Full Restore <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% +Split&Scatter Region <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% +Download&Ingest SST <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% +Restore Pipeline <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% [2022/05/29 18:15:39.132 +08:00] [INFO] [collector.go:69] ["Full Restore success summary"] [total-ranges=12] [ranges-succeed=xxx] [ranges-failed=0] [split-region=xxx.xxxµs] [restore-ranges=xxx] [total-take=xxx.xxxs] [restore-data-size(after-compressed)=xxx.xxx] [Size=xxxx] [BackupTS={TS}] [total-kv=xxx] [total-kv-size=xxx] [average-speed=xxx] Restore Meta Files <--------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% Restore KV Files <----------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% diff --git a/br/br-pitr-guide.md b/br/br-pitr-guide.md index 4d572cf1d6ce..1728d2dad3aa 100644 --- a/br/br-pitr-guide.md +++ b/br/br-pitr-guide.md @@ -69,7 +69,9 @@ tiup br restore point --pd "${PD_IP}:2379" \ 恢复期间，可通过终端中的进度条查看进度，如下。恢复分为两个阶段：全量恢复 (Full Restore) 和日志恢复（Restore Meta Files 和 Restore KV Files）。每个阶段完成恢复后，br 命令行工具都会输出恢复耗时和恢复数据大小等信息。 ```shell -Full Restore <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% +Split&Scatter Region <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% +Download&Ingest SST <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% +Restore Pipeline <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% *** ["Full Restore success summary"] ****** [total-take=xxx.xxxs] [restore-data-size(after-compressed)=xxx.xxx] [Size=xxxx] [BackupTS={TS}] [total-kv=xxx] [total-kv-size=xxx] [average-speed=xxx] Restore Meta Files <--------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% Restore KV Files <----------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% diff --git a/br/br-pitr-manual.md b/br/br-pitr-manual.md index aa36fc257a1e..dacd588e08bc 100644 --- a/br/br-pitr-manual.md +++ b/br/br-pitr-manual.md @@ -453,7 +453,9 @@ tiup br restore point --pd="${PD_IP}:2379" --storage='s3://backup-101/logbackup?access-key=${access-key}&secret-access-key=${secret-access-key}' --full-backup-storage='s3://backup-101/snapshot-202205120000?access-key=${access-key}&secret-access-key=${secret-access-key}' -Full Restore <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% +Split&Scatter Region <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% +Download&Ingest SST <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% +Restore Pipeline <--------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% *** ***["Full Restore success summary"] ****** [total-take=3.112928252s] [restore-data-size(after-compressed)=5.056kB] [Size=5056] [BackupTS=434693927394607136] [total-kv=4] [total-kv-size=290B] [average-speed=93.16B/s] Restore Meta Files <--------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% Restore KV Files <----------------------------------------------------------------------------------------------------------------------------------------------------> 100.00% diff --git a/br/br-snapshot-guide.md b/br/br-snapshot-guide.md index 305ae8b8fa4f..eb643c930cb0 100644 --- a/br/br-snapshot-guide.md +++ b/br/br-snapshot-guide.md @@ -37,12 +37,19 @@ tiup br backup full --pd "${PD_IP}:2379" \ - `--storage`：数据备份到的存储地址。快照备份支持以 Amazon S3、Google Cloud Storage、Azure Blob Storage 为备份存储，以上命令以 Amazon S3 为示例。详细存储地址格式请参考[外部存储服务的 URI 格式](/external-storage-uri.md)。 - `--ratelimit`：**每个 TiKV** 备份数据的速度上限，单位为 MiB/s。 -在快照备份过程中，终端会显示备份进度条。在备份完成后，会输出备份耗时、速度、备份数据大小等信息。 +在快照备份过程中，终端会显示备份进度条。在备份完成后，会输出备份耗时、速度、备份数据大小等信息。其中 + +- `total-ranges` 表示备份的文件总数量 +- `ranges-succeed` 表示备份成功的文件数量 +- `ranges-failed` 表示备份失败的文件数量 +- `backup-total-ranges` 表示备份的表（包括分区表）与索引的数量 +- `write-CF-files` 表示备份文件中含有 `write CF` 数据的 SST 数量 +- `default-CF-files` 表示备份文件中含有 `default CF` 数据的 SST 数量 ```shell Full Backup <-------------------------------------------------------------------------------> 100.00% Checksum <----------------------------------------------------------------------------------> 100.00% -*** ["Full Backup success summary"] *** [backup-checksum=3.597416ms] [backup-fast-checksum=2.36975ms] *** [total-take=4.715509333s] [BackupTS=435844546560000000] [total-kv=1131] [total-kv-size=250kB] [average-speed=53.02kB/s] [backup-data-size(after-compressed)=71.33kB] [Size=71330] +*** ["Full Backup success summary"] *** [total-ranges=20] [ranges-succeed=20] [ranges-failed=0] [backup-checksum=3.597416ms] [backup-fast-checksum=2.36975ms] [backup-total-ranges=11] [backup-total-regions=10] [write-CF-files=14] [default-CF-files=6] [total-take=4.715509333s] [BackupTS=435844546560000000] [total-kv=1131] [total-kv-size=250kB] [average-speed=53.02kB/s] [backup-data-size(after-compressed)=71.33kB] [Size=71330] ``` ## 查询快照备份的时间点信息 @@ -79,11 +86,23 @@ tiup br restore full --pd "${PD_IP}:2379" \ --storage "s3://backup-101/snapshot-202209081330?access-key=${access-key}&secret-access-key=${secret-access-key}" ``` -在恢复快照备份数据过程中，终端会显示恢复进度条。在完成恢复后，会输出恢复耗时、速度、恢复数据大小等信息。 +在恢复快照备份数据过程中，终端会显示恢复进度条。在完成恢复后，会输出恢复耗时、速度、恢复数据大小等信息。其中 + +- `total-ranges` 表示恢复的文件总数量 +- `ranges-succeed` 表示恢复成功的文件数量 +- `ranges-failed` 表示恢复失败的文件数量 +- `merge-ranges` 表示合并数据范围的耗时 +- `split-region` 表示切分和打散 region 的耗时 +- `restore-files` 表示 TiKV 恢复 SST 的耗时 +- `write-CF-files` 表示恢复文件中含有 `write CF` 数据的 SST 数量 +- `default-CF-files` 表示恢复文件中含有 `default CF` 数据的 SST 数量 +- `split-keys` 表示生成的用于切分 region 的 key 数量 ```shell -Full Restore <------------------------------------------------------------------------------> 100.00% -*** ["Full Restore success summary"] *** [total-take=4.344617542s] [total-kv=5] [total-kv-size=327B] [average-speed=75.27B/s] [restore-data-size(after-compressed)=4.813kB] [Size=4813] [BackupTS=435844901803917314] +Split&Scatter Region <--------------------------------------------------------------------> 100.00% +Download&Ingest SST <---------------------------------------------------------------------> 100.00% +Restore Pipeline <------------------------------------------------------------------------> 100.00% +*** ["Full Restore success summary"] [total-ranges=20] [ranges-succeed=20] [ranges-failed=0] [merge-ranges=7.546971ms] [split-region=343.594072ms] [restore-files=1.57662s] [default-CF-files=6] [write-CF-files=14] [split-keys=9] [total-take=4.344617542s] [total-kv=5] [total-kv-size=327B] [average-speed=75.27B/s] [restore-data-size(after-compressed)=4.813kB] [Size=4813] [BackupTS=435844901803917314] ``` ### 恢复备份数据中指定库表的数据 diff --git a/br/br-snapshot-manual.md b/br/br-snapshot-manual.md index 73da418d22e7..8f4a5c9e0332 100644 --- a/br/br-snapshot-manual.md +++ b/br/br-snapshot-manual.md @@ -181,7 +181,9 @@ tiup br restore full \ 恢复期间终端会显示进度条，效果如下。当进度条达到 100% 时，表示恢复完成。在完成恢复后，br 工具为了确保数据安全性，还会校验恢复数据。 ```shell -Full Restore <---------/...............................................> 17.12%. +Split&Scatter Region <--------------------------------------------------------------------> 100.00% +Download&Ingest SST <---------------------------------------------------------------------> 100.00% +Restore Pipeline <-------------------------/...............................................> 17.12% ``` ## 恢复备份数据中指定库表的数据 From c257ad1f1d9387387fbc038d3f02dc7a0c94ae41 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Fri, 14 Mar 2025 09:04:03 +0800 Subject: [PATCH 2/3] Apply suggestions from code review --- br/br-snapshot-guide.md | 36 ++++++++++++++++++------------------ 1 file changed, 18 insertions(+), 18 deletions(-) diff --git a/br/br-snapshot-guide.md b/br/br-snapshot-guide.md index eb643c930cb0..ccb1891bdc92 100644 --- a/br/br-snapshot-guide.md +++ b/br/br-snapshot-guide.md @@ -37,14 +37,14 @@ tiup br backup full --pd "${PD_IP}:2379" \ - `--storage`：数据备份到的存储地址。快照备份支持以 Amazon S3、Google Cloud Storage、Azure Blob Storage 为备份存储，以上命令以 Amazon S3 为示例。详细存储地址格式请参考[外部存储服务的 URI 格式](/external-storage-uri.md)。 - `--ratelimit`：**每个 TiKV** 备份数据的速度上限，单位为 MiB/s。 -在快照备份过程中，终端会显示备份进度条。在备份完成后，会输出备份耗时、速度、备份数据大小等信息。其中 +在快照备份过程中，终端会显示备份进度条。在备份完成后，会输出备份耗时、速度、备份数据大小等信息。其中： -- `total-ranges` 表示备份的文件总数量 -- `ranges-succeed` 表示备份成功的文件数量 -- `ranges-failed` 表示备份失败的文件数量 -- `backup-total-ranges` 表示备份的表（包括分区表）与索引的数量 -- `write-CF-files` 表示备份文件中含有 `write CF` 数据的 SST 数量 -- `default-CF-files` 表示备份文件中含有 `default CF` 数据的 SST 数量 +- `total-ranges`：备份的文件总数量 +- `ranges-succeed`：备份成功的文件数量 +- `ranges-failed`：备份失败的文件数量 +- `backup-total-ranges`：备份的表（包括分区表）与索引的数量 +- `write-CF-files`：备份文件中含有 `write CF` 数据的 SST 数量 +- `default-CF-files`：备份文件中含有 `default CF` 数据的 SST 数量 ```shell Full Backup <-------------------------------------------------------------------------------> 100.00% @@ -86,17 +86,17 @@ tiup br restore full --pd "${PD_IP}:2379" \ --storage "s3://backup-101/snapshot-202209081330?access-key=${access-key}&secret-access-key=${secret-access-key}" ``` -在恢复快照备份数据过程中，终端会显示恢复进度条。在完成恢复后，会输出恢复耗时、速度、恢复数据大小等信息。其中 - -- `total-ranges` 表示恢复的文件总数量 -- `ranges-succeed` 表示恢复成功的文件数量 -- `ranges-failed` 表示恢复失败的文件数量 -- `merge-ranges` 表示合并数据范围的耗时 -- `split-region` 表示切分和打散 region 的耗时 -- `restore-files` 表示 TiKV 恢复 SST 的耗时 -- `write-CF-files` 表示恢复文件中含有 `write CF` 数据的 SST 数量 -- `default-CF-files` 表示恢复文件中含有 `default CF` 数据的 SST 数量 -- `split-keys` 表示生成的用于切分 region 的 key 数量 +在恢复快照备份数据过程中，终端会显示恢复进度条。在完成恢复后，会输出恢复耗时、速度、恢复数据大小等信息。其中： + +- `total-ranges`：恢复的文件总数量 +- `ranges-succeed`：恢复成功的文件数量 +- `ranges-failed`：恢复失败的文件数量 +- `merge-ranges`：合并数据范围的耗时 +- `split-region`：切分和打散 Region 的耗时 +- `restore-files`： TiKV 恢复 SST 的耗时 +- `write-CF-files`：恢复文件中含有 `write CF` 数据的 SST 数量 +- `default-CF-files`：恢复文件中含有 `default CF` 数据的 SST 数量 +- `split-keys`：生成的用于切分 Region 的 key 数量 ```shell Split&Scatter Region <--------------------------------------------------------------------> 100.00% From c4d2285fdcf5358eea02a43fe750e21ede3a50e5 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Mon, 17 Mar 2025 11:00:25 +0800 Subject: [PATCH 3/3] Apply suggestions from code review Co-authored-by: Grace Cai --- br/br-snapshot-guide.md | 12 ++++++------ 1 file changed, 6 insertions(+), 6 deletions(-) diff --git a/br/br-snapshot-guide.md b/br/br-snapshot-guide.md index ccb1891bdc92..aeace8e21e4b 100644 --- a/br/br-snapshot-guide.md +++ b/br/br-snapshot-guide.md @@ -37,14 +37,14 @@ tiup br backup full --pd "${PD_IP}:2379" \ - `--storage`：数据备份到的存储地址。快照备份支持以 Amazon S3、Google Cloud Storage、Azure Blob Storage 为备份存储，以上命令以 Amazon S3 为示例。详细存储地址格式请参考[外部存储服务的 URI 格式](/external-storage-uri.md)。 - `--ratelimit`：**每个 TiKV** 备份数据的速度上限，单位为 MiB/s。 -在快照备份过程中，终端会显示备份进度条。在备份完成后，会输出备份耗时、速度、备份数据大小等信息。其中： +在快照备份过程中，终端会显示备份进度条。在备份完成后，会输出备份耗时、速度、备份数据大小等信息。其中： - `total-ranges`：备份的文件总数量 - `ranges-succeed`：备份成功的文件数量 - `ranges-failed`：备份失败的文件数量 - `backup-total-ranges`：备份的表（包括分区表）与索引的数量 -- `write-CF-files`：备份文件中含有 `write CF` 数据的 SST 数量 -- `default-CF-files`：备份文件中含有 `default CF` 数据的 SST 数量 +- `write-CF-files`：备份文件中含有 `write CF` 数据的 SST 文件数量 +- `default-CF-files`：备份文件中含有 `default CF` 数据的 SST 文件数量 ```shell Full Backup <-------------------------------------------------------------------------------> 100.00% @@ -93,9 +93,9 @@ tiup br restore full --pd "${PD_IP}:2379" \ - `ranges-failed`：恢复失败的文件数量 - `merge-ranges`：合并数据范围的耗时 - `split-region`：切分和打散 Region 的耗时 -- `restore-files`： TiKV 恢复 SST 的耗时 -- `write-CF-files`：恢复文件中含有 `write CF` 数据的 SST 数量 -- `default-CF-files`：恢复文件中含有 `default CF` 数据的 SST 数量 +- `restore-files`： TiKV 恢复 SST 文件的耗时 +- `write-CF-files`：恢复文件中含有 `write CF` 数据的 SST 文件数量 +- `default-CF-files`：恢复文件中含有 `default CF` 数据的 SST 文件数量 - `split-keys`：生成的用于切分 Region 的 key 数量 ```shell