Skip to content

Add limitations on import and index creation for ti db x premium #21057

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Closed
wants to merge 1 commit into from
+36 −0
Closed

Add limitations on import and index creation for ti db x premium #21057

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
6 changes: 6 additions & 0 deletions sql-statements/sql-statement-admin-alter-ddl.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -29,6 +29,12 @@ ADMIN ALTER DDL JOBS 101 THREAD = 8;

以上设置，当前仅对关闭 [`tidb_enable_dist_task`](/system-variables.md#tidb_enable_dist_task-从-v710-版本开始引入) 后，提交并运行中的 `ADD INDEX` 的作业生效。

<CustomContent plan="premium">
> **注意：**
>
> 在 TiDB Cloud Premium 中，添加索引或修改运行中的索引作业时 `THREAD` 和 `MAX_WRITE_SPEED` 参数的值由系统自动计算与管理，且无法手动修改。如需将其设置为特定值，请联系 [TiDB Cloud support](/tidb-cloud/tidb-cloud-support.md)。
</CustomContent>

- `MODIFY COLUMN`：
- `THREAD`：并发度，初始值由系统变量 `tidb_ddl_reorg_worker_cnt` 设置。
- `BATCH_SIZE`：批大小，初始值由系统变量 `tidb_ddl_reorg_batch_size` 设置。
Expand Down
6 changes: 6 additions & 0 deletions sql-statements/sql-statement-import-into.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -154,6 +154,12 @@ SET 表达式左侧只能引用 `ColumnNameOrUserVarList` 中没有的列名。
| `CLOUD_STORAGE_URI` | 所有文件格式 | 指定编码后的 KV 数据[全局排序](/tidb-global-sort.md)的目标存储地址。未指定该参数时，`IMPORT INTO` 会根据系统变量 [`tidb_cloud_storage_uri`](/system-variables.md#tidb_cloud_storage_uri-从-v740-版本开始引入) 的值来确定是否使用全局排序，如果该系统变量指定了目标存储地址，就使用指定的地址进行全局排序。当指定该参数时，如果参数值不为空，`IMPORT INTO` 会使用该参数值作为目标存储地址；如果参数值为空，则表示强制使用本地排序。目前目标存储地址仅支持 Amazon S3，具体 Amazon S3 URI 格式配置，请参见 [Amazon S3 URI 格式](/external-storage-uri.md#amazon-s3-uri-格式)。注意当使用该功能时，所有 TiDB 节点都需要有目标 Amazon S3 bucket 的读写权限，至少包括 `s3:ListBucket`、`s3:GetObject`、`s3:DeleteObject`、`s3:PutObject`、`s3:AbortMultipartUpload`。 |
| `DISABLE_PRECHECK` | 所有文件格式、`SELECT` 语句的查询结果 | 设置该选项后会关闭非 critical 的前置检查项，如检查是否存在 CDC 或 PITR 等任务。 |

<CustomContent plan="premium">
> **注意：**
>
> 在 TiDB Cloud Premium 中，`DISK_QUOTA=`，`THREAD`, `MAX_WRITE_SPEED`, `CLOUD_STORAGE_URI` 这 4 个参数的值由系统自动计算与管理，且无法手动修改。如需将其设置为特定值，请联系 [TiDB Cloud support](/tidb-cloud/tidb-cloud-support.md)。
</CustomContent>

## `IMPORT INTO ... FROM FILE` 使用说明

`IMPORT INTO ... FROM FILE` 支持导入存储在 Amazon S3、GCS 和 TiDB 本地的数据文件。
Expand Down
18 changes: 18 additions & 0 deletions system-variables.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -1429,6 +1429,12 @@ mysql> SELECT job_info FROM mysql.analyze_jobs ORDER BY end_time DESC LIMIT 1;
- 单位：字节
- 这个变量仅在 [`tidb_ddl_enable_fast_reorg`](#tidb_ddl_enable_fast_reorg-从-v630-版本开始引入) 开启的情况下生效，用于设置创建索引的回填过程中本地存储空间的使用限制。

<CustomContent plan="premium">
> **注意：**
>
> 在 TiDB Cloud Premium 中，使用云存储存储回填过程中的索引数据，因此不再使用该参数.
</CustomContent>

### `tidb_ddl_enable_fast_reorg` <span class="version-mark">从 v6.3.0 版本开始引入</span>

- 作用域：GLOBAL
Expand Down Expand Up @@ -1539,6 +1545,12 @@ mysql> SELECT job_info FROM mysql.analyze_jobs ORDER BY end_time DESC LIMIT 1;
* 当全局排序关闭时，同一时刻只有 1 个 TiDB 节点向 TiKV 写入，此时每个 TiKV 节点的最大写入带宽为 `100MiB`。
* 当全局排序开启时，同一时刻所有 4 个 TiDB 节点都能向 TiKV 写入，此时每个 TiKV 节点的最大写入带宽为 `4 * 100MiB = 400MiB`。

<CustomContent plan="premium">
> **注意：**
>
> 在 TiDB Cloud Premium 中，该参数的值由系统自动计算与管理，且无法手动修改。如需将其设置为特定值，请联系 [TiDB Cloud support](/tidb-cloud/tidb-cloud-support.md)。
</CustomContent>

### `tidb_ddl_reorg_worker_cnt`

- 作用域：SESSION | GLOBAL
Expand All @@ -1552,6 +1564,12 @@ mysql> SELECT job_info FROM mysql.analyze_jobs ORDER BY end_time DESC LIMIT 1;
- 从 v8.3.0 版本开始，该参数支持 SESSION 级别的设置，因此修改 GLOBAL 级别的参数值不会影响当前正在运行的 DDL，而只会对新建 SESSION 中提交的 DDL 生效。
- 从 v8.5.0 版本开始，该参数可以通过 `ADMIN ALTER DDL JOBS <job_id> BATCH_SIZE = <new_batch_size>;` 来修改。不支持修改开启了 [`tidb_enable_dist_task`](/system-variables.md#tidb_enable_dist_task-从-v710-版本开始引入) 的 `ADD INDEX` DDL。更多详情，请见 [`ADMIN ALTER DDL JOBS`](/sql-statements/sql-statement-admin-alter-ddl.md)。

<CustomContent plan="premium">
> **注意：**
>
> 在 TiDB Cloud Premium 中，对于创建索引的 DDL 作业该变量的取值由系统自动计算与管理，手动修改不会生效。如需将其设置为特定值并生效，请联系 [TiDB Cloud support](/tidb-cloud/tidb-cloud-support.md)。
</CustomContent>

### `tidb_enable_fast_create_table` <span class="version-mark">从 v8.0.0 版本开始引入</span>

- 作用域：GLOBAL
Expand Down
6 changes: 6 additions & 0 deletions tidb-global-sort.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -42,6 +42,12 @@ TiDB 全局排序功能增强了数据导入和 DDL（数据定义语言）操
SET GLOBAL tidb_cloud_storage_uri = 's3://my-bucket/test-data?role-arn=arn:aws:iam::888888888888:role/my-role'
```

<CustomContent plan="premium">
> **注意：**
>
> 在 TiDB Cloud Premium 中，该参数的值由系统自动计算与管理，无需手动设置。
</CustomContent>

> **注意：**
>
> [`IMPORT INTO`](/sql-statements/sql-statement-import-into.md) 也可使用 [`CLOUD_STORAGE_URI`](/sql-statements/sql-statement-import-into.md#withoptions) 参数来控制云存储路径。如果 [`tidb_cloud_storage_uri`](/system-variables.md#tidb_cloud_storage_uri-从-v740-版本开始引入) 和 `CLOUD_STORAGE_URI` 都设置了有效的云存储路径，[`IMPORT INTO`](/sql-statements/sql-statement-import-into.md) 将以 `CLOUD_STORAGE_URI` 参数的配置为准。
Expand Down