关于gather日志脱敏的概要设计

[wayyoungboy]

需求背景

1. 简要说明此次概要设计的需求来源和背景。

有用户提出在配合原厂或三方进行日志采集及上传时所采集到的observer日志存在敏感信息，想要在采集后自动进行脱敏。

计划分两步实现，采集按原有逻辑进行，然后生成一个脱敏文件夹，将脱敏后的日志文件文件放置在里面。

出于各方对脱敏规则的定义不同，因此会通过

2. 重点说明要做什么以及边界是什么。
   1. 为gather设计一个可选参，设定脱敏规则
   2. 为gather设计一套脱敏规则调用执行器
   3. 设计一个脱敏规则

功能性设计

具体章节可以自行规划，不限于下面几个

实现方案

1. 为gather设计一个可选参，设定脱敏规则，暂定 “--redact”

redact使用string形式引入，用“,”切分，匹配规则，多个规则按顺序进行脱敏。

2. 为gather设计一套脱敏规则调用执行器

脱敏规则执行器参考rca的调用规则实现，调用指定方法实现结果导入。

3. 设计一个脱敏规则

脱敏规则参考用户提供的实现：

import os
import re
from datetime import datetime

def mask_sql_in_log_file(input_file_path, output_file_path):
    try:
        with open(input_file_path, 'r', encoding='utf-8', errors='ignore') as file:
            log_content = file.read()
    except Exception as e:
        print(f"Error reading file {input_file_path}: {e}")
        return

    # 定义正则表达式模式和对应的替换文本
    patterns = [
        (r'stmt:"(.*?[^\\])", stmt_len', 'stmt:"<SQL_QUERY_REDACTED>", stmt_len'),
        (r'ps_sql:"(.*?[^\\])", is_expired_evicted', 'ps_sql:"<SQL_QUERY_REDACTED>", is_expired_evicted'),
        (r'ps_sql:"(.*?[^\\])", ref_count:', 'ps_sql:"<SQL_QUERY_REDACTED>", ref_count:'),
        (r'origin_sql=(.*?[^\\]), ps_stmt_checksum', 'origin_sql=<SQL_QUERY_REDACTED>, ps_stmt_checksum'),
        (r'get_sql_stmt\(\)=(.*?[^\\]), route_sql_=', 'get_sql_stmt()=<SQL_QUERY_REDACTED>, route_sql_='),
        (r'multi_stmt_item={(.*?[^\\])\}', 'multi_stmt_item={<SQL_QUERY_REDACTED>}')
    ]

    # 遍历所有模式并进行替换
    for pattern, replacement in patterns:
        log_content = re.sub(pattern, replacement, log_content, flags=re.DOTALL)

    try:
        with open(output_file_path, 'w', encoding='utf-8', errors='ignore') as file:
            file.write(log_content)
    except Exception as e:
        print(f"Error writing file {output_file_path}: {e}")

def process_directory(input_dir, output_dir):
    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    all_files = []
    for root, dirs, files in os.walk(input_dir):
        for file_name in files:
            input_file_path = os.path.join(root, file_name)
            relative_path = os.path.relpath(input_file_path, input_dir)
            all_files.append((file_name, input_file_path, relative_path))

    all_files.sort(key=lambda x: x[0])

    for index, (file_name, input_file_path, relative_path) in enumerate(all_files, start=1):
        output_file_path = os.path.join(output_dir, relative_path)
        output_file_dir = os.path.dirname(output_file_path)
        if not os.path.exists(output_file_dir):
            os.makedirs(output_file_dir)

        mask_sql_in_log_file(input_file_path, output_file_path)

        current_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        print(f"{index}. Processed file: {file_name} at {current_time}")

# 示例用法
input_directory = '/tmp/oblog'
output_directory = '/tmp/oblogbak'
process_directory(input_directory, output_directory)

4. 高效运行脱敏策略

脱敏操作使用多线程执行，提高运行效率。

非功能性设计

安全

如不涉及，请显式说明。

无明显安全问题。

文档

1. 输出使用文档
2. 输出规则编写文档

影响评估

兼容性评估

评估该功能的兼容性。
如果存在向后（下）不兼容的情况，必须要给出具体说明以及相关的建议。

无

风险评估

评估该功能在在使用、运维、升级等场景下是否有风险。

1. 影响obdiag gather log指令

性能评估

评估该功能在性能上的影响。

无

测试分析

尽可能全面的分析该功能所涉及到的场景。
给出全面的测试建议，给出具体的case更佳。

无

工作量评估

任务拆解

任务拆解，建议将粒度控制在3天以内。

开发计划

开发联调目标和计划。

任务编号	任务名称	负责人	开始日期	结束日期	计划用时
1	设计文档	渠磊	2024-09-18	2024-09-18	1d
2	编码实现	渠磊	2024-09-19	2024-09-23	3d
3	文档编写	渠磊	2024-09-24	2024-09-24	1d
4	自测	渠磊	2024-08-25	2024-08-26	2d
5	提测/验收	渠磊	待定	待定	1d

[wayyoungboy]

gather scene 指令支持