全局规则的编写过程分享

[aoguai]

固然针对每个 APP 做单独的规则编写是一个很不错的选择，但是 APP 是无限的，APP 里的广告是无限的，APP 的更新也是无限的。同时当前来说规则越多耗电量也越多。
所以我坚信全局规则+少量APP 单独定制规则才是最优方案。

如何分类

一开始我打算的是在原项目已定义的 11种分类规则 的基础上分别抽取出通用规则作为全局规则

但在实际流程下来，发现其中 分段广告 和 功能类 是比较难抽取或者说是没有必要抽取成通用全局规则的，因此最终确定下来了 9 种全局规则

• 青少年模式
• 更新提示
• 评价提示
• 通知提示
• 定位提示
• 权限提示
• 局部广告
• 全屏广告
• 开屏广告

如何抽取

我使用了以下规则对原项目的所有 APP 规则进行了简单的爬取与相似度比较：

python代码

import os
import json5
from difflib import SequenceMatcher


def read_json5_from_file(file_path):
    """
    从文件中读取 JSON5 数据并解析成 Python 字典。

    Parameters:
        file_path (str): 文件路径。

    Returns:
        dict: 解析后的 JSON5 数据。
    """
    try:
        # 读取文件内容
        with open(file_path, 'r', encoding='utf-8') as file:
            file_content = file.read()

        # 提取 defineAppConfig() 内的 JSON5 数据
        json5_data_start_index = file_content.find('defineAppConfig(')
        json5_data_end_index = file_content.find(')', json5_data_start_index)
        json5_data_str = file_content[json5_data_start_index + len('defineAppConfig('):json5_data_end_index]

        # 解析 JSON5 数据
        json5_data = json5.loads(json5_data_str)

        return json5_data

    except FileNotFoundError:
        print(f"File not found: {file_path}")
        return None
    except Exception as e:
        print(f"Error occurred while reading JSON5 data from file {file_path}: {e}")
        return None


def read_json5_from_directory(directory_path):
    """
    从目录中批量读取 JSON5 数据并解析成 Python 字典。

    Parameters:
        directory_path (str): 目录路径。

    Returns:
        list: 包含解析后的 JSON5 数据的列表。
    """
    json5_data_list = []
    try:
        # 遍历目录下的所有文件
        for root, dirs, files in os.walk(directory_path):
            for file_name in files:
                if file_name.endswith('.ts'):
                    file_path = os.path.join(root, file_name)
                    json5_data = read_json5_from_file(file_path)
                    if json5_data:
                        json5_data_list.append(json5_data)

        return json5_data_list

    except Exception as e:
        print(f"Error occurred while reading JSON5 data from directory {directory_path}: {e}")
        return None


def text_similarity(text1, text2):
    """
    计算两个文本之间的相似度
    """
    matcher = SequenceMatcher(None, text1, text2)
    return matcher.ratio()


if __name__ == '__main__':
    # 使用示例
    directory_path = './subscription/src/apps'
    json5_data_list = read_json5_from_directory(directory_path)
    rules_list = []

    for json5_data in json5_data_list:
        for group_data in json5_data.get('groups', []):
            rules = group_data.get('rules')
            if rules is not None:
                if isinstance(rules, str):
                    rules_list.append(rules)
                    continue
                if isinstance(rules, dict):
                    matches = rules.get('matches', None)
                    if matches is not None:
                        if isinstance(matches, str):
                            rules_list.append(matches)
                            continue

                        if isinstance(matches, list):
                            rules_list.extend(matches)
                            continue
                        print(f"Invalid matches: {matches}")
                if isinstance(rules, list):
                    for rule_data in rules:
                        if isinstance(rule_data, str):
                            rules_list.append(rule_data)
                            continue
                        matches = rule_data.get('matches', None)
                        if matches is not None:
                            if isinstance(matches, str):
                                rules_list.append(matches)
                                continue
                            if isinstance(matches, list):
                                rules_list.extend(matches)
                                continue
                            print(f"Invalid matches: {matches}")

    print(len(rules_list))

    # for rule in rules_list:
    #     print(rule)

    # 建立一个字典用于统计相似文本的出现次数和相似文本列表
    similar_texts_info = {}

    # 逐一取出每条文本并与列表中其他文本进行相似度比较
    for index, text1 in enumerate(rules_list):
        # 保存相似度大于0.7的文本列表
        similar_texts_list = []
        for text2 in rules_list[index + 1:]:
            similarity = text_similarity(text1, text2)
            if similarity >= 0.7:
                similar_texts_list.append(text2)
        # 更新 similar_texts_info 字典
        if similar_texts_list:
            similar_texts_info[text1] = {
                "count": len(similar_texts_list),
                "similar_texts": similar_texts_list
            }

    # 对 similar_texts_info 字典按照相似文本数量从大到小排序
    sorted_similar_texts_info = dict(
        sorted(similar_texts_info.items(), key=lambda item: item[1]['count'], reverse=True))

    # print(sorted_similar_texts_info)
    # 将结果保存到text文件中
    with open('similar_texts_info.txt', 'w') as file:
        # 以文本的形式
        file.write(str(sorted_similar_texts_info))

    print("Done!")

最终得到了结构如下的一个字典：

字典示例

{
    '@[text="取消"] + [text="更新"]': {
        'count': 66,
        'similar_texts': ['@[text="取消"] + [text="立即升级"]', '@Button[text*="暂不更新"] + Button[text*="更新"]', '[text="取消"] + [text="允许"]', '@[text="以后再说"] + [text="立即更新"]', '[text="公告"] +2 [text="我知道了"]', '[text^="打开推送通知"] +2 [text="不允许"]', '[text="进入青少年模式"] + [text="我知道了"]', '[text="立即更新"] -n [text="下次再说"]', '[text="立即更新"] + [text="暂不升级"]', '[text="开启通知"] - [text="暂不开启"]', '@[text="取消"] + [text="前往设置"]', '@[text="取消"] + [text="授权"]', '@[text="取消"] + [text="好评"]', '@[text="不再提示"] +2 [text="立即更新"]', '@[text="以后再说"] +2 [text="立即更新"]', '@[text="取消"] +2 [text="立即更新"]', '[text*="定位权限"] +2 [text="拒绝"]', '@[text="以后再说"] + [text="优先体验"]', '[text="看视频免广告"] - [text="反馈"]', '@[text="取消"] < * -2 * > [text="开启推送提醒"]', '@[text="暂不更新"] + [text="立即更新"]', '@[text="取消"] + [text="立即开启"]', '[text="发现新版本"] +n * > [text="忽略"]', '[text="取消"] + [text="允许"]', '@[text="取消"] + [text="立即更新"||text="立即安装"]', '@[text="以后再说"] + [text="立即更新"]', '@[text="取消"] < * - * >n [text="开启消息通知"]', '@[text="以后再说"] + [text="立即更新"]', '@[text="以后再说"] +2 [text="立即更新"]', '[text*="青少年模式"] +n [text="我知道了"]', '@[text="忽略本次"] + [text="立即升级"]', '[text$="打开应用中心通知"] +n [text="知道了"]', '[text="允许通知"] + [text="不，谢谢"]', '@[text="允许"] + [text="禁止"]', '@[text="继续安装"] + [text="取消安装"]', '@[text="了解风险"] + [text="取消安装"]', '@[text="仍然安装"] + [text="取消安装"]', '@[text="继续更新"] + [text="取消更新"]', '@[text="下次再说"] -n [text="发现新版本"]', '[text="立即升级"] +2 [text="以后再说"]', '@Button[text="取消"] + Button[text="去设置"]', '@Button[text="取消"] + Button[text="更新"]', '@Button[text="取消"] + Button[text="确定"]', '[text="订购"] + [text="放弃"]', '[text="CAS安全认证"] >n [text="登录"]', '@[text="以后再说"] + * + [text="去开启"]', '@[text="不了，谢谢"] +4 [text="喜欢，给好评"]', '@[text="暂不允许"] + [text="允许"]', '[text$="青少年模式"] +n [text="我知道了"]', '[text$="青少年模式"] + [text="我知道了"]', '[text="立即升级"] -2 [text="暂不升级"]', '[text="立刻开启"] - [text="以后再说"]', '@[text="关闭"] + [text="查看活动详情"]', '[text="开启通知"] + [text="先不了"]', '[text="抢先体验"] -2 [text="不再提醒"]', '[text^="屏蔽"][text$="广告"]', '@[text="稍候再说"] + [text="立即更新"]', '@[text="忽略更新"] + [text="立即更新"]', '@[text="以后再说"] + [text="立即升级"]', '[text="立即体验"] + [text="以后再说"]', '@[text="关闭"] +n * >n [text*="广告"]', '@TextView[text="取消"] + TextView[text="确定"]', '@[text="取消"] +2 [text="升级"]', '@[text="以后再说"] + [text="马上评价"]', '@[text="取 消"] + View + [text="确 定"]', '[text*="青少年模式"] + [text="我知道了"]']
    },
    '@[text="取消"] + [text="立即升级"]': {
        'count': 54,
        'similar_texts': ['[text="更新"] -n [text="忽略"]', '[text="取消"] + [text="允许"]', '@[text="以后再说"] + [text="立即更新"]', '[text="公告"] +2 [text="我知道了"]', '[text^="打开推送通知"] +2 [text="不允许"]', '[text="进入青少年模式"] + [text="我知道了"]', '[text="立即更新"] + [text="暂不升级"]', '[text="开启通知"] - [text="暂不开启"]', '@[text="取消"] + [text="前往设置"]', '@[text="取消"] + [text="授权"]', '@[text="取消"] + [text="好评"]', '@[text="不再提示"] +2 [text="立即更新"]', '@[text="以后再说"] +2 [text="立即更新"]', '@[text="取消"] +2 [text="立即更新"]', '[text*="定位权限"] +2 [text="拒绝"]', '@[text="以后再说"] + [text="优先体验"]', '[text="看视频免广告"] - [text="反馈"]', '@[text="暂不更新"] + [text="立即更新"]', '@[text="取消"] + [text="立即开启"]', '[text="取消"] + [text="允许"]', '@[text="取消"] + [text="立即更新"||text="立即安装"]', '@[text="以后再说"] + [text="立即更新"]', '@[text="以后再说"] + [text="立即更新"]', '@[text="以后再说"] +2 [text="立即更新"]', '[text*="青少年模式"] +n [text="我知道了"]', '@[text="忽略本次"] + [text="立即升级"]', '[text="允许通知"] + [text="不，谢谢"]', '@[text="允许"] + [text="禁止"]', '@[text="继续安装"] + [text="取消安装"]', '@[text="了解风险"] + [text="取消安装"]', '@[text="仍然安装"] + [text="取消安装"]', '@[text="继续更新"] + [text="取消更新"]', '@[text="下次再说"] -n [text="发现新版本"]', '@Button[text="取消"] + Button[text="去设置"]', '@Button[text="取消"] + Button[text="更新"]', '@Button[text="取消"] + Button[text="确定"]', '[text="订购"] + [text="放弃"]', '@[text="以后再说"] + * + [text="去开启"]', '@[text="不了，谢谢"] +4 [text="喜欢，给好评"]', '@[text="暂不允许"] + [text="允许"]', '[text$="青少年模式"] +n [text="我知道了"]', '[text$="青少年模式"] + [text="我知道了"]', '[text="立刻开启"] - [text="以后再说"]', '@[text="关闭"] + [text="查看活动详情"]', '[text="开启通知"] + [text="先不了"]', '@[text="稍候再说"] + [text="立即更新"]', '@[text="忽略更新"] + [text="立即更新"]', '@[text="以后再说"] + [text="立即升级"]', '[text="立即体验"] + [text="以后再说"]', '@[text="关闭"] +n * >n [text*="广告"]', '@[text="取消"] +2 [text="升级"]', '@[text="以后再说"] + [text="马上评价"]', '@[text="取 消"] + View + [text="确 定"]', '[text*="青少年模式"] + [text="我知道了"]']
    },
    ....
}

这个字典是我总结通用全局规则的基础，我的提示类和青少年模式全局规则都是在此基础上总结出来的。

同时这个字典也为我的全局规则校验与误触测试提供了最小验证规则列表（我在每条全局规则合并的PR下都留下的已验证规则列表整理的来源）。

由此实现了通用性，同时兼顾拥有了防止误触的能力。

而广告类的全局规则并不能用这个方式来实现通用全局规则的抽取。因为这些广告通常都五花八门。如果你写的规则过于宽泛十分容易出现误触的情况。

所以在编写过程中我一般都是自信满满的写完一条规则，在测试下来最终发现出现了许多误触情况而无法解决最终陷入一筹莫展。

好在天无绝人之路，在总结抽取提示类和青少年模式全局规则过程中，我意外的发现了可以抽取出一段表示拒绝的通用规则，来实现点击取消,拒绝等一切否定按钮或按键

这让我转变了思路，最终确定了 全局规则 的基本规律是 公共文本 + 否定结构 来实现。

这也是NEGATION_PART_RULE_TEXT, NEGATION_PART_RULE_DESC, NEGATION_PART_RULE_BUTTON 的来源

同时由于原项目已经编写了开屏广告的通用规则(实际测试下来已经很完美了，所以这部分我没有修改），我从中获得了可以用来防止误触的[childCount=0][visibleToUser=true]用来限制所有全局规则应该点击的是：对用户可见的, 子元素为0 的组件。

有了这个可以表示拒绝的通用规则，我们就可以通过 广告文本 + 否定结构 来实现 广告类的全局规则编写，同时还可以确保不会出现误触的情况。因为我们通过

1. 抽取只有可能出现在广告信息里面的结构文本
2. 同时存在否定结构
3. 对用户可见的, 子元素为0

三点确保了通用性与防止误触的能力。

如何确定文本 + 否定结构之间的链接方式？

这也是我通过大量的规则总结中抽取出来的三条最基本的结构

• <n * >
• <n * > * >n
• <<n * <n * > * >n

它们的泛化性是递增的

使用父子关系来确定元素比使用兄弟关系来确定元素有更好的泛化性，因为有时候一些规则 A组件 和 B组件的位置谁前谁后是不一样的。但是它们都是某个元素的子组件。可以从下面的结构示意来更好的理解这三条结构

<n * > ：我们使用 公共文本 + 否定结构 的结构来看，弹窗 对应的是 公共文本，而 关闭按钮 对应的是 否定结构。使用 <n * > 可以确保二者的位置谁在上谁在下都可以匹配

而剩下两条也是同理，只是对应的跨度更大而已，本质上也是使用父子关系来代替兄弟关系来达到更好的泛化性

---

最终实现我们了所有基本全局规则的抽取总结，同时留下了最小验证规则列表。

后话

其实在编写过程中还有存在许多废案，例如一开始我对广告类的全局规则编写是打算硬抽组件 id 的规律来实现，但是发现这样编写实在是太容易误触了，比如许多广告组件 id 存在'iv'相关字样，但是实际编写下来许多不是广告组件的 id 也存在'iv'字样，又有许多广告组件甚至没有 id，导致不得不放弃写了半天的规则等等（这也是全屏广告 通用规则只兼容了部分SDK的原因）。这里不得不吐槽一下开发规范的重要性。

其实这套思路还有很多的不足，例如规则因为使用了文本导致需要同时考虑 text 和 desc 字段等一些导致全局规则当前还比较臃肿，多语言兼容比较麻烦的原因。

但是这也是这衡量了通用和防误触之间平衡利弊的结果。

对原项目的1K3+规则压缩到现在的百来条已经很不错了。

共勉。

[AIsouler]

大佬有试过使用match数组吗，可以精简规则，但是误触的概率可能比较大

[aoguai]

大佬有试过使用match数组吗，可以精简规则，但是误触的概率可能比较大

用 match 数组精简规则确实是个好建议或许可以，但是感觉正如你所说误触的概率可能比较大🤔误触不太好解决。我原来解决误触的方法之一就是用结构来限制一些误触：

• <n * >
• <n * > * >n
• <<n * <n * > * >n

确保了 否定 组件离文本位置不会太远。

举个简单的例子就是任何页面都可能存在返回或关闭按钮，这个按钮的id或文本可能也包含对应的触发情况，但实际上它不属于广告的关闭或返回按钮

但这确实是个不错的建议，可以考虑解决🤔

[aoguai]

完成使用 matches 优化精简规则

核心逻辑不变，只是从 确定文本 + 否定结构 变成了 确定文本 + 确定结构 + 否定结构
来解决 matches 宽泛导致误触问题。

由于广告部分大多没有 确定结构 所以没有做广告部分优化

同时对已验证规则列表更新，详细见每次对应 commit 的评论