Solve the bug that Arabic text is incorrectly labeled after arabic_reshaper processing

README.MD

@@ -0,0 +1,120 @@
+# TextRecognitionDataGenerator 
+
+
+
+[English](README_EN.md) | 简体中文
+
+## 介绍
+
+一个文字识别模型的数据生成器
+
+## 特性
+
+1. 支持中英文识别。
+
+## 必要条件
+
+- Python 3.6+
+
+## 近期更新
+
+**`2023-02-15`**: 继承自[TextRecognitionDataGenerator](https://github.com/Belval/TextRecognitionDataGenerator) 。
+
+## 安装
+创建虚拟环境
+```commandline
+conda create -n TextRecognitionDataGenerator python=3.7
+```
+激活虚拟环境
+```commandline
+conda activate TextRecognitionDataGenerator
+```
+
+安装所需以来
+```commandline
+pip install -r requirements.txt
+```
+## 使用
+
+### 准备材料
+
+- **背景**
+
+为丰富生成图片的背景，请自行准备背景图片并放置于[images](./trdg/images)文件夹下。
+
+- **语料**
+
+准备文字生成语料，并放置在[texts](./trdg/texts)文件夹下，同时执行生成命令中，使用-i参数指定语料文件路径。
+
+- **字体**
+
+1. 需准备一个语料字典文件放置于[chars](./trdg/chars)文件夹下，该字典文件记录了生成语料中可能出现所的所有字符。
+2. 下载对应语言所需要的字体文件，并放置于[fonts](./trdg/fonts)文件夹下。下面列举几个可供选择的字体下载网站： [FFONTS](https://cn.ffonts.net/Agra.font.download)、[FONT MEME](https://fontmeme.com/ziti/thai-fonts/1/)、[fontriver](https://cn.fontriver.com/foreign_look/russian/)。
+3. 执行下述语句，筛选可用字体，执行完成后会在[fonts](./trdg/fonts)文件夹下生成一个带_filter后缀的文件夹，该文件夹下字体即为可用字体。
+
+```bash
+python tools/filter_fonts.py --dict_path 字典文件路径 --font_dir 字体文件夹路径
+```
+
+### 执行生成数据
+
+在项目根目录下，执行生成语句，
+```bash
+bash run.sh
+```
+
+对于不同语言的生成需求可对如下参数进行调整，
+
+***参数配置表***
+
+|     参数     |                             含义                             |  类型   | 默认值  |
+| :----------: | :----------------------------------------------------------: | :-----: | :-----: |
+| --output_dir |                        结果输出文件夹                        |   str   |  out/   |
+|      -i      |                      指定生成的文本语料                      |   str   |         |
+|      -l      |                             语言                             |   str   |   en    |
+|      -c      |                        生成的图片数量                        |   int   |         |
+|     -rs      |      使用随机字符组合作为语料，即没有语义信息的文本组合      |         |         |
+|     -let     |     与-rs一起使用，使用随机字符组合作为语料，只生成字符      |         |         |
+|     -num     |     与-rs一起使用，使用随机字符组合作为语料，只生成数字      |         |         |
+|     -sym     |     与-rs一起使用，使用随机字符组合作为语料，只生成标点      |         |         |
+|      -w      |                   生成图片中包含的单词数量                   |   int   |    1    |
+|      -r      |            与-w搭配使用，随机生成单词数，最大为-w            |         |         |
+|      -f      |                      设置图片高度像素数                      |   int   |   32    |
+|      -t      |                         执行的进程数                         |   int   |    1    |
+|      -e      |                       设置图片保存格式                       |   str   |   jpg   |
+|      -k      |       文本行倾斜角度,需要与-rk一起使用，否则为固定角度       |   int   |    0    |
+|     -rk      |             使得倾斜角度为，-k到+k的范围随机选取             |         |         |
+|     -wk      |               使用维基百科语料，运行似乎会报错               |         |         |
+|     -bl      |   增加高斯模糊效果，数值越大越模糊，设置-rbl模糊程度可随机   |   int   |    0    |
+|     -rbl     |                随机模糊，模糊值从0到-bl的数值                |         |         |
+|      -b      |      背景，0：高斯噪点，1：白色背景，2：类网格，3：图片      |         |         |
+|     -hw      |                   手写配置，当前运行会报错                   |         |         |
+|     -na      | 标签输出格式，0: [TEXT]_[ID].[EXT], 1: [ID]_[TEXT].[EXT] 2: labels.txt |   int   |    0    |
+|     -om      |               是否返回遮掩的图片，0：否；1：是               |   int   |    0    |
+|     -obb     | 返回每个字的坐标信息，0：不返还；1：txt格式；2：Tesseract格式 |   int   |    0    |
+|      -d      |  添加文字扭曲效果，0：无变换，1：Sine，2：Cosine，3：random  |   int   |    0    |
+|     -do      |   定义扭曲的方向，与-d配合使用；0：上下，1：左右，2:都有。   |   int   |    0    |
+|     -wd      |                       设置固定图片宽度                       |   int   |   -1    |
+|     -al      | 设置文字在图片中的对其方式，需配合-wd使用，0：左，1：中，2：右。 |         |         |
+|     -or      |            生成的文字方向，0代表水平，1代表竖直的            |         |         |
+|     -tc      |   设置文本颜色，设置一个颜色区间的话形如'#000000,#888888'    |   str   | #282828 |
+|     -sw      |       两个词之前的空间,1.0代表一个空格，0代表没有间隔        |  float  |   1.0   |
+|     -cs      |             两个字符之前的空间，2代表两个像素。              |   int   |    0    |
+|  --margins   |        设置文本行四周边距，单位是像素；上，左，下，右        | margins | 5,5,5,5 |
+|    --fit     |     加这个参数将使边距更紧密，一般配合--margins一起使用      |         |         |
+|     -ft      |                         指定某个字体                         |         |         |
+|     -fd      |                     指定字体所在的文件夹                     |         |         |
+|     -id      |                   指定背景图片所在的文件夹                   |         |         |
+|     -ca      |   指定只生成大写或者小写的语料，upper：大写，lower：小写。   |   str   |         |
+|     -dt      |                           指定字典                           |         |         |
+|     -stw     |                        定义笔画的宽度                        |   int   |    0    |
+|     -stf     |        定义笔画轮廓的颜色，如果stroke_width比0大的话         |   str   | #282828 |
+|     -im      | 定义要使用的图像模式。RGB是默认的，L表示8位灰度图像，等等。  |   str   |   RGB   |
+
+## 联系
+
+1. 邮箱：[email protected]
+
+## 许可证书
+
+本项目的代码基于MIT协议发布。

requirements.txt

@@ -6,3 +6,4 @@ diffimg==0.2.3
 arabic-reshaper==2.1.3
 python-bidi==0.4.2
 wikipedia>=1.4.0
+fonttools

run.sh

@@ -0,0 +1,5 @@
+# 阿拉伯语
+# python trdg/run.py -c 1000000 -f 64 -b 3 -d 1 -l ar -na 2  -k 5 -rk -bl 1 -rbl -t 8 -b 3 -tc '#000000,#888888' -dt trdg/chars/ar_dict.txt -i trdg/texts/ar/train.txt -fd trdg/fonts/ar_filter/ --output_dir ar_TextRecognitionDataGenerator_train_100w
+# 俄语
+#python trdg/run.py -c 100 -f 64 -b 3 -d 1 -l ru -na 2  -k 5 -rk -bl 1 -rbl -t 8 -b 3 -tc '#000000,#888888' --margins 0,5,0,5 --fit -dt trdg/chars/ppocr_keys_v1.txt -i trdg/texts/test.txt -fd trdg/fonts/zh/ --output_dir output/zh_TextRecognitionDataGenerator_train_100w
+python trdg/run.py -c 1000 -f 48 -rs -num -sym -b 3 -d 1 -na 2  -k 5 -rk -bl 1 -rbl -t 8 -b 3 -tc '#000000,#888888' --margins 0,5,0,5 --fit   -fd trdg/fonts/zh_filter/ --output_dir output/test_TextRecognitionDataGenerator_train

setup.py

@@ -7,7 +7,7 @@
 
 here = path.abspath(path.dirname(__file__))
 
-with open(path.join(here, "README.md"), encoding="utf-8") as f:
+with open(path.join(here, "README_EN.md"), encoding="utf-8") as f:
     long_description = f.read()
 
 setup(

tools/filter_fonts.py

@@ -0,0 +1,60 @@
+# -*- coding: utf-8 -*-
+# @Time      : 2023/2/23 12:00
+# @Author    : JianjinL
+# @eMail     : [email protected]
+# @File      : filter_fonts
+# @Software  : PyCharm
+# @Dscription: 筛选符合字典的字体
+import os
+import shutil
+from fontTools.ttLib import TTFont
+import fontTools
+import argparse
+
+# 1. 定义命令行解析器对象
+parser = argparse.ArgumentParser(description='筛选符合字典的字体')
+# 2. 添加命令行参数
+parser.add_argument('--dict_path', type=str, required=True, help="字典路径")
+parser.add_argument('--font_dir', type=str, required=True, help="字体所在文件夹")
+# 3. 从命令行中结构化解析参数
+args = parser.parse_args()
+# 字典、字体文件夹
+dict_path = args.dict_path
+font_dir = args.font_dir
+
+# 创建文件夹
+if not os.path.exists(font_dir+"_filter"):
+    os.mkdir(font_dir+"_filter")
+
+
+
+# 记录结果
+result = []
+
+
+# 遍历每个字体
+for font_path in os.listdir(font_dir):
+    # 保存结果的字典
+    data = {}
+    # 读取字体对象
+    try:
+        font = TTFont(os.path.join(font_dir, font_path))
+    except fontTools.ttLib.TTLibError as err:
+        continue
+    # 读取字典并遍历校验每个字符
+    with open(dict_path, 'r', encoding='utf8') as fread:
+        charlist = [char.replace("\n", "") for char in fread.readlines()]
+        charset = set(charlist)
+        for char in charlist:
+            for table in font['cmap'].tables:
+                try:
+                    if ord(char) in table.cmap.keys() and char in charset:
+                        charset.remove(char)
+                except TypeError as err:
+                    print(f"Font:{font}, Error:{err}")
+        print(f"字体：{font_path}, 不支持的字符：{charset}")
+        if len(charset) == 0:
+            shutil.copy(os.path.join(font_dir, font_path), os.path.join(font_dir + "_filter", font_path))
+
+
+

tools/filter_labels.py

@@ -0,0 +1,34 @@
+# -*- coding: utf-8 -*-
+# @Time      : 2023/2/24 14:05
+# @Author    : JianjinL
+# @eMail     : [email protected]
+# @File      : filter_labels
+# @Software  : PyCharm
+# @Dscription: 将生成的数据集标签与图片对一遍，删除没有图片的标签
+
+import os
+import argparse
+
+# 1. 定义命令行解析器对象
+parser = argparse.ArgumentParser(description='筛选标签')
+# 2. 添加命令行参数
+parser.add_argument('--img_dir', type=str, required=True, help="生成的图片所在文件夹")
+parser.add_argument('--label_path', type=str, required=True, help="原始标签所在路径")
+# 3. 从命令行中结构化解析参数
+args = parser.parse_args()
+# 解析参数
+img_dir = args.img_dir
+label_path = args.label_path
+
+# 读取图片列表
+img_list = set(os.listdir(img_dir))
+
+with open(os.path.join(label_path.replace("labels.txt", "labels_filter.txt")), 'w', encoding='utf8') as f_filter:
+    with open(label_path, 'r', encoding='utf8') as f_label:
+        label_lines = f_label.readlines()
+        for line in label_lines:
+            img_name = line.split("\t")[0].split("images/")[1]
+            if img_name in img_list:
+                f_filter.write(line)
+
+

trdg/data_generator.py

@@ -58,6 +58,13 @@ def generate(
         image = None
 
         margin_top, margin_left, margin_bottom, margin_right = margins
+        # 更改功能：使得边界值可以随机取值
+        # -----------------
+        margin_top = rnd.randint(0, margin_top)
+        margin_left = rnd.randint(0, margin_left)
+        margin_bottom = rnd.randint(0, margin_bottom)
+        margin_right = rnd.randint(0, margin_right)
+        # -----------------
         horizontal_margin = margin_left + margin_right
         vertical_margin = margin_top + margin_bottom
 

trdg/run.py

@@ -419,8 +419,9 @@ def main():
     if args.language == "ar":
         from arabic_reshaper import ArabicReshaper
         from bidi.algorithm import get_display
-
         arabic_reshaper = ArabicReshaper()
+        # 修改阿拉伯语系文本标签进行修改
+        strings_ar = [get_display(x) for x in strings]
         strings = [
             " ".join(
                 [get_display(arabic_reshaper.reshape(w)) for w in s.split(" ")[::-1]]
@@ -475,9 +476,12 @@ def main():
     ):
         pass
     p.terminate()
-
+    # 修改输出格式，直接返回paddleocr样式
     if args.name_format == 2:
         # Create file with filename-to-label connections
+        # 对阿拉伯语系标签进行修改
+        if args.language == "ar":
+            strings = strings_ar
         with open(
             os.path.join(args.output_dir, "labels.txt"), "w", encoding="utf8"
         ) as f:
@@ -486,7 +490,7 @@ def main():
                 label = strings[i]
                 if args.space_width == 0:
                     label = label.replace(" ", "")
-                f.write("{} {}\n".format(file_name, label))
+                f.write("{0}/images/{1}\t{2}\n".format(args.output_dir.replace("output/", ""), file_name, label))
 
 
 if __name__ == "__main__":

trdg/string_generator.py

@@ -117,7 +117,7 @@ def create_strings_randomly(
     if num:
         pool += "0123456789"
     if sym:
-        pool += "!\"#$%&'()*+,-./:;?@[\\]^_`{|}~"
+        pool += " 0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz。？！，、；：“”‘’『』「」（）[]〔〕【】—…·-～《》〈〉_/!\"#$%&'()*+,.:;<=>?\@^`{|}~«»ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩαβΓγΔδεζηθικλμπσΣΦφΩωΨψ∫﹤﹥≦≧°∞≥≤≠‰±⊥√∑×ⅪⅫⅰⅱⅲⅳⅴⅵⅶⅷⅸⅹ①②③④⑤⑥⑦⑧⑨⑩"
 
     if lang == "cn":
         min_seq_len = 1