From 497811892704e81314da793523f03f5a8064417e Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?=E4=BD=95=E6=9E=9D?= <1414463123@qq.com>
Date: Sun, 11 Jun 2023 17:55:45 +0800
Subject: [PATCH] add tokenzier viewer

---
 tools/tokenizer_viewer/readme.md | 8 ++++----
 1 file changed, 4 insertions(+), 4 deletions(-)

diff --git a/tools/tokenizer_viewer/readme.md b/tools/tokenizer_viewer/readme.md
index 7670dd4..fcb4c72 100644
--- a/tools/tokenizer_viewer/readme.md
+++ b/tools/tokenizer_viewer/readme.md
@@ -4,10 +4,10 @@ Tokenizer Viwer 是一款方便快速预览 tokenizer 的工具。
 
 其功能包括：
 
-- [ x ] 查看词表内容，字符数统计。
-- [ x ] 搜索 tokenizer 中是否包含指定 token。
-- [ x ] 编码（encode）/ 解码（decode）测试。
-- [ x ] 比较 2 个 tokenizer 之间的 token 差异。
+- [x] 查看词表内容，字符数统计。
+- [x] 搜索 tokenizer 中是否包含指定 token。
+- [x] 编码（encode）/ 解码（decode）测试。
+- [x] 比较 2 个 tokenizer 之间的 token 差异。
 - [ ] 将 2 个不同的 tokenizer 做 merge。
 
 使用 `strat.sh` 启动平台，可在 `--server.port` 调整启用端口。