Skip to content

Commit

Permalink
add tokenzier viewer
Browse files Browse the repository at this point in the history
  • Loading branch information
HarderThenHarder committed Jun 11, 2023
1 parent 764cf0c commit 4978118
Showing 1 changed file with 4 additions and 4 deletions.
8 changes: 4 additions & 4 deletions tools/tokenizer_viewer/readme.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,10 +4,10 @@ Tokenizer Viwer 是一款方便快速预览 tokenizer 的工具。

其功能包括:

- [ x ] 查看词表内容,字符数统计。
- [ x ] 搜索 tokenizer 中是否包含指定 token。
- [ x ] 编码(encode)/ 解码(decode)测试。
- [ x ] 比较 2 个 tokenizer 之间的 token 差异。
- [x] 查看词表内容,字符数统计。
- [x] 搜索 tokenizer 中是否包含指定 token。
- [x] 编码(encode)/ 解码(decode)测试。
- [x] 比较 2 个 tokenizer 之间的 token 差异。
- [ ] 将 2 个不同的 tokenizer 做 merge。

使用 `strat.sh` 启动平台,可在 `--server.port` 调整启用端口。
Expand Down

0 comments on commit 4978118

Please sign in to comment.