Skip to content

Latest commit

 

History

History
5 lines (4 loc) · 261 Bytes

todos.md

File metadata and controls

5 lines (4 loc) · 261 Bytes

todos

place todos here.

normalizers

  • llama2 不需要normalizer,因为 llama2Tokenizer 只是简单的对空格进行replace,所以,没有normalizer也可以使用,但是,其他的模型,比如neox falcon,需要实现normalizer才能支持