TokenDagger：比OpenAI的Tiktoken更快的分词器

TokenDagger 提供了比 OpenAI 的 Tiktoken 更大的速度提升，而 Tiktoken 是 LLM 的关键组成部分。该项目专注于性能，通过更快的正则表达式引擎和算法简化来实现，这一点值得注意。提供的基准测试突出了单线程分词和吞吐量方面的显着提升。该项目的开源性质和即插即用替换功能使其成为对 LLM 社区的宝贵贡献。

• •TokenDagger 是 Tiktoken 更快的即插即用替代品。
• •通过更快的正则表达式引擎和算法简化实现了性能提升。
• •基准测试显示了显著的速度改进。