Wordllama：用于LLM令牌嵌入的轻量级实用程序

Wordllama是一个使用LLM令牌嵌入进行语义字符串操作的库。它优先考虑速度、轻量级和易用性，针对CPU平台，并避免依赖PyTorch等深度学习运行时。该库的核心涉及平均池化的令牌嵌入，使用多重负排名损失和俄罗斯套娃表示学习等技术进行训练。虽然不如完整的Transformer模型强大，但与词嵌入模型相比，它表现良好，并提供更小的尺寸和更快的推理速度。其重点是提供一个实用的工具，用于输入准备、信息检索和评估等任务，降低了使用LLM嵌入的门槛。

• •Wordllama是一个使用LLM令牌嵌入进行语义字符串操作的轻量级库。
• •它优先考虑速度、轻量级和易用性，针对CPU平台。
• •该库使用通过多重负排名损失等技术训练的平均池化令牌嵌入。
• •与词嵌入模型相比，它提供了更小的尺寸和更快的推理速度。
• •目标是为输入准备和信息检索等任务提供一个实用的工具。