使用 minilm+adapter 在本地生成 OpenAI 嵌入

这篇文章介绍了一个名为 EmbeddingAdapters 的 Python 库，它允许用户将嵌入从一个模型空间转换到另一个模型空间，特别是侧重于将较小的模型（如 sentence-transformers/all-MiniLM-L6-v2）适配到 OpenAI text-embedding-3-small 空间。该库使用预先训练好的适配器来在转换过程中保持保真度。文章重点介绍了实际用例，例如查询使用不同嵌入模型构建的现有向量索引、操作混合向量索引以及通过执行本地嵌入来降低成本。核心思想是提供一种经济高效且有效的方式来利用不同的嵌入模型，而无需重新嵌入整个语料库或仅仅依赖昂贵的云提供商。

• •EmbeddingAdapters 是一个用于在不同模型空间之间转换嵌入的 Python 库。
• •它使用预先训练好的适配器来在转换过程中保持保真度。
• •关键用例包括查询现有向量索引、操作混合索引以及通过执行本地嵌入来降低成本。
• •该库允许用户利用不同的嵌入模型，而无需重新嵌入整个语料库。