使用小型LLM加速 JSON 提取：重大突破！

该项目展示了使用小型开源大语言模型 (LLM) 在实际文本提取任务中的出色性能提升。 令人难以置信的低延迟和高吞吐量证明了这些模型在现实世界应用中的潜力。 用于专有名词的创新后处理技术是一个巧妙的解决方案，可以进一步提高准确性。

• •使用30亿参数的LLM，实现以 JSON 格式提取数据的出色速度和效率。
• •在L4 GPU上实现了低于500毫秒的延迟和30 RPM的吞吐量。
• •数据质量和后处理步骤（如莱文斯坦距离）显着提高了准确性，尤其是在专有名词方面。