PolyInfer：跨 TensorRT、ONNX Runtime、OpenVINO、IREE 的统一推理 API
分析
r/deeplearning 上的这个提交讨论了 PolyInfer，这是一个统一的推理 API，旨在跨多个流行的推理引擎（如 TensorRT、ONNX Runtime、OpenVINO 和 IREE）工作。潜在的好处是显着的：开发人员可以编写一次推理代码，并在各种硬件平台上部署它，而无需进行重大修改。这个抽象层可以简化部署，减少供应商锁定，并加速优化推理解决方案的采用。讨论线程可能包含有关项目架构、性能基准和潜在限制的宝贵见解。需要进一步调查以评估 PolyInfer 的成熟度和可用性。