Cactus：スマートフォン向けOllama

Cactusは、LLM、VLM、およびその他のAIモデルをスマートフォン上でローカルに展開するためのクロスプラットフォームフレームワークです。プライバシーを重視し、クラウドベースのAIサービスに代わる低レイテンシの代替手段を提供することを目指しており、幅広いモデルと量子化レベルをサポートしています。このプロジェクトは、幅広い互換性のためにFlutter、React-Native、Kotlin Multi-platformを活用し、ツールコールやクラウドモデルへのフォールバックなどの機能も備えています。オープンソースであるため、コミュニティからの貢献と改善が促進されます。

• •スマートフォンでのローカルAIモデル展開のためのクロスプラットフォームフレームワーク。
• •幅広いGGUFモデルと量子化レベルをサポート。
• •機能強化のためのツールコールと、複雑なタスクのためのクラウドフォールバックを提供。
• •オープンソースで、Flutter、React-Native、Kotlin Multi-platformで構築。