llama

"本文解释了如何使用Python和Ollama从头开始实现一个简单的RAG（检索增强生成）系统，以了解RAG的工作原理。"

"文章在 RTX 4070 (12GB 显存) + 32GB 内存的设置上测试并验证了 Qwen 3.5 模型，表明本地大语言模型正在成为云端解决方案的可行替代方案。"

"然而，一旦这被合并，任何拥有 Blackwell GPU 并有足够内存（包括 RAM！）的人都可以享受 NVFP4 带来的高达 2.3 倍的速度提升和 30-70% 的大小节省。"

"关键在于“如果有 AI 设置，则使用 AI 生成；如果没有，则使用模板生成”的后备设计。"

"这篇文章是上一篇的续集。不熟悉“Ollama是什么？”或“什么是函数调用？”的人应该先阅读上一篇文章。"

"于是我开始了实验，结果是“87％”。"

"使用Ollama在本地运行gpt-oss:20b，并通过Discord Bot实现bash执行、文件读写、计划模式等功能的AI智能体的全部记录。"

"通过在本地处理一些发送到云端的推理请求，您可以降低云成本，同时获得以下好处。"

"如果您在 llama.cpp 等引擎上本地运行 Qwen 3.5 35B A3B，您需要手动将您的 KV 缓存设置为 bf16 (-ctk bf16 -ctv bf16)，而不是默认的 fp16。"

"本博文将介绍如何使用 AMD 的 Ryzen™ AI Max+ AI PC 平台构建一个小型分布式推理集群，并使用 llama.cpp RPC 运行一个万亿参数级别的大语言模型。"

"GGUF (GPT-Generated Unified Format) 是一种用于在本地环境中运行AI的专用格式，最初为llama.cpp项目开发。"

"这种配置允许公司的数据在其自己的基础设施内完成，并且不会被发送到外部。"

"karukan 使用 fcitx5 -> 任意模型 + llama.cpp 进行推理来实现假名汉字转换。"

"有趣的是，它的困惑度对于这个规模来说非常好，并且*可能*比其他领先的量化在Vulkan后端上更快？"

"本文解释了如何从模型设置和系统环境两方面彻底调整Ollama的API响应速度过慢的问题，并逐步解释如何将其提高到实用速度。"

"使用本地大语言模型，你可以创造许多有趣的游戏!"

"我最近买了 32GB RAM M2 MacBook Pro，想尝试运行一个本地 LLM，所以尝试运行了几天前发布的 Qwen3.5。"

"在本文中，我将分享使用Vibe Coding创建RAG（检索增强生成）聊天机器人的经验。"

"虽然我通常不同意滥用他人财产，但这句话出自 Anthropic 真是具有讽刺意味。"

"本文总结了为那些考虑类似方法的人设置步骤。"

"Taalas宣布了其首款产品Taalas HC1芯片，该芯片针对Llama 3.1 8B模型进行了优化，在使用30芯片集群时，实现了每秒12000个tokens的推理速度，与传统GPU解决方案相比，能效提高了50倍。"

"我也被教了OpenUI，这是一个前端，也可以使用，也是由 Gemini 提供的。"

"ollama run <model name> 用于运行模型。"

"对于“你好”来说，基础模型不是一个问候。它只是一个日语标记字符串。"

"基础模型不把“你好”看作问候语；它只是一个日语标记字符串。概率性地预测“可能跟随其后的文本”的结果是，它落入了一个日语动漫博客，这很可能是在其训练数据中看到的。"

"我想自己构建一个本地大语言模型 (LLM) 的 API 服务器，心想“如果我在我的电脑上运行一个本地 LLM 并将其变成一个 API，那么实际上就可以免费使用了！”"

"Llama 3.1 8B 的性能数据，输入序列长度 1k/1k 即使与 Cerebras 相比也差了一个数量级，这真是太棒了。"

"GGUF 不仅仅是一个“轻量级模型文件”，而是一种非常智能的格式，它将模型架构信息、分词器和量化参数打包到一个文件中。"

"Taalas最近发布了一款ASIC芯片，以每秒17,000个token的推理速度运行Llama 3.1 8B (3/6比特量化)。"

"Taalas宣布推出Llama 3.1 8B模型，每用户每秒惊人地处理16,960个token的生产API服务。"