TOKFIRE 实用指南
让本地 AI,真正帮上忙。
六篇实用教程,从桌上的硬件开始。创建有用的工具、理解技术,再测量实际表现。
06PC / MAC
LOCAL LLM
LOCAL LLM
你的第一个本地 AI 助手:从小模型开始
用 Ollama 将 PC 或 Mac 变成实用的草稿与摘要助手。
阅读教程向自己的文件提问:小型本地 RAG 教程
建立可以检查证据的文档问答原型,无需云端向量数据库。
阅读教程用 MLX 在 Apple silicon 运行本地 LLM
从 4-bit 模型开始,理解统一内存,再测试提示缓存是否有帮助。
阅读教程16GB GPU 能跑 27B?先算清内存预算
GSQ + RCO 改变了什么、KV cache 仍占多少空间,以及如何实际验证 GGUF。
阅读教程从聊天到行动:创建小型本地工具 agent
以只读库存查询,理解 agent 真正做了什么,以及如何验收。
阅读教程一个模型、三个 job:测量真正有用的速度
分清总吞吐量及响应速度,再公平测试批处理、缓存及推测解码。
阅读教程