工作資料留在身邊
在自己的電腦執行推論。離線本地流程可將提示與文件留在裝置內;連網工具則有各自的資料傳輸方式。

一部遊戲 PC,一台小巧 Mac。你的下一個 AI 工作空間,可能早已在桌上。找出合適模型,實測它能做到甚麼。
TokFire Bench · 免費 1–3 個並行 job · 毋須登入更小的模型檔案,讓實用的本地 AI 更易入手。自行選擇模型,在檔案所在的電腦執行推論,發揮現有硬件的用途。
在自己的電腦執行推論。離線本地流程可將提示與文件留在裝置內;連網工具則有各自的資料傳輸方式。
選擇模型、上下文與執行環境。保留適合工作流程的版本,按自己的時間更新。
同一部電腦可用於編程、文件工作與聊天。本地推論毋須按 token 支付 API 費用,仍需承擔硬件與電費。
ISTA-DASLab 的 GSQ + RCO 量化,為模型各部分分配不同精度。Qwen3.8-27B IQ3_S 檔案為 11.8 GB,讓 16 GB 顯示卡成為值得探索的起點。
作者在部分測試中報告接近原模型的結果。這是壓縮精度版本,並非原始完整精度模型,亦不保證答案完全相同。
閱讀模型資料還要預留工作記憶體。KV cache + 執行緩衝區 + 可選視覺/MTP 組件
三組 PC、三款 Mac。按公開模型大小與硬件規格挑選的入門配置,並非實測排名。
現代 6–8 核心 CPU
32 GB RAM · 1 TB NVMe
精簡的 27B 量化模型,令 16 GB 遊戲顯示卡值得一試。請選 16 GB 版本;8 GB 版本不適用此建議。
現代 8 核心或以上 CPU
64 GB RAM · 2 TB NVMe
已有 24 GB 顯示卡?先繼續用。相同的精簡模型可留下更多空間,容納上下文與執行緩衝區。
現代 8 核心或以上 CPU
64 GB RAM · 2 TB NVMe
這裡顯示記憶體最多的選擇,可留更多空間探索並行任務。用作共享伺服器前,先量度每個 job 的延遲。
18-core CPU · 20-core GPU
1 TB SSD
統一記憶體由模型與 macOS 共用。對這個 4-bit 模型而言,48 GB 配置是合理的起點。
18-core CPU · 40-core GPU
1 TB SSD
更多記憶體可留給較長的對話與其他桌面程式。先確認單一 job 的表現,再測第二個並行 job。
30-core CPU · 64-core GPU
2 TB SSD
額外容量適合探索並行工作,但不代表每個 job 都必然流暢。
下載大小不等於總記憶體用量。作業系統、執行環境、視覺組件與 KV cache(模型的工作記憶)都需要空間。上下文與並行 job 越多,需求越高。這些起步設定供測試使用,不保證速度或 agent 成功率。請使用支援此模型的執行環境;TokFire 尚未實測這六組配搭。
測試自己的配搭 →文字生成速度只是其中一環。TokFire 量度等待時間、任務完成情況,以及多個 job 同時執行時的變化。
執行聊天、商務、文件或本地 agent 工具任務,記錄完成率、首次輸出與任務延遲。
以 2 或 3 個 job 同時呼叫同一模型,觀察每個 job 的反應與失敗情況,不能只看總吞吐量。
查看工作負載配搭評級。本地儲存報告、以訪客身分上傳,再獨立選擇是否公開。
六篇實用教學:第一個助手、私人文件問答、Mac MLX、GPU 記憶體、工具 agent 及並行 job。
免費版可對同一模型執行 1–3 個並行 job。Pro 計劃一次性 HK$180,於一部已啟用裝置支援最多 20 個 job;付費版本仍待商店審批。
測試方法與限制請另行安裝 Python 與相容的推論執行環境。Mac 可用 llama.cpp 執行 GGUF,或以 oMLX 執行 MLX。可選 MTP 需要相容環境與額外設定,TokFire 不會自動啟用。
Mac DMG 使用 ad-hoc 簽署,未經 Apple 公證。Windows 未簽署,仍待 Windows/GPU 實機驗證。Android 連接現有裝置端或區域網絡推論服務,不附模型引擎;仍待手機實機驗證。
Automatic upload is on before Run and can be disabled. Public sharing is separate and off by default. Failed uploads stay queued; reports are saved locally. Desktop 0.9 adds Pro parameter experiments with local-only reports; activation awaits product setup. Version 0.8 added CSV analysis, multi-page research and retry simulations with verified task checks. These are TokFire simulations, not actual third-party agent runs. Android 0.7 retains the original profiles.
下載原始碼連接桌面應用程式 →