llmfit 项目评测报告

🏆 核心结论（先看这里！）

推荐指数：⭐⭐⭐⭐⭐ (5/5)

一句话总结
Rust 编写的 LLM 模型硬件适配工具，自动检测硬件并推荐最适合的模型，支持 200+ 模型和 5 种运行时。

核心价值

✅ 智能适配 - 自动检测 CPU/GPU/RAM，动态选择最优量化级别
✅ 多维度评分 - Quality/Speed/Fit/Context 四维评分系统
✅ 丰富模型库 - 200+ 模型，支持 MoE 架构自动识别
✅ 多运行时集成 - Ollama/llama.cpp/MLX/LM Studio/Docker Model Runner

📸 产品展示

llmfit Logo

llmfit - Hundreds of models & providers. One command to find what runs on your hardware.

TUI 演示

llmfit Demo

交互式 TUI 界面，自动检测硬件并推荐模型

TUI 界面架构

┌─────────────────────────────────────────────────────────────┐
│                    llmfit TUI 架构                           │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  顶部状态栏                                                  │
│  ├── CPU: 8 cores | RAM: 32GB available                     │
│  ├── GPU: NVIDIA RTX 4090 | VRAM: 24GB | Backend: CUDA      │
│  └── Ollama: ✓ (5 installed) | llama.cpp: ✓                │
│                                                             │
│  模型列表 (可滚动)                                           │
│  ┌─────────────────────────────────────────────────────────┐│
│  │ Score │ Model           │ Params │ Quant │ tok/s │ Fit  ││
│  ├─────────────────────────────────────────────────────────┤│
│  │ 87.5  │ Llama-3.1-8B    │ 8B     │ Q5_K  │ 45.2  │ ⬤   ││
│  │ 85.2  │ Qwen2.5-14B     │ 14B    │ Q4_K  │ 32.1  │ ◐   ││
│  │ 82.8  │ Mistral-7B      │ 7B     │ Q6_K  │ 52.3  │ ⬤   ││
│  └─────────────────────────────────────────────────────────┘│
│                                                             │
│  底部快捷键                                                  │
│  j/k: Navigate | f: Filter | d: Download | Enter: Detail   │
│                                                             │
└─────────────────────────────────────────────────────────────┘

核心工作流程

硬件检测 → 模型评分 → 量化选择 → 运行模式判定 → 推荐排序
    │           │          │            │           │
    ▼           ▼          ▼            ▼           ▼
 GPU/VRAM   Q/S/F/C    Q8_0-Q2_K    GPU/MoE/    按综合
 CPU/RAM    四维评分    动态降级     CPU+GPU      分数排序

📌 基本信息

项目	信息
GitHub	AlexsJones/llmfit
License	MIT
主要语言	Rust
包管理	crates.io, Homebrew, Scoop, Docker
分类	ai-tools / dev-tools

🎯 核心特性

功能矩阵

模块	功能	说明
硬件检测	多平台 GPU 检测	NVIDIA/AMD/Intel/Apple Silicon/Ascend
模型数据库	200+ 模型	HuggingFace API 自动更新
评分系统	四维评分	Quality/Speed/Fit/Context 0-100
量化选择	动态量化	Q8_0 → Q2_K 自动降级
运行模式	4 种模式	GPU/MoE/CPU+GPU/CPU
TUI	Vim 风格	Normal/Visual/Select 三模式
Web Dashboard	内置 Web	0.0.0.0:8787 自动启动
REST API	服务模式	`llmfit serve` 集群调度
Provider 集成	5 种运行时	Ollama/llama.cpp/MLX/LM Studio/Docker

核心能力

1. 智能硬件检测

支持的 GPU 厂商：
├── NVIDIA (nvidia-smi) - 多 GPU 聚合 VRAM
├── AMD (rocm-smi)
├── Intel Arc (sysfs/lspci) - 独立/集成
├── Apple Silicon (system_profiler) - 统一内存
└── Ascend (npu-smi)

后端自动识别：
CUDA → Metal → ROCm → SYCL → CPU(ARM/x86) → NPU

2. 多维度评分系统

维度	权重 (通用)	权重 (编码)	权重 (推理)
Quality	0.30	0.35	0.55
Speed	0.25	0.30	0.15
Fit	0.25	0.20	0.15
Context	0.20	0.15	0.15

3. MoE 架构支持

Mixtral 8x7B 示例：
├── 总参数: 46.7B
├── 激活参数: ~12.9B/ token
├── 常规 VRAM: 23.9 GB
└── MoE offload: ~6.6 GB ✓

4. 速度估算公式

tok/s = (bandwidth_GB_s / model_size_GB) × 0.55

GPU 带宽数据库：
├── ~80 种 GPU 型号
├── NVIDIA (消费级 + 数据中心)
├── AMD (RDNA + CDNA)
└── Apple Silicon

🏗️ 技术架构

技术栈

层级	技术选型
语言	Rust
CLI 框架	clap (derive macros)
系统检测	sysinfo
序列化	serde / serde_json
TUI 框架	ratatui + crossterm
表格渲染	tabled
HTTP 客户端	ureq

目录结构

llmfit/
├── src/
│   ├── main.rs           # CLI 入口 + TUI 启动
│   ├── hardware.rs       # RAM/CPU/GPU 检测
│   ├── models.rs         # 模型数据库 + 量化层级
│   ├── fit.rs            # 多维评分 + 速度估算
│   ├── providers.rs      # 运行时集成 (5 种)
│   ├── display.rs        # CLI 表格 + JSON 输出
│   ├── tui_app.rs        # TUI 状态管理
│   ├── tui_ui.rs         # TUI 渲染 (ratatui)
│   └── tui_events.rs     # 键盘事件处理
├── data/
│   └── hf_models.json    # 模型数据库 (200+)
├── skills/
│   └── llmfit-advisor/   # OpenClaw 技能
├── scripts/
│   ├── scrape_hf_models.py  # HuggingFace 爬虫
│   └── update_models.sh     # 自动更新脚本
└── Makefile              # 构建命令

核心模块

hardware.rs: 跨平台硬件检测，多 GPU 聚合
fit.rs: Q/S/F/C 四维评分，速度估算
providers.rs: 5 种运行时 Provider 集成
tui_*.rs: Vim 风格 TUI (Normal/Visual/Select)

💡 安装与使用

环境要求

macOS / Linux / Windows
可选: NVIDIA GPU + nvidia-smi / AMD GPU + rocm-smi

快速安装

bash

# macOS / Linux - Homebrew
brew install llmfit

# macOS / Linux - 快速安装
curl -fsSL https://llmfit.axjns.dev/install.sh | sh

# Windows - Scoop
scoop install llmfit

# Docker
docker run ghcr.io/alexsjones/llmfit

# 从源码
git clone https://github.com/AlexsJones/llmfit.git
cd llmfit
cargo build --release

基础使用

bash

# 启动 TUI (默认)
llmfit

# CLI 模式
llmfit --cli

# 查看系统信息
llmfit system

# 完美适配的模型
llmfit fit --perfect -n 5

# JSON 输出 (用于脚本)
llmfit recommend --json --limit 5

# 按用例筛选
llmfit recommend --use-case coding --limit 3

# 硬件规划模式
llmfit plan "Qwen/Qwen3-4B-MLX-4bit" --context 8192

# REST API 服务
llmfit serve --host 0.0.0.0 --port 8787

# 手动指定 GPU 内存
llmfit --memory=24G --cli

TUI 快捷键

j/k        上下导航        f        循环适配过滤
/          搜索模式        d        下载模型
v          Visual 模式     p        硬件规划模式
V          Select 模式     t        切换主题 (10 种)
c          对比视图        q        退出

学习曲线：5 分钟 (安装) - 15 分钟 (熟悉 TUI)

🎯 竞争优势对比

竞品对比

对比项	llmfit	llm-checker	手动选择
模型数量	200+	~50	无限
硬件检测	✅ 自动	✅ 自动	❌ 手动
MoE 支持	✅ 自动识别	❌ 无	❌ 无
多 GPU	✅ 聚合 VRAM	⚠️ 部分	❌ 无
速度估算	✅ 带宽公式	✅ 实测	❌ 无
TUI 界面	✅ Vim 风格	❌ CLI	❌ 无
REST API	✅ 集群调度	❌ 无	❌ 无
运行时集成	✅ 5 种	✅ Ollama	❌ 无

核心差异化

vs. llm-checker

✅ 不需要实际运行模型即可估算
✅ 支持 MoE 架构 (Mixtral, DeepSeek-V2/V3)
✅ TUI 界面 + REST API
❌ 没有实际基准测试

vs. 手动选择

✅ 自动检测硬件
✅ 四维评分系统
✅ 动态量化选择

🎯 适用场景

✅ 推荐场景

个人开发者 - 快速找到适合本机运行的模型
运维工程师 - 集群节点模型调度
AI 实验者 - 尝试不同量化级别
硬件采购 - 规划升级所需的 VRAM/RAM
多机环境 - 连接远程 Ollama/LM Studio

❌ 不适合场景

需要实测性能 - 估算 ≠ 实际性能
云 GPU 选型 - 主要针对本地硬件
移动端 GPU - Android GPU 检测有限

✅ 优势

智能检测 - 自动识别 5 种 GPU 厂商，多 GPU 聚合
MoE 支持 - 自动识别专家混合架构，准确估算 VRAM
多维评分 - Q/S/F/C 四维评分，按用例加权
Vim 风格 TUI - 三种模式，10 种主题
REST API - 支持集群调度场景
5 种运行时 - Ollama/llama.cpp/MLX/LM Studio/Docker
Web Dashboard - 自动启动 Web 界面
跨平台安装 - Homebrew/Scoop/Docker/crates.io
中英双语 - README 中文版

❌ 不足

估算非实测 - 速度基于公式估算，非实际运行
移动 GPU 有限 - Android/Termux GPU 检测不完善
模型更新 - 需要手动运行脚本更新模型库
学习曲线 - Vim 风格快捷键需要适应
GPU 带宽表 - 不在列表中的 GPU 使用回退常量

🌐 社区活跃度

指标	数据
License	MIT
CI/CD	GitHub Actions
包发布	crates.io
容器	ghcr.io Docker 镜像
文档	README + MODELS.md + AGENTS.md

社区生态

OpenClaw 技能集成
姊妹项目: sympozium (K8s agents), llmserve (TUI serving)
贡献指南完善

📊 综合评分

维度	评分	说明
技术创新性	9.0/10	MoE 支持 + 四维评分 + 动态量化
易用性	8.5/10	TUI 直观，Vim 快捷键需适应
性能表现	9.0/10	Rust 高性能，无运行时开销
功能完整性	9.0/10	TUI/CLI/API/Provider 全覆盖
代码质量	9.0/10	Rust 类型安全，模块清晰
文档完善度	9.5/10	README 极其详细，中英双语
社区活跃度	8.0/10	持续更新，社区贡献开放
可扩展性	8.5/10	易于添加新模型和 Provider
商业价值	8.5/10	集群调度场景价值高

总体评分：8.8/10 ⭐⭐⭐⭐⭐

📌 推荐建议

llmfit 是目前最完善的 LLM 模型硬件适配工具，适合任何需要本地运行 LLM 的用户。

核心价值:

一键找到最适合你硬件的模型
MoE 架构自动识别，节省 VRAM
多种运行时无缝集成

适用人群: 本地 LLM 用户、运维工程师、硬件采购决策者

使用建议:

先运行 llmfit system 确认硬件检测正确
使用 TUI 模式浏览和筛选模型
配合 Ollama/llama.cpp 一键下载

注意事项: 速度为估算值，实际性能请以 llm-checker 实测为准

评测时间: 2026-03-23
评测版本: crates.io latest
项目链接: https://github.com/AlexsJones/llmfit

llmfit 项目评测报告 ​

🏆 核心结论（先看这里！） ​

推荐指数：⭐⭐⭐⭐⭐ (5/5) ​

核心价值 ​

📸 产品展示 ​

llmfit Logo ​

TUI 演示 ​

TUI 界面架构 ​

核心工作流程 ​

📌 基本信息 ​

🎯 核心特性 ​

功能矩阵 ​

核心能力 ​

1. 智能硬件检测 ​

2. 多维度评分系统 ​

3. MoE 架构支持 ​

4. 速度估算公式 ​

🏗️ 技术架构 ​

技术栈 ​

目录结构 ​

核心模块 ​

💡 安装与使用 ​

环境要求 ​

快速安装 ​

基础使用 ​

TUI 快捷键 ​

🎯 竞争优势对比 ​

竞品对比 ​

核心差异化 ​

🎯 适用场景 ​

✅ 推荐场景 ​

❌ 不适合场景 ​

✅ 优势 ​

❌ 不足 ​

🌐 社区活跃度 ​

社区生态 ​

📊 综合评分 ​

总体评分：8.8/10 ⭐⭐⭐⭐⭐ ​

📌 推荐建议 ​