llama.cppggml-org（Georgi Gerganov 等）
纯 C/C++ 的推理实现，把大模型塞进 CPU、Mac 统一内存和各种边缘设备，GGUF 量化格式的事实标准。
推理框架 / 服务引擎GGUFCPU / Metal / CUDA / Vulkan1.5~8bit 量化无 Python 依赖
Gemma 3n E4B
模型简介
为手机与笔记本设计的 MatFormer 模型，权重 7.8B 但运行时只加载约 4B 有效参数，能吃图、音、文。
- 参数量
- 7.8B
- 上下文
- 32K
- 硬件
- 端侧 4G 级内存可跑
- 所属
- 类型
- 纯文本 / 可识别图像 / 音频
- 商用
- 有条件可商用
- 许可
- Gemma Terms of Use
- 发布
- 2025-06-26
- 收录
- 2026-10-03