MODELSQWENMODEL CARD
Qwen2.5-7B-Instruct
中文对话、结构化抽取与本地知识库的开源基座。先选量化分支，再按你的设备预算规划上下文。
- TOTAL PARAMS
- 7.62B
- ATTENTION
- GQA · 28L / 4 KV
- NATIVE CONTEXT
- 32,768 tokens
- LICENSE
- Apache-2.0
MEMORY::PLANNER
量化内存计算器
原生上下文包含输入 + 输出
上限 32,768
DOWNLOADS / 原始来源
公式与警告
GQA / MHA KV = 2 × layers (28) × kvHeads (4) × headDim (128) × tokens (4096) × concurrency (1) × bytes (2，FP16)。总驻留 = 权重 + KV Cache + 运行时；预估总额 = 总驻留 × (1 + 安全余量)。内容为预估，不是实测。
- 推理驻留估算，不含加载峰值、完整文件页缓存、训练梯度或优化器状态。
- 运行时固定开销与权重开销比例为可调整的规划假设，需用实际设备运行日志校准。
- 只判断模型全量驻留在单卡 VRAM 中的预算；主机 RAM、加载峰值和 CPU/GPU 分层卸载另行验证。
本页做推理容量规划；训练显存、测速和在线推理需要独立管线。分片权重必须下载齐全；Safetensors 仓库还需配置、分词器和索引文件。
仅链接已核实的海外官方源。国内镜像尚未接入；页面不宣称下载速度或平台实测成绩。
数据来源与版本 · 核对日期 2026-09-12
base revision: a09a35458c702b33eeacc393d103063234e8bc28