阿鳍 AI阿鳍 AI 情报局
⌕

阿鳍 AI / MODELS

模型目录与对比

工具负责运行与连接,模型负责生成;在这里分别比较。

持续扩充的本地模型快照,按聊天、编程、检索、重排和语音等用途区分;包含不同代际,不是全市场或最新型号全集。能力和速度未在本站统一实测。

向量检索 / Embedding · 结果重排 / Reranker · 语音转文字 / ASR

向量模型用于生成检索向量,重排模型为候选内容评分,语音模型把音频转成文字;这些用途不能用聊天质量直接比较。此类任务的批量、激活和音频开销尚未建模,保留人工核验,不使用聊天缓存公式判断能否运行。

相同条件下比较;权重体量采用公开元数据张量元素数,可能与型号命名的参数数不同。许可需连同基座和使用条款阅读。

从下方目录选择型号 A/B,或使用上方下拉菜单。链接会保留公开的比较与目录筛选,不包含硬件配置。

模型 A

DeepSeek-R1-Distill-Qwen-1.5B

模型系列
DeepSeek R1 Distill
权重体量估算依据
1.78 B
文档或配置上下文上限
131,072
许可标识(见原文)
mit + Apache-2.0 base
用途
文本对话 · 推理

纯容量估算;不自动下载或连接你的电脑。

作者来源与核验日期 ↗

模型 B

DeepSeek-R1-Distill-Qwen-7B

模型系列
DeepSeek R1 Distill
权重体量估算依据
7.62 B
文档或配置上下文上限
131,072
许可标识(见原文)
mit + Apache-2.0 base
用途
文本对话 · 推理

纯容量估算;不自动下载或连接你的电脑。

作者来源与核验日期 ↗

容量情景而非跑分

文件大小与SHA来自作者仓库清单,未下载权重;文件大小不是完整运行内存。估算优先使用匹配精度的已核验文件,再加文本缓存与运行余量。

容量情景而非跑分:公开权重张量数×位宽÷8,再留20%量化/混合精度余量;F16 KV缓存按层数、KV头和上下文计算,另加1.5GiB运行余量。系统内存预留至少4GiB或25%,独显预留2GiB。单模型、单会话、纯文本;不是指定GGUF文件的实测大小或可运行保证。

混合架构、特殊打包或配置缺失的型号仅列目录,需进一步核验;多模态图片/音频开销未计。MoE按总权重,不按激活参数计。4/8位是容量假设,不表示该量化文件已发布或后端已兼容。

浏览模型目录 · 47

47

BGE Reranker

bge-reranker-v2-m3

权重体量估算依据: 0.57 B

许可标识(见原文): apache-2.0

用途: 结果重排 / Reranker

待核验

权重估算 GiB: 0.3 · 4-bit / 4096

结构或格式需人工核验

DeepSeek R1 Distill

DeepSeek-R1-Distill-Qwen-1.5B

权重体量估算依据: 1.78 B

许可标识(见原文): mit + Apache-2.0 base

用途: 文本对话 · 推理

文档或配置上下文上限: 131,072

权重估算 GiB: 1.0 · 4-bit / 4096

DeepSeek R1 Distill

DeepSeek-R1-Distill-Qwen-7B

权重体量估算依据: 7.62 B

许可标识(见原文): mit + Apache-2.0 base

用途: 文本对话 · 推理

文档或配置上下文上限: 131,072

权重估算 GiB: 4.3 · 4-bit / 4096

DeepSeek R1 Distill

DeepSeek-R1-Distill-Llama-8B

权重体量估算依据: 8.03 B

许可标识(见原文): mit + Llama 3.1 base

用途: 文本对话 · 推理

文档或配置上下文上限: 131,072

权重估算 GiB: 4.5 · 4-bit / 4096

DeepSeek R1 Distill

DeepSeek-R1-Distill-Qwen-14B

权重体量估算依据: 14.77 B

许可标识(见原文): mit + Apache-2.0 base

用途: 文本对话 · 推理

文档或配置上下文上限: 131,072

权重估算 GiB: 8.3 · 4-bit / 4096

DeepSeek R1 Distill

DeepSeek-R1-Distill-Qwen-32B

权重体量估算依据: 32.76 B

许可标识(见原文): mit + Apache-2.0 base

用途: 文本对话 · 推理

文档或配置上下文上限: 131,072

权重估算 GiB: 18.3 · 4-bit / 4096

DeepSeek R1 Distill

DeepSeek-R1-Distill-Llama-70B

权重体量估算依据: 70.55 B

许可标识(见原文): mit + Llama 3.3 base

用途: 文本对话 · 推理

文档或配置上下文上限: 131,072

权重估算 GiB: 39.4 · 4-bit / 4096

Gemma 3

gemma-3-1b-it

权重体量估算依据: 1.00 B

许可标识(见原文): gemma

用途: 文本对话

待核验

权重估算 GiB: 0.6 · 4-bit / 4096

结构或格式需人工核验

Gemma 3

gemma-3-4b-it

权重体量估算依据: 4.30 B

许可标识(见原文): gemma

用途: 文本对话 · 视觉/多模态

待核验

权重估算 GiB: 2.4 · 4-bit / 4096

结构或格式需人工核验

Gemma 3

gemma-3-12b-it

权重体量估算依据: 12.19 B

许可标识(见原文): gemma

用途: 文本对话 · 视觉/多模态

待核验

权重估算 GiB: 6.8 · 4-bit / 4096

结构或格式需人工核验

Gemma 3

gemma-3-27b-it

权重体量估算依据: 27.43 B

许可标识(见原文): gemma

用途: 文本对话 · 视觉/多模态

待核验

权重估算 GiB: 15.3 · 4-bit / 4096

结构或格式需人工核验

Gemma 4

gemma-4-12B

权重体量估算依据: 11.96 B

许可标识(见原文): apache-2.0

用途: 文本对话 · 视觉/多模态

文档或配置上下文上限: 262,144

权重估算 GiB: 6.7 · 4-bit / 4096

结构或格式需人工核验

gpt-oss

gpt-oss-20b

权重体量估算依据: 20.91 B

许可标识(见原文): apache-2.0

用途: 文本对话 · 推理

文档或配置上下文上限: 131,072

权重估算 GiB: 11.7 · 4-bit / 4096

结构或格式需人工核验

gpt-oss

gpt-oss-120b

权重体量估算依据: 116.83 B

许可标识(见原文): apache-2.0

用途: 文本对话 · 推理

文档或配置上下文上限: 131,072

权重估算 GiB: 65.3 · 4-bit / 4096

结构或格式需人工核验

Llama

Llama-3.2-1B-Instruct

权重体量估算依据: 1.24 B

许可标识(见原文): llama3.2

用途: 文本对话

待核验

权重估算 GiB: 0.7 · 4-bit / 4096

结构或格式需人工核验

Llama

Llama-3.2-3B-Instruct

权重体量估算依据: 3.21 B

许可标识(见原文): llama3.2

用途: 文本对话

待核验

权重估算 GiB: 1.8 · 4-bit / 4096

结构或格式需人工核验

Llama

Llama-3.1-8B-Instruct

权重体量估算依据: 8.03 B

许可标识(见原文): llama3.1

用途: 文本对话

待核验

权重估算 GiB: 4.5 · 4-bit / 4096

结构或格式需人工核验

Phi-4

Phi-4-mini-instruct

权重体量估算依据: 3.84 B

许可标识(见原文): mit

用途: 文本对话

文档或配置上下文上限: 131,072

权重估算 GiB: 2.1 · 4-bit / 4096

Phi-4

phi-4

权重体量估算依据: 14.66 B

许可标识(见原文): mit

用途: 文本对话

文档或配置上下文上限: 16,384

权重估算 GiB: 8.2 · 4-bit / 4096

Qwen3

Qwen3-0.6B

权重体量估算依据: 0.75 B

许可标识(见原文): apache-2.0

用途: 文本对话

文档或配置上下文上限: 32,768

权重估算 GiB: 0.4 · 4-bit / 4096

Qwen3

Qwen3-1.7B

权重体量估算依据: 2.03 B

许可标识(见原文): apache-2.0

用途: 文本对话

文档或配置上下文上限: 32,768

权重估算 GiB: 1.1 · 4-bit / 4096

Qwen3

Qwen3-14B

权重体量估算依据: 14.77 B

许可标识(见原文): apache-2.0

用途: 文本对话

文档或配置上下文上限: 32,768

权重估算 GiB: 8.3 · 4-bit / 4096

Qwen3

Qwen3-30B-A3B

权重体量估算依据: 30.53 B

许可标识(见原文): apache-2.0

用途: 文本对话

文档或配置上下文上限: 32,768

权重估算 GiB: 17.1 · 4-bit / 4096

Qwen3

Qwen3-32B

权重体量估算依据: 32.76 B

许可标识(见原文): apache-2.0

用途: 文本对话

文档或配置上下文上限: 32,768

权重估算 GiB: 18.3 · 4-bit / 4096

Qwen3 Embedding

Qwen3-Embedding-0.6B

权重体量估算依据: 0.60 B

许可标识(见原文): apache-2.0

用途: 向量检索 / Embedding

文档或配置上下文上限: 32,768

权重估算 GiB: 0.3 · 4-bit / 4096

结构或格式需人工核验

Qwen3 Embedding

Qwen3-Embedding-4B

权重体量估算依据: 4.02 B

许可标识(见原文): apache-2.0

用途: 向量检索 / Embedding

文档或配置上下文上限: 32,768

权重估算 GiB: 2.2 · 4-bit / 4096

结构或格式需人工核验

Qwen3 Embedding

Qwen3-Embedding-8B

权重体量估算依据: 7.57 B

许可标识(见原文): apache-2.0

用途: 向量检索 / Embedding

文档或配置上下文上限: 32,768

权重估算 GiB: 4.2 · 4-bit / 4096

结构或格式需人工核验

Qwen3 Reranker

Qwen3-Reranker-0.6B

权重体量估算依据: 0.60 B

许可标识(见原文): apache-2.0

用途: 结果重排 / Reranker

文档或配置上下文上限: 32,768

权重估算 GiB: 0.3 · 4-bit / 4096

结构或格式需人工核验

Qwen3 Reranker

Qwen3-Reranker-4B

权重体量估算依据: 4.02 B

许可标识(见原文): apache-2.0

用途: 结果重排 / Reranker

文档或配置上下文上限: 32,768

权重估算 GiB: 2.2 · 4-bit / 4096

结构或格式需人工核验

Qwen3 Reranker

Qwen3-Reranker-8B

权重体量估算依据: 8.19 B

许可标识(见原文): apache-2.0

用途: 结果重排 / Reranker

文档或配置上下文上限: 32,768

权重估算 GiB: 4.6 · 4-bit / 4096

结构或格式需人工核验

Qwen3.5

Qwen3.5-4B

权重体量估算依据: 4.66 B

许可标识(见原文): apache-2.0

用途: 文本对话 · 视觉/多模态

文档或配置上下文上限: 262,144

权重估算 GiB: 2.6 · 4-bit / 4096

结构或格式需人工核验

Qwen3.5

Qwen3.5-9B

权重体量估算依据: 9.65 B

许可标识(见原文): apache-2.0

用途: 文本对话 · 视觉/多模态

文档或配置上下文上限: 262,144

权重估算 GiB: 5.4 · 4-bit / 4096

结构或格式需人工核验

Qwen3.5

Qwen3.5-27B

权重体量估算依据: 27.78 B

许可标识(见原文): apache-2.0

用途: 文本对话 · 视觉/多模态

文档或配置上下文上限: 262,144

权重估算 GiB: 15.5 · 4-bit / 4096

结构或格式需人工核验

Qwen3.8

Qwen3.8-27B

权重体量估算依据: 27.78 B

许可标识(见原文): apache-2.0

用途: 文本对话 · 视觉/多模态

文档或配置上下文上限: 262,144

权重估算 GiB: 15.5 · 4-bit / 4096

结构或格式需人工核验

SmolLM2

SmolLM2-135M-Instruct

权重体量估算依据: 0.13 B

许可标识(见原文): apache-2.0

用途: 文本对话

文档或配置上下文上限: 8,192

权重估算 GiB: 0.1 · 4-bit / 4096

SmolLM2

SmolLM2-360M-Instruct

权重体量估算依据: 0.36 B

许可标识(见原文): apache-2.0

用途: 文本对话

文档或配置上下文上限: 8,192

权重估算 GiB: 0.2 · 4-bit / 4096

SmolLM2

SmolLM2-1.7B-Instruct

权重体量估算依据: 1.71 B

许可标识(见原文): apache-2.0

用途: 文本对话

文档或配置上下文上限: 8,192

权重估算 GiB: 1.0 · 4-bit / 4096

Whisper

whisper-large-v3-turbo

权重体量估算依据: 0.81 B

许可标识(见原文): mit

用途: 语音转文字 / ASR

待核验

权重估算 GiB: 0.5 · 4-bit / 4096

结构或格式需人工核验