From d7d5510bf664a4c9cb94d18aaf00d8b5a4349f45 Mon Sep 17 00:00:00 2001 From: linyubupa Date: Fri, 13 Nov 2026 21:00:21 +0800 Subject: [PATCH] docs: capacity controls section, VRAM budget wording, drop benchmark-only note --- README.md | 19 ++++++++++++++++--- README_es.md | 2 +- README_fr.md | 2 +- README_ja.md | 2 +- README_zh.md | 2 +- 5 files changed, 20 insertions(+), 7 deletions(-) diff --git a/README.md b/README.md index 9f2b062..963832c 100644 --- a/README.md +++ b/README.md @@ -177,12 +177,11 @@ Highlighted rows show Q3_K. Click the table to view it at full size.
145B measurement conditions · constrained budget and memory residency -`16 GiB VRAM + 20 GiB RAM` rows are the RTX 5090 D 24 GB again, constrained by cgroup to a 16 GiB VRAM and -20 GiB system-RAM budget — not a different card. With residency on, the same card holds **Q3_K** (40.81 GiB of weights) +The `16 GiB VRAM + 20 GiB RAM` rows are the same RTX 5090 D 24 GB, not a different card. VRAM is capped with `--vram-reserve-mib 8192`; system RAM by a cgroup (`MemoryMax=20G`, no swap). With residency on, the same card holds **Q3_K** (40.81 GiB of weights) as 23.14 GiB VRAM + 31.28 GiB RAM, and **NVFP4** (47.79 GiB) as 23.25 GiB VRAM + 38.27 GiB RAM — disjoint expert sets, nothing counted twice. -These residency readings use expert residency enabled, `--no-prefill-borrow`, conv cache = 0 and kv-resident = 0. Host RAM is measured as `RssAnon + RssShmem`. These are single-run readings, not minimum system requirements. See [Usage & troubleshooting](#usage-help) for memory-saving options. +See [Usage & troubleshooting](#usage-help) for memory-saving options. The 16 GiB VRAM + 20 GiB RAM budget is a test limit, not a minimum system requirement. The Apple M2 Ultra row is a Metal measurement, not an announcement of macOS release availability. @@ -355,6 +354,20 @@ Up to **20 GiB** of host RAM for the expert cache; uncached experts are read fro
+### Capacity controls · VRAM and host RAM + +These live in the pack's `model.json` (`args` for flags, `env` for environment variables), so a change there +applies to every launch of the model. + +| Flag | Meaning | Default | +|---|---|---| +| `--vram-reserve-mib N` | VRAM left free for the desktop, the driver and other processes; the engine sizes its caches from what remains. | `700` | +| `--expert-cache N\|auto` | Expert slots kept in VRAM. `auto` derives the count from the free VRAM after the fixed footprint (projections, MTP draft, verify buffers, D/U device buffers). | `0` | +| `--kv-resident N` | KV cells kept in VRAM per QSA layer; the rest streams from pinned host RAM, which frees VRAM for experts. | `0` | +| `--spec N` | The MTP drafter's verify window: tokens proposed per check. A bigger window needs bigger verify buffers (about 180 MiB at 4) and pays off when every window has a fixed per-layer cost. Without an MTP layer there is no speculation. | `4` | +| `--resident-budget-gib N` | Cap on the host-RAM expert cache. It holds only the experts the VRAM cache does **not** hold, so the two sets are disjoint, and the value is clamped to the RAM available minus headroom. Needs a static `--expert-profile`. | `0` | +| `--mmap-experts` | Read experts through the pack file on demand instead of pinning them, so nothing is resident in RAM. | off | + ## Documentation **Latest release · 145B / 120B** diff --git a/README_es.md b/README_es.md index bfea972..0a6cb37 100644 --- a/README_es.md +++ b/README_es.md @@ -195,7 +195,7 @@ Las filas resaltadas corresponden a Q3_K. Haz clic en la tabla para verla a tama
Condiciones de medición de 145B · presupuesto limitado y residencia en memoria -Las filas `16 GiB VRAM + 20 GiB RAM` también usan la RTX 5090 D 24 GB, limitada mediante cgroup a un presupuesto de 16 GiB de VRAM y 20 GiB de RAM del sistema; no se trata de otra tarjeta. Con la residencia activada, **Q3_K** (40.81 GiB de pesos) ocupa 23.14 GiB VRAM + 31.28 GiB RAM, y **NVFP4** (47.79 GiB) ocupa 23.25 GiB VRAM + 38.27 GiB RAM en la misma tarjeta. Los conjuntos de expertos son disjuntos: nada se contabiliza dos veces. +Las filas `16 GiB VRAM + 20 GiB RAM` usan la misma RTX 5090 D 24 GB, no otra tarjeta. La VRAM se limita con `--vram-reserve-mib 8192`; la RAM del sistema, con un cgroup (`MemoryMax=20G`, sin swap). Con la residencia activada, **Q3_K** (40.81 GiB de pesos) ocupa 23.14 GiB VRAM + 31.28 GiB RAM, y **NVFP4** (47.79 GiB) ocupa 23.25 GiB VRAM + 38.27 GiB RAM en la misma tarjeta. Los conjuntos de expertos son disjuntos: nada se contabiliza dos veces. El presupuesto de 16 GiB VRAM + 20 GiB RAM es un límite de prueba, no un requisito mínimo del sistema. La fila Apple M2 Ultra es una medición con Metal, no un anuncio de disponibilidad para macOS. diff --git a/README_fr.md b/README_fr.md index 716dc05..7c6a937 100644 --- a/README_fr.md +++ b/README_fr.md @@ -195,7 +195,7 @@ Les lignes mises en évidence correspondent à Q3_K. Cliquez sur le tableau pour
Conditions de mesure de 145B · budget limité et résidence en mémoire -Les lignes `16 GiB VRAM + 20 GiB RAM` utilisent elles aussi la RTX 5090 D 24 GB, limitée par cgroup à un budget de 16 GiB de VRAM et de 20 GiB de RAM système ; il ne s’agit pas d’une autre carte. Avec la résidence activée, **Q3_K** (40.81 GiB de poids) occupe 23.14 GiB VRAM + 31.28 GiB RAM, et **NVFP4** (47.79 GiB) occupe 23.25 GiB VRAM + 38.27 GiB RAM sur cette même carte. Les ensembles d’experts sont disjoints, sans double comptage. +Les lignes `16 GiB VRAM + 20 GiB RAM` utilisent la même RTX 5090 D 24 GB, pas une autre carte. La VRAM est limitée par `--vram-reserve-mib 8192` ; la RAM système par un cgroup (`MemoryMax=20G`, sans swap). Avec la résidence activée, **Q3_K** (40.81 GiB de poids) occupe 23.14 GiB VRAM + 31.28 GiB RAM, et **NVFP4** (47.79 GiB) occupe 23.25 GiB VRAM + 38.27 GiB RAM sur cette même carte. Les ensembles d’experts sont disjoints, sans double comptage. Le budget de 16 GiB VRAM + 20 GiB RAM est une limite de test, pas une configuration minimale requise. La ligne Apple M2 Ultra est une mesure sous Metal, et non une annonce de disponibilité pour macOS. diff --git a/README_ja.md b/README_ja.md index 749ff1e..c8d6dd2 100644 --- a/README_ja.md +++ b/README_ja.md @@ -195,7 +195,7 @@ Q3_K · RTX 5090 D 24 GB。プリフィルは 16K token の入力で測定して
145B 測定条件 · メモリ予算の制限と常駐 -`16 GiB VRAM + 20 GiB RAM` の行も RTX 5090 D 24 GB を使用し、cgroup で VRAM を 16 GiB、システム RAM を 20 GiB に制限したものです。別のカードではありません。常駐を有効にすると、同じカードで **Q3_K**（重み 40.81 GiB）は 23.14 GiB VRAM + 31.28 GiB RAM、**NVFP4**（47.79 GiB）は 23.25 GiB VRAM + 38.27 GiB RAM を使用します。両メモリに置かれるエキスパート集合は重複せず、二重計上していません。 +`16 GiB VRAM + 20 GiB RAM` の行も同じ RTX 5090 D 24 GB です（別のカードではありません）。VRAM は `--vram-reserve-mib 8192`、システム RAM は cgroup（`MemoryMax=20G`、スワップなし）で制限しています。常駐を有効にすると、同じカードで **Q3_K**（重み 40.81 GiB）は 23.14 GiB VRAM + 31.28 GiB RAM、**NVFP4**（47.79 GiB）は 23.25 GiB VRAM + 38.27 GiB RAM を使用します。両メモリに置かれるエキスパート集合は重複せず、二重計上していません。 16 GiB VRAM + 20 GiB RAM は測定時の制限であり、最小システム要件ではありません。Apple M2 Ultra の行は Metal での測定結果で、macOS 対応のリリースを告知するものではありません。 diff --git a/README_zh.md b/README_zh.md index c7534ae..a76f905 100644 --- a/README_zh.md +++ b/README_zh.md @@ -195,7 +195,7 @@ Q3_K · RTX 5090 D 24 GB。预填充使用 16K token 输入。能力分数为模
145B 测量条件 · 限定预算与内存驻留 -`16 GiB VRAM + 20 GiB RAM` 行仍使用 RTX 5090 D 24 GB，通过 cgroup 将预算限制为 16 GiB 显存和 20 GiB 系统内存，并非另一张显卡。启用驻留后，同一张显卡上 **Q3_K**（权重 40.81 GiB）占用 23.14 GiB VRAM + 31.28 GiB RAM，**NVFP4**（47.79 GiB）占用 23.25 GiB VRAM + 38.27 GiB RAM；两处存放的专家集合互不重叠，没有重复计数。 +`16 GiB VRAM + 20 GiB RAM` 行仍使用同一张 RTX 5090 D 24 GB，并非另一张显卡。显存通过 `--vram-reserve-mib 8192` 限制，系统内存通过 cgroup（`MemoryMax=20G`，无 swap）限制。启用驻留后，同一张显卡上 **Q3_K**（权重 40.81 GiB）占用 23.14 GiB VRAM + 31.28 GiB RAM，**NVFP4**（47.79 GiB）占用 23.25 GiB VRAM + 38.27 GiB RAM；两处存放的专家集合互不重叠，没有重复计数。 16 GiB VRAM + 20 GiB RAM 是测试时的预算限制，不是最低系统要求。Apple M2 Ultra 行是 Metal 后端的测量结果，不代表已发布 macOS 支持。