Warum 8B-Modelle bei Agenten hängen: 3 Hermes-Tunings (2026)
2026 wirken Llama 3.1/3.2 8B, Qwen 2.5 7B und Hermes 3 8B lokal günstig—bis der Agent in eine Endlosschleife gerät: kaputtes Tool-JSON, wiederholtes terminal, „Ich starte jetzt die Tests…“ ohne Tool-Aufruf. Die GPU ist ok; Sampling, Kontext und Tool-Oberfläche sind es nicht.
Hermes Agent (NousResearch/hermes-agent, MIT) zielt auf Frontier-Modelle, läuft aber mit OpenRouter, Ollama usw. Hier: warum kleine Modelle in Agent-Szenarien scheitern, plus 3 harte Tunings und ein 7-Schritte-Runbook für Mac/Linux mit 16–24 GB VRAM.
temperature in config.yaml ist begrenzt (#17565)—Sampling auf dem Ollama-Server plus Reasoning/Tool-Optionen unten.Warum 8B bei Function Calling scheitern
Kleine Instruct-Modelle sind für Einzelrunden-Chat trainiert, nicht für 50 Tool-Runden.
| Schwäche | Symptom in Hermes | Token-Kosten |
|---|---|---|
| Struktur-Drift | JSON mit Prosa, falsche Keys, Pseudo-Aufrufe im Text | Parser-Retries |
| Aufmerksamkeitsverlust | Frühe Logs/HTML verdrängen das Ziel | Stop-Bedingungen vergessen |
| Hohe Entropie | Gleicher Plan, neue Formulierung | Fast gleiche curl/grep |
Zitierbare Definition:Ein Hermes-„Tool-Aufruf“ ist eine strukturierte Nachricht, die die Runtime ausführt; reines Erzählen lässt die Schleife stehen.
Kombinieren Sie Trajectory Compressor mit den Mac-mini-Specs.
Architektur: was Hermes pro Runde sendet
| Schicht | Pfad | 8B-Effekt |
|---|---|---|
| Modell | hermes model | Realistische context_length |
| Tools | disabled_toolsets | Weniger JSON-Schemas |
| Skills | -s a,b | Max. 2 Skills |
| Enforcement | tool_use_enforcement | Echte Aufrufe erzwingen |
| Reasoning | reasoning_effort | medium bläht versteckte Tokens |
| Hygiene | compression.* | Riesiges stdout kappen |
Lokal: temperature 0.2 auf Ollama bis #17565.
Drei Tunings wichtiger als Roh-Temperatur
Tuning 1 — reasoning_effort: none
agent:
reasoning_effort: none # or minimal for light planning
display:
show_reasoning: false
/reasoning
/reasoning none
Tuning 2 — tool_use_enforcement
agent:
tool_use_enforcement: true
provider_routing:
require_parameters: true
"auto" nur für GPT/Gemini—lokale 8B: manuell true.
Tuning 3 — zwei Skills, minimale Toolsets
hermes chat --toolsets "terminal,file" \
-s github-pr-workflow,plan \
-m "qwen/qwen-2.5-7b-instruct"
- ≤2 Skills vorladen
- Schwere Toolsets deaktivieren
- Nicht alle MCPs auf 8B (MCP Mac-Guide)
agent:
disabled_toolsets:
- web
- browser
- image_gen
- moa
- memory
hermes profile create local-8b --no-skills
7-Schritte-Runbook
Schritt 1 — Installation & realistischer Kontext
curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash
source ~/.zshrc
hermes doctor
model:
context_length: 16384
Voraussetzung: Hermes Mac-Installation.
Schritt 2 — lokaler Endpoint
hermes model
hermes chat -q "Reply OK only" -m "your-local-model-id"
Schritt 3 — drei Tunings in YAML
agent:
reasoning_effort: none
tool_use_enforcement: true
disabled_toolsets:
- web
- browser
- image_gen
- memory
compression:
enabled: true
threshold: 0.40
tool_output:
max_bytes: 20000
max_lines: 500
file_read_max_chars: 30000
Schritt 4 — Server-Sampling
PARAMETER temperature 0.2
PARAMETER top_p 0.9
Schritt 5 — begrenzte Aufgabe, 2 Skills
hermes chat --toolsets "terminal,file" \
-s plan \
-m "your-local-model-id"
Task: list top 5 largest files in ./src, write paths to /tmp/top5.txt.
Rules: max 8 tool calls; if stuck, stop and report blocker.
Schritt 6 — /usage & /stop
/usage
/stop
Schritt 7 — dauerhaft online Mac mini (optional)
Nach stabilen Schleifen: Cron Discord-Digest. 8B auf GPU, Gateway auf CPU.
Fehlerbehebung
JSON-Fehler bei jedem Tool-Aufruf
Fix: tool_use_enforcement: true, Toolsets terminal,file, niedrigere Temperatur, Tool-Quant.
Endloses „Ich werde…“ ohne Tools
Fix: Regel in SOUL.md, 1 Skill, kein reasoning_effort: high.
Kontext voll in Runde 4 (16K)
Fix: compression.threshold: 0.35, Kompression, /compress vor großen Einfügungen.
FAQ
reasoning_effort: none + enforcement. #17565.compression.* für Live-Fenster—beides auf 8B.Weiterlesen
Dauerhaft online Mac für lokale Agenten?
Optionaler Mac mini hält Hermes-Gateway online, während 8B auf der GPU läuft.
