Poldion Self-HostedEnglish
Teil von Poldion Self-Hosted

WhisperNotes

Lokale Transkription mit whisper.cpp: eine OpenAI-kompatible API für Home Assistant und Discord, ein Dashboard für lange Aufnahmen und fertige Recaps für Rollenspiel-Sessions.

  • Python
  • FastAPI
  • React
  • whisper.cpp
  • sherpa-onnx
  • Discord-Bot
  • macOS & Linux
Dashboard von WhisperNotes mit einer D&D-Kampagne und einer fertigen Session
Fertiger Session-Recap mit Handlung, NPCs und Orten, Kämpfen und Beute

Drei Stunden Spielabend, ein Recap

Der Discord-Bot nimmt jede Person als eigene Spur auf. WhisperNotes transkribiert alles, ordnet die Stimmen den Charakteren zu und schreibt einen Recap mit Handlung, NPCs und Orten, Kämpfen, Beute, offenen Fäden und den besten Zitaten.

Der Recap der letzten Session fließt in die nächste Zusammenfassung ein. So bleibt die Geschichte zusammenhängend.

Funktionen

OpenAI-kompatibel

/v1/audio/transcriptions für Home Assistant, Skripte und das openai-SDK.

Startet nur bei Bedarf

whisper-server startet beim ersten Request und beendet sich nach Leerlauf. Der Speicher bleibt für Sprachmodelle frei.

Lange Aufnahmen

Automatisch zerlegt, transkribiert und per Map-Reduce zusammengefasst, Fortschritt live.

Sprechererkennung

sherpa-onnx oder pyannote, Stimmen per Hörprobe benennen, Stimmprofile je Kampagne.

Discord-Bot

Aufnahme im Voice-Channel mit einer Spur je Person, auch mit Discords Ende-zu-Ende-Verschlüsselung.

Glossar

Namen aus der Welt verbessern die Schreibweise. Die Liste kommt auf Wunsch direkt aus BasaltNotes.

Deutsch & Englisch

Oberfläche und Recaps in beiden Sprachen, optionaler API-Schlüssel für den Zugang von außen.

Zusammenspiel

WhisperNotes ist das Ohr der Familie: Es holt sich das Sprachmodell beim OllamaProxy und schickt fertige Recaps an BasaltNotes. Dort sortiert der KI-Kurator neue NPCs, Orte und Quests ein.

Schnellstart

git clone https://github.com/Poldion/WhisperNotes.git && cd WhisperNotes
cp docker/.env.example docker/.env && cp docker/whispernotes.env.example docker/whispernotes.env
mkdir -p docker/data
docker compose -f docker/compose.yml up -d --build   # AMD; NVIDIA/CPU: compose.nvidia.yml bzw. compose.cpu.yml dazu

Auf dem Mac: bash deploy/setup_mac.sh. Danach das Dashboard unter http://<host>:8000/dashboard/ öffnen.

Lizenz

MIT-Lizenz. Die Modelle werden bei der Einrichtung aus ihren Quellen geladen. Standard für die Sprechererkennung ist pyannote segmentation-3.0 (MIT). Das optionale Modell reverb ist laut Hersteller nur für nicht-kommerzielle Zwecke freigegeben. Nimm Gespräche nur mit dem Einverständnis aller auf.