Source AvailableSelf-hostedOpenAI-kompatibelAir-gapped ready v1.5.2 Enterprise ✦

Model Prism

Multi-tenant LLM Gateway mit intelligentem Routing und Kostenkontrolle. Drop-in Ersatz für die OpenAI API — für deine gesamte Organisation.

Live Demo Auf GitHub Dokumentation

Alles was du brauchst

Model Prism bündelt alle kritischen Funktionen eines produktionsreifen LLM Gateways in einem einzigen, einfach deploybaren Service.

Intelligentes Auto-Routing

Classifier-basiertes Routing leitet jede Anfrage automatisch ans optimale Modell — basierend auf Komplexität, Kontext und konfigurierten Kostentiers. Regelsets und Fallbacks für maximale Kontrolle.

Multi-Tenant & RBAC

Vollständige Tenant-Isolation: Jedes Team, jeder Kunde erhält eigene API-Keys, Quotas und Berechtigungen. RBAC auf Tenant- und Modell-Ebene, LDAP/SSO-Integration.

Echtzeit-Kostenkontrolle

Token-genaues Cost Tracking pro Tenant, Modell und Zeitraum. Budget-Alerts, automatische Drosselung bei Überschreitung und detaillierte Analytics-Dashboards.

OpenAI-kompatible API

Drop-in Ersatz für die OpenAI API — keine Codeänderungen nötig. Unterstützt Chat Completions, Embeddings und Function Calling. Kompatibel mit jedem OpenAI SDK.

Prompt Logging & Audit Trail

Vollständiges Audit Log aller LLM-Anfragen — Prompt, Response, Modell, Tokens, Kosten und Timestamp. Exportierbar für Compliance und Debugging.

Air-gapped & Skalierbar

Vollständig offline betreibbar mit OFFLINE=true — keine ausgehenden Verbindungen, keine Telemetrie. Stateless-Architektur für horizontales Scaling, Kubernetes-ready mit Helm Chart.

In 5 Minuten live

Model Prism lässt sich mit Docker Compose sofort starten. Keine Datenbank-Setup, keine komplexe Konfiguration.


docker pull ghcr.io/ai-ohara-systems/model-prism:latest

# 1. Repository klonen
git clone https://github.com/ai-ohara-systems/model-prism
cd model-prism

# 2. Starten
docker compose up -d

# → Setup-Wizard: http://localhost:3000

# 3. Testen — drop-in für OpenAI API
curl http://localhost:3000/api/api/v1/chat/completions \
  -H "Authorization: Bearer omp-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{"model": "auto", "messages": [{"role": "user", "content": "Hello!"}]}'

# 1. MongoDB starten
docker run -d --name model-prism-mongo \
  -p 27017:27017 \
  -v model-prism-data:/data/db \
  mongo:7

# 2. Model Prism starten
docker run -d --name model-prism \
  -p 3000:3000 \
  -e MONGO_URI=mongodb://host.docker.internal:27017/openmodelprism \
  -e JWT_SECRET=$(openssl rand -hex 32) \
  -e ENCRYPTION_KEY=$(openssl rand -hex 16) \
  ghcr.io/ai-ohara-systems/model-prism:latest

# → Setup-Wizard: http://localhost:3000

# 1. Helm Repo hinzufügen
helm repo add ohara https://ai-ohara-systems.github.io/ohara-helm
helm repo update

# 2. Installieren
helm install model-prism ohara/model-prism \
  --namespace model-prism \
  --create-namespace

# 3. Port-Forward zum Setup-Wizard
kubectl port-forward svc/model-prism 3000:80 -n model-prism

# → Setup-Wizard: http://localhost:3000

Vollständige Anleitung View on GitHub

Unterstützte Provider

Model Prism verbindet sich mit allen großen LLM-Anbietern über einheitliche Adapter.

OpenAI

Anthropic

Google

Mistral

Cohere

Ollama

+ jeder OpenAI-kompatible Endpoint (vLLM, LM Studio, LocalAI, ...)

Bereit, Model Prism zu deployen?

Source Available (ELv2), production-ready. Vollständig air-gapped betreibbar mit OFFLINE=true — keine ausgehenden Verbindungen. Enterprise-Lizenz für erweiterte Features verfügbar.

Model Prism auf GitHub