Wir haben mehr als 30 Deployments für Unternehmen optimiert, die ihre GPUs besitzen, aber kein Performance-Team haben. Wir finden heraus, warum Ihre Inferenz langsam ist, beheben es und liefern einen Bericht, den Sie abzeichnen können – mit Vorher/Nachher-Zahlen, die Ihr Team selbst nachrechnen kann. Sie müssen dafür keinen CUDA-Spezialisten einstellen – und Sie müssen uns nichts glauben.
Wir arbeiten mit Unternehmen, die GPUs über ihr Budget beschafft haben – und deren IT-Team die Infrastruktur betreibt, aber keine Kernel- oder Bandbreitenoptimierung macht. Das ist keine Schwäche: Diese Fähigkeit braucht man ein- bis zweimal im Jahr, nicht jeden Tag.
Sie besitzen mehr eigene Hardware als fast jeder andere – und haben den geringsten Spielraum, jemanden dafür einzustellen.
Ihre Daten dürfen das Haus nicht verlassen. „Wir arbeiten in Ihrer Umgebung“ ist deshalb keine Zugabe – es ist die Bedingung.
Jede Anfrage liest Dutzende Seiten. Der Schmerz sitzt beim ersten Token, nicht im Durchsatz.
Die Compliance segnet den Einkauf ab, nicht die Leistung. Ob die Karten wirklich arbeiten, prüft niemand.
Die GPUs sind im Rack, das Modell wird ausgeliefert. Aber unter echter Last hält es nicht stand – und niemand hier kann sagen, ob es an der Hardware, am Modell oder an einer Einstellung liegt.
Das war schon letztes Jahr die Antwort. Wir wollen lieber wissen, ob das Geld, das wir bereits ausgegeben haben, seine Arbeit tut.
Ein Performance-Engineer für Machine Learning kostet 200.000–400.000 $ im Jahr – und selbst wenn wir das genehmigen würden, endet unsere Gehaltsspanne weit darunter. Das ist eine Leistung, die wir einkaufen können. Es ist keine Stelle, die wir besetzen können.
Jemand hat einmal etwas ausprobiert. Es fühlte sich schneller an. Das ist kein Ergebnis, das man der Geschäftsleitung vorlegen kann.
Wenn Sie bereits einen festangestellten Performance-Engineer für Inferenz haben – Vollzeit, mit Zeit, und mit Befugnis, das Ergebnis abzuzeichnen – dann brauchen Sie uns wahrscheinlich nicht. Wir sagen Ihnen das im ersten Gespräch.
Die Diagnose hat für sich genommen schon Wert: Sie sagt Ihnen, wie viel Spielraum noch da ist und ob sich der Aufwand lohnt.
Wir vermessen Ihren Ist-Zustand so, wie er läuft – Hardware, Software-Stack, Modell, echte Last. Ergebnis ist ein reproduzierbarer Ausgangswert und ein erreichbares Ziel.
Engpass beheben, Wirkung einzeln nachweisen. Wirksam wird nur, was gemessen wurde – und die Kosten stehen immer daneben.
Last ändert sich, Modelle wechseln, die nächste Karte steht an. Wir halten die Zahlen aktuell und beantworten die Frage, die wirklich Geld kostet.
Eine Verdopplung der GPUs ist keine kleine Position: ein 8×A100-Knoten liegt bei rund 48.000 $, ein 8×H100-Knoten bei rund 240.000 $ – Beschaffungszeit und Stillstand nicht gerechnet.
Wir rechnen als ein Projekt gegen ein Ergebnis ab. Wird das vereinbarte Ziel nicht erreicht, stellen wir diese Stufe nicht in Rechnung.
Bei der Token-Generierung mit Batch-Größe 1 wird jedes Gewicht pro Token genau einmal gelesen. Die Obergrenze für die Geschwindigkeit eines einzelnen Streams ist daher reine Physik – kein Framework-Trick.
Bandbreitenauslastung bei Batch-Größe 1 auf einer RTX 4090 (Peak 1008 GB/s). Zeile 5 ist der Punkt: FP8 senkt die Auslastung, erhöht aber den Durchsatz – weil pro Token weniger Bytes bewegt werden. Genau das ist die einzige verbleibende Stellschraube.
Jede Zeile ist auf einer einzelnen RTX 4090 mit Batch-Größe 1 entstanden. Veröffentlicht, damit Sie sie widerlegen können.
| Modell | Stack | Präzision | tok/s @ Nl. 1 | Bandbreite | Bewertung |
|---|---|---|---|---|---|
| Qwen2.5-0.5B | transformers | FP16 | 55.1 | 5.1% | von Overhead begrenzt |
| Qwen2.5-7B | transformers | FP16 | 40.2 | 56.6% | Luft nach oben |
| Qwen2.5-7B | vLLM | FP16 | 63.0 | 88.7% | an der Mauer |
| Qwen2.5-7B | vLLM | FP8 W | 90.5 | 73.4% | 1,44× |
| Qwen3-32B | vLLM | INT4 AWQ | 47.0 | 83.8% | KV-limitiert |
Alle Werte: RTX 4090, Batch-Größe 1, identisches Skript für Vorher/Nachher. Die Messskripte erhalten Sie zusammen mit jedem Bericht.
Derselbe Schalter, dieselbe Karte, dieselbe vLLM-Version – und zwei völlig verschiedene Ergebnisse:
Auf dem 7B-Modell wurde das Modell zerstört – die GSM8K-Ausgabe waren Zufallszahlen. Auf dem 32B-Modell praktisch verlustfrei. vLLMs eigene Validierung für FP8-KV-Cache deckt Hopper und Blackwell ab; Ada (sm_89) liegt außerhalb.
Deshalb lautet die richtige Frage nicht „Ist FP8-KV-Cache gut?“, sondern „Zerstört er auf dieser Karte, mit diesem Modell und diesem Build das Modell?“ – eine Frage, die man nicht googeln kann.
Eine optimierte vLLM-Baseline erreicht 88,7 % der Speicherbandbreite. Wenn Sie dort angekommen sind, bleibt nur noch 1,13× – und der Weg dorthin führt über kleinere Gewichte, nicht über Scheduler-Tuning.
Warum ist meine vLLM-Inferenz langsam · 8 Min.Jeder sagt, FP8 sei „praktisch verlustfrei“. Unsere token-genaue Gegenüberstellung zeigt: 5 von 6 Prompts weichen ab, durchschnittliche Präfix-Übereinstimmung 55,5 %.
FP8-Quantisierung Genauigkeit · 11 Min.Derselbe Schalter zerstörte ein Modell und ließ ein anderes unberührt. Warum die offizielle Validierung Ihren Grafikprozessor wahrscheinlich nicht abdeckt – und wie Sie das in 20 Minuten selbst prüfen.
KV-Cache-Quantisierung · 9 Min.Es kommt auf Karte, Modell und Engine-Build an – und das Ergebnis kann katastrophal sein. Derselbe Schalter, dieselbe Karte, dieselbe vLLM-Version: Bei Qwen2.5-7B stürzte GSM8K von 89,23 % auf 1,14 % ab. Bei Qwen3-32B blieb die Perplexity praktisch unverändert (+0,33 %), bei Nebenläufigkeit 64 gab es 21–29 % mehr Durchsatz. Die offizielle Validierung von vLLM deckt Hopper und Blackwell ab – Ada (sm_89) liegt außerhalb.
Wir haben auf einer bereits optimierten vLLM-FP16-Baseline 88,7 % Bandbreitenauslastung gemessen – 894 GB/s von 1008 GB/s Peak. Wer an der Bandbreitenmauer steht, kann nur noch die Gewichte verkleinern; Scheduler-Tuning bringt dort nichts mehr.
Nein. Alle Arbeiten laufen in einer Testumgebung. Auf Wunsch arbeiten wir vollständig innerhalb Ihres Netzwerks, sodass keine Daten es verlassen. NDA ist selbstverständlich; die Zugriffsmethode (SSH, VPN, Sprungserver, Remote-Desktop) richten sich nach Ihren Vorgaben.
Das Ziel wird in der Diagnosephase vereinbart und dem Vertrag als Anhang beigefügt. Wird es in der Optimierungsphase nicht erreicht, stellen wir diese Phase nicht in Rechnung.
Sie betreiben bereits vLLM und haben doch eine Performance-Abteilung? Auch dort finden wir Spielraum, den andere übersehen – unsere Messwerte zeigen, wo.
Ein kurzes Gespräch reicht oft: Modell, Karte, aktuelle Leistung. Wenn wir keinen Spielraum sehen, sagen wir das – auch wenn wir dann kein Projekt bekommen.