Der Hunger nach Rechenleistung für KI ist ungebremst, doch wer Modelle nicht nur trainieren, sondern effizient betreiben will, steht vor zwei massiven Hürden: der Verfügbarkeit der richtigen Chips und dem Finden von Rechenzentren, die überhaupt noch Strom und Kühlung bieten. Das Start-up General Compute geht mit einer ungewöhnlichen Strategie an diese Probleme heran – und setzt dabei auf ein Chip-Unternehmen, das fast schon von der Bildfläche verschwunden war.
Der Flaschenhals der KI: Training vs. Inferenz
Die klassische GPU war das Rückgrat des KI-Booms der letzten Jahre. Doch längst hat sich die Erkenntnis durchgesetzt, dass GPUs zwar hervorragend zum Trainieren von Modellen geeignet sind, für die Inferenz – also den eigentlichen Betrieb und die Generierung von Antworten – aber nicht optimal sind. Die Inferenz erfordert eine andere Architektur, die auf hohen Durchsatz und schnelle Speicherzugriffe für Kontexte (Context Memory) ausgelegt ist. Spezialisierte Akzeleratoren wie jene von Groq oder Cerebras haben genau diese Nische besetzt und absurde Bewertungen eingefahren.
Doch deren Kapazitäten sind völlig ausgebucht. Die Gründer von General Compute, CEO Finn Puklowski und CTO Jason Goodison, suchten nach einer Alternative und wurden bei SambaNova fündig. Das Intel-backed Unternehmen war einst hoch gelobt, geriet in den letzten Jahren aber etwas aus dem Fokus des Silicon Valleys. Mit einer frischen Seed-Finanzierungsrunde von 15 Millionen Dollar bei einer 60-Millionen-Bewertung (geführt von FUSE VC) wollen sie diese Lücke nun schließen.
SambaNova: Der Underdog mit 700 Token pro Sekunde?
SambaNova will dieses Jahr neue Chips auf den Markt bringen, die das Rennen um die schnellste Inferenz entscheiden könnten. Die Architektur ist flexibler und nutzt mehr Speicher, um Kontexte während der Inferenz-Berechnungen zu halten. Das Unternehmen behauptet, nicht nur GPUs, sondern auch die Spezialchips von Groq und Cerebras zu übertreffen. Puklowski verspricht beeindruckende 600 bis 700 Token pro Sekunde für die neuen Chips – im Vergleich zu etwa 250 Token bei herkömmlichen GPUs. General Compute hat bereits SN50-Chips im Wert von 300 Millionen Dollar bestellt und will die erste Neocloud sein, die diese ausrollt. Bereits in der vergangenen Woche startete das Cloud-Angebot, das laut eigenen Angaben aktuell das schnellste System für das Open-Source-Modell MiniMax 2.7 ist.
Das Rechenzentrum-Problem und die Krypto-Connection
Der zweite große Schachzug von General Compute betrifft die Infrastruktur. SambaNovas Chips sind luftgekühlt und verbrauchen deutlich weniger Strom. Das klingt banal, ist im aktuellen Rechenzentrums-Markt aber ein massiver Wettbewerbsvorteil. Wasserkühlung und neue Stromanschlüsse sind aktuell die größten Bremsklinken für KI-Infrastruktur. Da die SambaNova-Chips in bestehende Facilities passen, setzt Puklowski auf Colocation – und zwar überraschenderweise auch bei Krypto-Minern. Angesichts sinkender Rentabilität im Bitcoin-Mining suchen diese nach neuen Einnahmequellen. Für General Compute ein Glücksfall: Strom und Kühlung sind vorhanden, die Krypto-Miner bekommen ein neues Geschäftsmodell.
Die Wette auf eine agentengetriebene Zukunft
Der Venture Capitalist Joe Hassleman, der bereits früh bei Groq investierte und mit seinem neuen Fonds Evercrest Partners nun bei General Compute einstieg, zieht Parallelen zum Aufstieg von Coreweave. Coreweave baute eine enge Partnerschaft mit Nvidia auf; General Compute tut dasselbe mit SambaNova. „SambaNova setzt genauso auf General Compute wie umgekehrt“, so Hassleman.
Die zugrundeliegende These: Die Zukunft der KI ist fragmentiert und agentengetrieben. Es wird nicht ein einziges Modell alles dominieren, sondern Spezialmodelle, die über Router wie OpenRouter (kürzlich 113 Millionen Dollar Series B) orchestriert werden. In dieser Welt werden Speed und Kosten pro Token zum entscheidenden Wettbewerbsfaktor. Puklowski will stundenlange Workloads von Coding-Agenten auf Minuten reduzieren und Audio-Agenten für den Kundenservice – die extrem geringe Latenzen für natürliche Gespräche benötigen – wirtschaftlich machen.
Kritische Einordnung: Das CUDA-Moat bleibt
General Compute und SambaNova liefern einen faszinierenden Ausweg aus dem KI-Rechenleistungs-Koller. Der Ansatz, Krypto-Infrastruktur umzunutzen und auf stromsparende Spezial-Chips zu setzen, ist pragmatisch und könnte genau den Nerv der Zeit treffen, wenn das KI-Ökosystem von „Training-first“ zu „Inference-first“ wechselt.
Dennoch bleiben Risiken. SambaNova war lange still, und die reine Token-Geschwindigkeit auf dem Papier muss sich erst in komplexen Produktiv-Umgebungen beweisen. Der eigentliche Flaschenhals bei neuen Chip-Architekturen ist oft nicht das Silizium, sondern die Software-Stack-Reife. Nvidias unangefochtene Dominanz basiert auf CUDA, einem Ökosystem, das Entwicklern vertraut ist. SambaNova muss beweisen, dass sich Modelle nahtlos und ohne massive Refactoring-Aufwände auf ihre Chips portieren lassen. Zudem ist die exklusive Abhängigkeit von einem einzigen Chip-Hersteller ein Risiko, das Coreweave einst eingegangen ist – doch Nvidia war bereits der unangefochtene Marktführer. Ob SambaNova diese Stabilität bieten kann, muss sich erst zeigen.
Fest steht jedoch: Der Markt schreit nach Alternativen. Wenn SambaNova hält, was die Hardware verspricht, und General Compute die Software-Seite in den Griff bekommt, könnte diese Partnerschaft den Inferenz-Markt gehörig aufmischen.
Quelle: TechCrunch