Lokale KI-Infrastruktur
als Rohstoff für Ideen

SmartLLM ist nicht am Reißbrett entstanden, sondern aus eigenem Bedarf. ALL Smart betreibt eigene Produkte, die auf Sprachmodellen laufen und dafür braucht es Inferenz, die verlässlich ist, in eigener Hand liegt und den europäischen Datenschutz nicht als Nachgedanken behandelt. Die Cloud erfüllt das zum Großteil nicht.

Also haben wir die Infrastruktur selbst gebaut: frei verfügbare Open-Weights-Modelle, gehostet auf eigener Hardware. Was als interne Lösung begann, ist ein Dienst geworden, den wir auch anderen gerne zur Verfügung stellen. Nicht nur als Dienst, auch als Beweis, dass wir in der Lage sind, das zu tun.

Was SmartLLM leistet

SmartLLM ist ein DSGVO-konformer Inferenzdienst. Die Modelle laufen auf eigener Hardware, nicht in einer fremden Cloud in irgendeinem Rechenzentrum. Kein Training auf Ihren Daten, keine Weitergabe, keine Blackbox in einem anderen Rechtsraum. Ein Ansprechpartner, der das Thema KI bis runter zur Hardware lebt.

Über ein einfaches Alias-System wählen Sie die passende Modellklasse, von schnell und günstig bis zur stärksten verfügbaren Stufe, ohne sich um die Technik dahinter kümmern zu müssen. Der Dienst ist dabei nicht theoretisch: Er trägt unsere eigenen produktiven Anwendungen im täglichen Betrieb. Was Sie hier nutzen, nutzen wir vor allem auch selbst.

Nicht das größte Modell, das richtige

Man greift viel zu schnell zum Spitzenmodell. Dabei braucht es das für die meisten Anwendungen, auch für unsere, gar nicht. Sauber gebaut reichen oft einfachere Open-Weights-Modelle und senken damit die Hürde, ab der ein KI-Projekt wirtschaftlich wird. Eine Anwendung so zu bauen, dass sie mit dem passenden statt dem teuersten Modell läuft, ist kein Kompromiss. Es ist Handwerk.

Was SmartLLM nicht ist

SmartLLM ist kein Billig-Massendienst und will es nicht sein. Der Preis ist bewusst so gesetzt, dass er Qualität vor Volumen stellt und auch unsere Kosten deckt. Wer die günstigste Inferenz für beliebige Zwecke sucht, ist woanders besser aufgehoben. Der Dienst soll vor allem Unternehmen die Hürde für erste eigene Entwicklungen senken, gemeinsam können wir sofort starten.

Und so weit Open-Weights-Modelle auf souveräner Hardware heute reichen, und sie reichen deutlich weiter, als die meisten annehmen: Die absolute Spitze proprietärer Frontier-Modelle bilden sie nicht in jedem Einzelfall ab. Wir sagen offen, wo die Grenze liegt, statt etwas zu versprechen, das der Dienst nicht hält.

Für wen SmartLLM gedacht ist

Für alle, denen Datenhoheit und Verlässlichkeit wichtiger sind als der niedrigste Preis und die europäischen Datenschutz nicht als Hürde verstehen, sondern als Grundlage für das eigene Tun. Für Unternehmen, die Sprachmodelle produktiv nutzen wollen, ohne ihre Daten aus der Hand zu geben und vielleicht sogar im Anschluss selbst Hardware hosten möchten, statt alles über die Cloud zuzukaufen. Und für alle, die für Beratung, Entwicklung und Inferenz einen kompetenten Ansprechpartner wollen.

SmartLLM entspricht unserem Leitbild

Wir möchten nicht mit Kunden über LLMs reden, wenn wir nicht in der Lage sind, diese selbst zu hosten. Wir möchten wissen, wie die Dinge konkret funktionieren. Bis zur Hardware. Wir möchten die Wärme spüren, die ein DGX Spark unter Volllast abgibt und auch den Schmerz, wenn eine Konfiguration falsch war und ein Dienst abschmiert. Beides befähigt uns dazu, unseren Kunden die Wege zu zeigen, die zum Ziel führen.