Amazon priorisiert praktische KI gegenüber Benchmark-Ergebnissen

11

Der KI-Leiter von Amazon argumentiert, dass die Jagd nach Bestenlisten für große Sprachmodelle (LLMs) eine Ablenkung vom eigentlichen Ziel darstellt: der Schaffung von KI, die spezifische Geschäftsprobleme löst. Rohit Prasad, Amazons SVP of AGI, glaubt, dass aktuelle Benchmarks unzuverlässig sind und nicht den wahren Nutzen eines Modells widerspiegeln. Er sagt, der Schwerpunkt sollte sich von der theoretischen Leistung auf nachweisbare Ergebnisse in der Praxis verlagern.

Das Problem mit KI-Benchmarks

Die KI-Branche ist besessen von Benchmark-Ergebnissen, aber diese Kennzahlen sind fehlerhaft. Die Modelle werden auf verschiedenen Datensätzen trainiert und die Auswertungen sind oft verzerrt oder inkonsistent. Dies macht direkte Vergleiche bedeutungslos. Prasad argumentiert, dass der einzig faire Vergleich erfordern würde, dass alle Modelle auf identischen Daten trainiert würden, was unpraktisch sei. Das eigentliche Problem besteht darin, dass Benchmarks nicht den Wert von KI in praktischen Anwendungen messen.

Wir stellen vor: Nova Forge: Maßgeschneiderte KI im großen Maßstab

Die Antwort von Amazon ist Nova Forge, ein neuer Dienst, der es Unternehmen ermöglicht, benutzerdefinierte KI-Modelle ohne die üblichen enormen Kosten zu trainieren. Forge ermöglicht Unternehmen in verschiedenen Schulungsphasen Zugriff auf die Checkpoints des Nova-Modells von Amazon. Dadurch können sie ihre eigenen proprietären Daten frühzeitig in den Prozess einfügen, wenn das Modell am empfänglichsten für das Lernen ist. Dieser Ansatz vermeidet die Fallstricke der Feinabstimmung geschlossener Modelle oder der Neuschulung offener Modelle, die beide die Leistung beeinträchtigen können.

Forge demokratisiert im Wesentlichen die fortgeschrittene KI-Entwicklung, indem es Zugang zu Tools bietet, die bisher nur großen Technologieunternehmen vorbehalten waren. Amazon hat Forge intern entwickelt, weil seine Teams diese Funktion benötigten. Die Unternehmensphilosophie bestand schon immer darin, zunächst die eigenen Probleme zu lösen, bevor man die Lösungen in ein Geschäft umwandelte.

Reddits früher Erfolg mit Forge

Reddit ist eines der ersten Unternehmen, das Forge nutzt, um individuelle Sicherheitsmodelle zu erstellen, die auf 23 Jahren Community-Moderationsdaten basieren. Chris Slowe, CTO von Reddit, sagt, das Tool sei „revolutionär“ und ermögliche es ihnen, ein Modell zu erstellen, das die Nuancen der einzigartigen Kultur ihrer Plattform versteht. Ihr Ziel ist es, mehrere bestehende Sicherheitssysteme durch ein einziges, hochspezialisiertes Modell zu ersetzen, das Gemeinschaftsregeln besser durchsetzen kann.

Slowe gibt zu, dass Nova kein Spitzenmodell ist, aber das spielt keine Rolle. Was zählt, ist die Fähigkeit des Modells, seine beabsichtigte Funktion auszuführen – in diesem Fall das Verständnis, was ein „Ruck“-Verhalten auf Reddit ausmacht.

Die Zukunft der KI: Spezialisierung statt allgemeiner Intelligenz

Amazon geht davon aus, dass der Wettlauf um die intelligenteste KI weniger wichtig ist als die Fähigkeit, nützliche KI zu entwickeln. Das Unternehmen positioniert sich als Plattform für Unternehmen, die maßgeschneiderte Lösungen benötigen, anstatt direkt mit OpenAI und Anthropic um reine Modellfähigkeiten zu konkurrieren. Diese Strategie steht im Einklang mit der Kernphilosophie von AWS: Bereitstellung von Infrastruktur und Tools, die andere zu Innovationen befähigen.

Amazon setzt darauf, dass das Modellrennen zur Ware geworden ist und dass es erfolgreich sein kann, indem es der Ort ist, an dem Unternehmen spezialisierte KI für spezifische Geschäftsprobleme entwickeln können.

Letztendlich wird der Erfolg dieses Ansatzes von der Akzeptanz durch die Entwickler abhängen. Aber wenn Amazon recht hat, geht es in der Zukunft der KI nicht darum, wer den höchsten Benchmark-Score hat, sondern darum, wer einen echten Mehrwert liefern kann.