Šéf AI Amazonu tvrdí, že honba za žebříčky velkých jazykových modelů (LLM) odvádí pozornost od skutečného cíle: vytváření AI, která řeší konkrétní obchodní problémy. Rohit Prasad, senior viceprezident AGI společnosti Amazon, věří, že současné benchmarky jsou nespolehlivé a neodrážejí skutečnou užitečnost modelu. Tvrdí, že pozornost by se měla přesunout od teoretického výkonu k prokazatelným výsledkům v reálném světě.
Problém s benchmarky AI
Průmysl AI je posedlý benchmarkovými metrikami, ale tyto metriky jsou nedokonalé. Modely jsou trénovány na různých souborech dat a odhady jsou často zkreslené nebo nekonzistentní. Tím ztrácí přímá srovnání smysl. Prasad tvrdí, že jediným spravedlivým srovnáním by bylo trénovat všechny modely na stejných datech, což je nepraktické. Skutečným problémem je, že benchmarky neměří hodnotu AI v praktických aplikacích.
Představujeme Nova Forge: Custom AI at Scale
Odpovědí Amazonu je Nova Forge, nová služba, která firmám umožňuje trénovat vlastní modely AI bez obvyklých obrovských nákladů. Forge umožňuje podnikům přístup k benchmarkům z modelu Nova Amazon v různých fázích učení. To jim umožňuje vkládat svá vlastní proprietární data na začátku procesu, kdy je model nejvíce vnímavý k učení. Tento přístup se vyhýbá nevýhodám jemného ladění uzavřených modelů nebo přetrénování modelů s otevřenou hmotností, které mohou vést ke špatnému výkonu.
Forge v podstatě demokratizuje pokročilý vývoj AI tím, že nabízí přístup k nástrojům, které byly dříve dostupné pouze velkým technologickým společnostem. Amazon vybudoval Forge interně, protože jeho týmy tuto schopnost potřebovaly. Společnost se vždy řídila vzorem, že nejprve vyřešila své vlastní problémy a poté řešení přeměnila v podnikání.
Včasný úspěch na Redditu s Forge
Reddit je jednou z prvních společností, které používají Forge k vytváření vlastních bezpečnostních modelů vyškolených na 23 letech dat o moderování komunity. Chief Technology Officer Reddit, Chris Slow, říká, že tento nástroj je „revoluční“ a umožňuje jim vytvořit model, který rozumí nuancím jedinečné kultury jejich platformy. Jejich cílem je nahradit několik stávajících bezpečnostních systémů jedním vysoce specializovaným modelem, který dokáže lépe prosazovat pravidla komunity.
Slowe připouští, že Nova není model s nejvyšším hodnocením, ale na tom nezáleží. Důležitá je schopnost modelu plnit zamýšlenou funkci – v tomto případě pochopení toho, co představuje „nechutné“ chování na Redditu.
Budoucnost umělé inteligence: Specializace místo všeobecné inteligence
Amazon sází na to, že závod o nejchytřejší AI je méně důležitý než schopnost vytvořit užitečnou AI. Společnost se staví jako platforma pro podniky, které potřebují přizpůsobená řešení, spíše než přímo soutěžit s OpenAI a Anthropic na čistě modelovém výkonu. Tato strategie je v souladu se základní filozofií AWS: poskytování infrastruktury a nástrojů, které umožňují ostatním inovovat.
Amazon sází na to, že modelový závod byl komercializován a společnost může uspět tím, že se stane místem, kde mohou společnosti budovat specializovanou AI pro konkrétní obchodní problémy.
Úspěch tohoto přístupu bude nakonec záviset na přijetí vývojářů. Ale pokud má Amazon pravdu, budoucnost umělé inteligence není o tom, kdo má nejvyšší benchmarkové skóre, ale o tom, kdo může přinést skutečnou hodnotu.
