Агентният AI променя съотношението CPU/GPU

В момента на много срещи за планиране на инфраструктура често се казва следното: „Агентният AI ще промени съотношението CPU-GPU. Така че, просто трябва да добавим още CPU към нашите GPU сървъри, нали?“

Звучи логично. Това е и мястото, където много хора грешат.

Преходът от AI в стил чатбот към агентен AI не е просто поставяне на още няколко CPU до същия дизайн на стелажи натъпкани с GPU. Нещата са по-сериозни. Това е структурна промяна в архитектурата на центровете за данни. Агентният AI стимулира търсенето на изцяло нови стелажи със CPU сървъри, които са разположени редом с GPU инфраструктура и движат работата на всички тези агенти.

За корпоративните ИТ лидери всичко това означава: Агентният AI пренаписва уравнението на AI инфраструктурата.

В AMD следим отблизо тази промяна. Докато преди това очертахме пазар на сървърни процесори, който нараства с 18% годишно, структурното увеличение на изчислителните изисквания, обусловено от агенти, променя математиката. Сега очакваме общият адресируем пазар за сървърни процесори да нараства с над 35% годишно, достигайки над 120 милиарда долара към 2030 г.

Първата вълна: Чатбот AI беше предимно модел на отговорите

Първата вълна на генеративния AI беше изградена около сравнително прост модел. Потребителят задаваше въпрос; приложението изпращаше подкана към модел; моделът генерираше отговор; и приложението го връщаше.

Тази архитектура естествено доведе до дизайни, ориентирани към графичните процесори. В тези внедрявания, процесорът действаше като главен възел за сървър с четири до осем графични процесора. Единият главен възел на процесора обработваше планирането, входно-изходните операции и управлението на системата, докато графичните процесори извършваха тежката математика.

Агентният AI не е само ‘Чат плюс инструментариум’

Сега сме в ранните дни на ерата на агентния изкуствен интелект. В нея формата на работното натоварване се променя изцяло. Вместо да отговаря на едно запитване, агентът разделя целта на стъпки, решава какво да прави след това, извиква множество модели, прави заявки към бази данни, свързва се с API, изпълнява корпоративни приложения, проверява разрешения, извлича памет, валидира изхода и след това се връща отново през процеса. Това е много различен инфраструктурен профил от този на чатботовия изкуствен интелект с подкана, отговор и изход.

Графичните процесори все още са критично важни за изпълнението на моделите, но производственото натоварване вече е интензивно по отношение на централния процесор. CPU-тата са отговорни за:

• Оркестрацията: Управление на енджина, който разделя сложните задачи на по-прости.
• Изпълнение на агенти и извиквания на инструменти: Задействане на API и наследен корпоративен софтуер.
• Политика и сигурност: Извършване на реални проверки на всяко автономно действие.

Отговорът на промяната в съотношението CPU / GPU не е просто „Добавете още процесори“

Вместо предишното съотношение 1:4 до 1:8 CPU към GPU при изкуствения интелект на чатботовете, виждаме агентният AI да се движи към съотношение 1:1 и в някои случаи даже пропорцията на CPU да е по-висока.

Ето важната част: Не постигате това, като просто добавите повече CPU в кутията с графични процесори. Постигате го, като добавите новоразработен CPU изчислителен слой.
За корпоративните ИТ лидери, това е мястото, където планирането трябва да еволюира.

Предпочитаната система с изкуствен интелект за следващите няколко години няма да бъде единична „AI кутия“. Тя ще изглежда по-скоро като разпределена система. Ще имате графични процесори (GPU) за масови изчисления на модели, бърза мрежа и софтуерен стек, който може да поддържа всичко това наблюдаемо, сигурно и ефективно. И ще имате агентни процесорни шкафове (CPU) за оркестрация, обработка на данни и изпълнение на инструменти.

В този момент балансираната архитектура ще има по-голямо значение от всякога. Ако нивото на CPU е недостатъчно, графичните процесори изчакват. Ако работата в мрежа е на заден план, агентите се забавят. Ако пътят на данните е хаотичен, латентността нараства. Ако нивото на оркестрация не е проектирано за паралелизъм, разходите и сложността се увеличават.

Къде е ролята на AMD

AMD EPYC™ чиповете предоставят на клиентите портфолио от процесори, оптимизирани за различни части от AI конвейера, от високочестотно лидерство за работа, чувствителна към латентността, до лидерство при плътността на ядрата за мащабируема пропускателна способност. И ние продължаваме да разширяваме това лидерство с нашата текуща пътна карта, която включва продуктите „Venice“, които допълнително ще разширят портфолиото от процесори, оптимизирани за AI. В крайна сметка, ние предоставяме специализиран силиций, който да запълни всеки стелаж във вашия център за данни (и всеки изчислителен екземпляр във вашата облачна среда) с точно това, от което се нуждае.

Практически съвети за ИТ лидерите

Да го кажем отново, агентният AI променя уравнението на инфраструктурата.

Mолбата към вземащите решения в корпоративните ИТ среди: Докато агентният AI преминава от пилотен към производствен стадий, не планирайте инфраструктурата така, сякаш просто добавяте чатбот към вашето предприятие. Оразмерявайте я така, сякаш добавяте нов клас дигитална работна сила – такава, която трябва да планира, действа, проверява, извлича, извиква инструменти и изпълнява работни процеси през целия ден.

Това означава да планирате по-голям CPU капацитет, отколкото предполагаха по-ранните идеи за AI. Това означава да погледнете отвъд GPU сървъра и да помислите за стелажи, връзки, софтуер и оперативен баланс. В агентната ера производителността няма да идва от един процесор, който прави всичко. Тя ще дойде от правилната архитектура – ​​със CPU и GPU работещи заедно, за да превърнат AI от отговори в действия.