Nvidia има ново решение с ИИ генериращо нечувани досега звуци

Nvidia твърди, че новият ѝ музикален редактор с изкуствен интелект може да създава „нечувани досега звуци“ – като например тромпет, който мяука. Инструментът, наречен Fugatto, може да генерира музика, звуци и реч, като използва текстови и аудио данни, за които никога не е бил обучаван.

Както е показано в този видеоклип, вграден по-долу, това позволява на Fugatto да съставя песни въз основа на диви подсказки, като например „Създайте саксофон, който вие, лае, след това електронна музика с лай на кучета“.

Някои други примери, споделени от компанията, включват способността да се създават уникални звукови ефекти въз основа на описание, като например „Дълбоки, ръмжащи басови импулси, съчетани с прекъснати, високочестотни цифрови чуруликания, като звук от събуждане на огромна разумна машина“.

Може дори да трансформира звученето на нечий глас, като променя акцента му или му придава различен тон, например гневен или спокоен. Има и начини за редактиране на музика, тъй като Fugatto може да изолира вокалите в дадена песен, да добавя инструменти и дори да променя мелодията, като сменя пианото с оперна певица.

Документ, публикуван заедно с обявлението, показва дълъг списък с всички набори от данни, по които според Nvidia е обучен Fugatto, като един от тях включва библиотека със звукови ефекти от BBC.

За да създадат Fugatto, учените на Nvidia казват, че е трябвало да съберат набор от данни с милиони аудио образци. След това те са създали инструкции, „които значително разширяват обхвата на задачите, които моделът може да изпълнява, като същевременно постигат по-точно изпълнение и дават възможност за изпълнение на нови задачи, без да са необходими допълнителни данни“. Nvidia не казва кога – и дали – инструментът ще бъде широко достъпен.