필요한 것은 텍스트와 오디오 파일뿐, 엔비디아 AI 오디오 생성기 '푸가토' 개발

엔비디아 AI 오디오 '푸가토'

엔비디아가 텍스트만으로 오디오 출력을 제어할 수 있는 생성형 AI 모델 ‘푸가토(Fugatto, Foundational Generative Audio Transformer Opus 1)’를 개발했다고 밝혔다.

엔비디아 생성형 AI 연구팀이 개발한 푸가토는 노래를 작곡하거나 음성을 수정할 수 있는 일부 AI 모델보다 뛰어난 정교함을 자랑한다.

푸가토는 텍스트와 오디오 파일의 조합을 사용해 프롬프트에 설명된 음악, 음성, 사운드의 모든 조합을 생성하거나 변형할 수 있다.

예를 들어, 텍스트 프롬프트에 따라 음악 스니펫(snippet)을 생성하고, 기존 노래에서 악기를 제거하거나 추가하고, 목소리의 억양이나 감정을 바꿀 수 있다. 심지어 이전에 들어본 적 없는 소리를 만들어낼 수도 있다.

멀티 플래티넘 프로듀서이자 작곡가인 이도 즈미슬라니(Ido Zmishlany)는 최첨단 스타트업을 위한 엔비디아 인셉션(NVIDIA Inception) 프로그램의 회원사인 원 테이크 오디오(One Take Audio)의 공동 설립자이다. 그는 “이 기술은 정말 대단하다. 사운드는 내 영감의 원천이다. 그것이 내가 음악을 만들게 하는 원동력이다. 스튜디오에서 즉석으로 완전히 새로운 사운드를 만들 수 있다는 생각은 정말 놀라운 일이다”고 말했다.

푸가토는 연구팀이 음성 모델링, 오디오 보코딩, 오디오 이해와 같은 분야에서 쌓아온 이전 작업을 기반으로 하는 기초 생성형 트랜스포머 모델이다.

정식 버전은 25억 개의 파라미터를 사용하며, 32개의 엔비디아 H100 텐서 코어(Tensor Core) GPU가 탑재된 엔비디아 DGX 시스템을 통해 훈련됐다.

푸가토 제작에는 인도, 브라질, 중국, 요르단, 한국 등 전 세계의 다양한 사람들이 함께했다. 이들의 협업으로 푸가토의 다중 억양과 다국어 기능이 더욱 강화됐다.

이 작업에서 가장 어려운 부분 중 하나는 훈련에 사용된 수백만 개의 오디오 샘플로 구성된 혼합 데이터 세트를 생성하는 것이었다. 연구팀은 데이터와 지침을 생성하기 위해 다각적인 전략을 사용했다. 이를 통해 모델이 수행할 수 있는 작업의 범위를 크게 확장하는 동시에, 더 정확한 성능을 달성하고 추가 데이터 없이도 새로운 작업을 수행할 수 있게 했다.

아울러 기존 데이터 세트를 면밀히 분석해 데이터 간의 새로운 관계를 밝혀냈다. 전체 작업은 1년 이상이 소요됐다.

---

연료 누출로 화재 위험... 혼다, 美서 '어코드·CR-V' 등 72만여대 리콜

이렇게 바뀌어 나올까? 렉서스 'ES 페이스리프트' 스케치 유출

휴가 갔다 오니 마약 양성 반응... 폭스바겐 고위 임원, 中서 구금 후 추방

주행거리도 줄었네? 테슬라, 사이버트럭 주행거리 확장용 '추가 배터리 팩' 출시 연기

타협하지 않는 ‘오버 엔지니어링’. 폭스바겐 프리미엄 올라운더 SUV '신형 투아렉'

1회 충전으로 1,500km를 달린다고? 중국 체리자동차, 2026년 전고체 배터리 탑재한다

르노 R5 후속 나오나? 'R5 터보 3E 콘셉트' 기반 슈퍼 핫 해치 생산 고려 중

하루 12대 밖에 생산 안된다... 테슬라, 중국 상하이에서 '모델 Y 주니퍼' 시험 생산

799대 한정판! 페라리, 53억원대 신형 슈퍼카 '페라리 F80' 공개

로보택시 운행 불가능? 테슬라 'FSD', 안전성 문제로 美 당국 조사받는다