GTC 2024 키노트 인사이트

The Future Is Generative

GTC 2024 키노트 리뷰 내용 중 전반 부 젠슨 황 사장의 기조 연설을 소화하며 개인적으로 이른바 인사이트라고 할 수 있는 부분을 글로 옮겨 봅니다.

젠슨 황의 발언 중 가슴을 울리는 말이 있었습니다.

“The future is generative!”

GTC 2024 키노트 주인공 블랙웰 GPU 사양

우리는 이미 생성형 AI라는 시대의 흐름에 들어섰습니다.

이른바 인터넷 혁명이라는 새로운 기술이 전세계의 생산 시스템을 한 단계로 업그레이드 했던 20세기를 지나 왔습니다.

우리는 컴퓨터와 모니터로 접할 수 있는 방대한 양의 정보와 이메일이라는 새로운 통신수단, 그리고 Globalization이라는 새로운 경제 시스템에서 인류가 지금까지 경험해 보지 못한 새로운 성장을 맞이 했습니다.

• 애플의 아이폰 생태계가 만들어 낸 모바일 인터넷과 이른바 “앱”이라는 개념은 책상에 머물러 있던 우리의 지식과 업무 공간을 휴대할 수 있게 만들었습니다.
• 최근 10년동안의 인공지능의 발전은 컴퓨터가 단순히 사물을 구별할 수 있는 간단한 머신러닝의 응용에서
• 이제는 사람이 사용하는 언어를 수학적으로 분석하여 새로운 컨텐트를 컴퓨터가 만들어 내는 시대를 만들어 가고 있습니다.
• Goodfellow님의 2014년 GAN(Generative Adversarial Network), 그리고 Google의 2017년 Transformer등의 발명은 확률과 통계라는 학문적인 개념을 넘어 이제는 한 국가의 경쟁력을 결정하는 중요한 요소가 되었습니다.

급기야는 초강대국인 미국이 핵심 기술요소인 AI반도체를 경쟁국에 수출 금지하는 초유의 사태까지 벌어지게 되었습니다.

위의 사진은 이번 젠슨 황 사장이 발표한 Nvidia의 새로운 GPU플랫폼인 블랙웰입니다.

FP8기준으로는 기존 제품 (호퍼) 대비 2.5배 그리고 젠슨 황이 강조한 FP4 (인공지능에서 의미를 가지는 기본 단위인 이른바 “토큰”이라고 하는 자료구조를 얼마나 정확히 표현 할 수 있는가에 대한 단위입니다.) 기준 5배의 성능을 보여 줍니다.

FP8과 FP4는 우리가 인공지능에서 주로 들을 수 있는 “파라미터”라는 수를 컴퓨터로 표현하는 방식을 이야기 합니다.

워낙 방대한 수의 파라미터를 다루기 때문에 파라미터 하나의 처리에 되는 메모리 크기가 전체 AI계산의 비용에 큰 영향을 미칩니다.

FP8은 8비트 부동 소수점 형식을 나타내며, FP4는 4비트 부동 소수점 형식을 나타냅니다.

이러한 형식은 딥 러닝 모델에서 가중치와 활성화 값을 효율적으로 표현하고 처리하는 데 사용됩니다.

우리가 사용하는 ChatGPT와 같은 서비스는 Nvidia의 기존 제품인 호퍼를 사용하여 처리되고 있습니다.

매일 새로운 생성형 AI 서비스가 등장하고 있는 지금, 도대체 왜 세상은 이렇게 더 크고 빠른 AI 반도체를 요구하고 있는 것일까요?

AI 챗봇을 사용할 때 벌어지는 일

ChatGPT의 아버지라고 불리는 샘 알트만이 자사 OpenAI 연구진의 연구결과를 공유한 내용이 세계를 놀래킨 사례가 있었습니다.

즉 인공지능에 사용되는 파라미터의 개수가 많으면 많을 수록 그리고 학습내용이 (통계를 추출하는) 방대할 수록 정확성이 증가한다는 것이지요.

바로 이 부분이 현재 전 셰계의 IT 공룡들이 사활을 걸고 더 빠르고 정확한 생성형 AI모델 개발에 매진하고 있는 이유입니다.

바로 “Winner takes it all”입니다. 이 경쟁에서 2등이 되는 순간, 그 분야에서 해당 기업은 존폐를 고민해야 하는 상황입니다.

여기에 더불어 젠슨 황 사장은 GTC 2024 키노트 에서 충격적이며 매우 도전적인, 그러나 제 1인자로서 앞으로 인류가 정보를 얻는 과정에 혁신이 발생할 것이라 이야기 했습니다.

지금까지는 우리는 누군가가 이미 만들어 놓은 스토리, 이미지 그리고 동영상들을 어딘가에 저장해 놓고 있다가 이른바 검색 키워드 혹은 “추천” 시스템(이것도 AI 이네요)에 의하여 선택된 정보들을 제공 받고 있습니다.

그리고 정보를 제공 받는 우리들은 우리의 뇌를 사용해서 제공받은 정보들을 가공하게 됩니다.

현재 우리가 사용하고 있는 인공지능 어플리케이션들도 이런 학습에 드는 시간과 비용의 제약으로 인해 학습한 지식의 한계가 있고 질문에 대한 답변을 계산하는 시간이 오래 걸린다면 이것 역시 방해 요소가 될 수 있습니다.

맥락을 이해할 수 있다면

하지만 인터넷 저 멀리에 있는 서버가 혹은 프로그램이 우리가 인터넷을 통해 얻고자 하는 정보나 질문에 대한 혹은 흥미에 대한 맥락을 이해할 수 있다면요?

그리고 이러한 맥락을 이해하고 답변의 문장을 계산하거나 이미지 혹은 동영상을 생성하는 시간이 우리가 평소에 인터넷이나 유트브를 검색하여 응답을 얻을 수 있는 시간과 비슷하다면 어떤 일이 발생할까요?

즉, 인공지능으로부터 맞춤형 답, 이미지 혹은 동영상을 얻는 시간이 구글링이나 유튜브 검색과 비슷해진다면 어떤 일이 발생할까요?

이런 실시간 생성형 AI로부터의 응답은 우리가 인터넷이라는 거대한 컨텐트 유통 플랫폼의 구조를 바꾸어 놓을 수 있을 것입니다.

개인에게 맞추어진 그리고 정보 소비자의 맥락을 이해하여 맞춤 콘텐트를 생성해 낼 수 있는 능력이 있는 그 무엇이 있는데 왜 우리가 굳이 몇개의 콘텐트를 이해하고 그 안의 정보들을 분리하여 재구성하는 일을 해야 할까요?

필요한 이미지 동영상들이 내가 묘사한대로 실시간으로 제공되는데 굳이 우리가 애니메이션 작업 혹은 그래픽 작업을 해야 할까요?

그리고 이런 정보들을 종합하여 최적의 정보 페이지를 제공해주고 그 대가로 광고를 노출 시켜주는 가장 큰 광고 시장은 어떻게 변화하게 될까요?

컨텐트를 만드시는 크리에이터들은 자신들의 컨텐트를 사람들이 이해하고 즐기기 쉽게 만드는 것이 경쟁력이 있을까요? 아니면 생성형 AI가 쉽게 학습할 수 있도록 맞춤 컨텐트를 만드는 것이 경쟁력이 있을까요?