나이트쉐이드(NightShade)-AI 저작권 보호 프로그램(?)

나이트쉐이드. 생성형 AI프로그램이 원본 창작물을 변조하여 새로운 이미지를 만들어 내기 어렵도록 원본 창작물을 변형하는 프로그램입니다.

나이트쉐이드가 변형시킨 이미지는 사람의 눈으로 판별할 수 없지만 생성형 AI는 사람이 보는 결과와는 전혀 엉뚱한 결과를 내놓게 됩니다. 

AI로 생산성을 향상시키려는 사람들과 이를 저지하기 위해 나선 사람들

에이아이타임즈는 벤처비트사의 기사를 인용해 시카고대학의 나이트쉐이드 프로그램의 인기를 소개했습니다. 

기사에 따르면 시카고 대학의 나이트쉐이드 개발팀이 지난 15일부터 무료 배포를 시작한 후,  5일만에 25만건의 다운로드 기록을 세웠다고 합니다.

AI타임스에 따르면, 벤 차오 시카고 대학교 컴퓨터 과학 교수는 “어느 정도 예상은 했지만, 반응이 우리가 상상했던 것 이상”이라며 “이는 자신의 작업이 동의 없이 AI 훈련에 사용되는 것을 방지하려는 아티스트들의 강력한 의지를 보여준다”라고 말했다고 합니다. (출처 : AI타임스(www.aitimes.com))

나이트쉐이드, 어떻게 동작하는가?

나이트쉐이드 프로그램 동작을 이해하기 위해서는 생성형 AI의 동작원리인 Generative Adversarial Network에 대해서 이해해야 합니다.

GAN(Generative Adversarial Network)동작원리

Generative Adversarial Networks(GANs)은 두 개의 신경망(뉴럴 네트워크) 계산을 사용하여 이미지를 생성합니다.

하나는 만들어 내는 역할을 하는 생성자(generator)이며, 다른 하나는 만들어진 것을 검사하는 판별자(discriminator)의 역할을 수행합니다.

생성자는 먼저 무작위 잡음(noise)을 입력으로 받아 실제 이미지에 섞어 유사한 이미지를 생성합니다. 이렇게 만들어진 이미지를 판별자(discriminator)는 실제 이미지인지 판별하도록 합니다.

생성자 신경망은 판별자 신경망이 구분하지 못하게 이미지를 생성하도록 학습합니다. 그리고, 판별자는 생성자가 생성한 이미지를 실제 이미지와 구분할 수 있도록 학습합니다.

이러한 과정을 반복하면 생성자(generator)는 실제 이미지와 거의 구분할 수 없는 이미지를 생성할 수 있습니다.

수학적으로 이야기하면, (넘어가셔도 상관없습니다.)

1. 생성자는 무작위 잡음 벡터 z를 입력으로 받아 가짜 이미지 G(z)를 생성
2. 판별자는 실제 이미지 x와 생성자(generator)가 생성한 가짜 이미지 G(z)를 입력으로 받아, 각 이미지가 실제 이미지인지 판별하는 확률 D(x)와 D(G(z))를 출력
   1. D(x)는 1에 가까워지고, D(G(z))는 0에 가까워질수록 좋습니다. 
3. 생성자(generator)는 판별자(discriminator)가 D(G(z))를 1에 가깝게 만들도록 학습하며, 판별자(discriminator)는 D(x)를 1에, D(G(z))를 0에 가깝게 만들도록 학습합니다.

나이트쉐이드 동작 방식

사람눈에는 보이지 않지만 생성형 AI에게는 보이는 이미지 처리

나이트쉐이드 프로그램은 생성 AI 이미지 모델 내부의 Feature representation을 왜곡시키기 위해 고안된 생성 AI 동작 방해 도구입니다.

나이트쉐이드 프로그램은 원본 이미지를 사람이 느낄수 있는 변화를 최소화하며 변경합니다.(계산방식은 다중 목적 최적화).

이 프로그램을 사용하여 변경된 이미지는 인간의 눈은 그림자가 있는 초록색 초원의 소의 그림자 이미지를 볼 수 있지만, AI 모델은 이미지에서 소의 그림자와는 크게 다른 구성을 볼 수 있습니다.

예를 들어, 인간은 초록색 잔디위 소의 그림자 이미지를 볼 수 있지만, AI 모델은 잔디 위에 큰 가죽 핸드백이 놓여있는 이미지를 볼 수 있습니다.

나이트쉐이드에 의해 처리된 이미지를 사용한 생성형 AI의 결과?

이와 같이 변경된 많은 그림자 이미지와 소의 이미지로 훈련된 생성형 AI모델은 소가 멋진 갈색 가죽 핸들과 부드러운 사이드 포켓, 지퍼와 아름다운 브랜드 로고를 가지고 있다는 것을 점점 더 확신하게 될 것입니다.

이런 식으로 훈련된 생성형 AI를 사용하면 결과로 소의 이미지 대신 핸드백을 그리게 됩니다. 🙂 

나이트쉐이드 프로그램 효과는 이미지에 일반적인 변경을 해도 효과가 변하지 않습니다.

이미지를 자르거나, 재샘플링하거나, 압축하거나, 픽셀을 부드럽게 만들거나, 노이즈를 추가해도, 독성의 효과는 그대로 유지됩니다.

모니터에 표시된 이미지의 스크린샷이나 심지어 사진을 찍어도 그림자 효과는 그대로 남아 있습니다. 

이 기술은 워터마크나 숨겨진 메시지(스테가노그래피)가 아니며, 깨지지 않습니다. (출처: Nightshade: Protecting Copyright (uchicago.edu))

해당 소프트웨어 개발팀은 이 프로그램의 목적이 생성형 AI모델 자체를 “해킹”과 같은 형태로 공격하는 것이 아니라고 밝혔습니다.

나이트쉐이드의 목적은 생성형 AI를 사용하여 허가를 얻지 않고 이미지를 가공하는 사람들의 생산 비용을 높여 승인을 받지 않고 무분별하게 원본을 사용하는 것이 목적입니다. 악의적인 프로램은 아닙니다.

마치며

나이트쉐이드는 생성형 AI로부터 원저자의 창작물을 보호하는 프로그램입니다.

이런 보호 프로그램의 등장과 발전은 생성형 AI의 발전에 긍정적인 일이라고 생각합니다.

하루가 다르게 발전하는 계산 용량의 증가로 인하여 생성형 AI에 의해 만들어진 결과물들의 품질이 발전하고 있습니다.  

그러나, 생성형 AI의 산출물이 좋기 위해서는 생성형 AI에 공급되는 원천 샘플이 좋아야 합니다.

생성형 AI의 산출물들의 경쟁력이 높아져 창작자들의 삶을 위협하게 된다면, 더 이상 좋은 원본 컨텐츠는 생산될 수 없습니다.

훌륭하지 않은 컨텐츠로 훈련된 생성형 AI는 더이상 발전할 수 없게 됩니다.

나이트쉐이드와 같은 프로그램의 역할은 생성형 AI 서비스 제공자로 하여금 원자자의 콘텐츠에 대한 사용권을 지불하게 할 수 있고 정당한 사용권의 대가로 창작자들은 계속해서 고품질의 창작활동을 지속할 수 있게 될 것입니다.