소식

Aug 14, 2023

AI는 개그를 쓸 수 있지만 농담은 하지 않습니다.

아래 양식을 작성하시면 "AI는 개그를 쓸 수 있지만 농담은 아닙니다"의 PDF 버전을 이메일로 보내드립니다. 모든 오디오 기사에 대한 액세스를 잠금 해제하려면 아래 양식을 작성하세요. 대규모 신경망,

아래 양식을 작성하시면 "AI는 개그를 쓸 수 있지만 농담은 아닙니다"의 PDF 버전을 이메일로 보내드립니다.

모든 오디오 기사에 대한 액세스를 잠금 해제하려면 아래 양식을 작성하세요.

인공 지능의 한 형태인 대규모 신경망은 "닭이 왜 길을 건넜나요?"라는 문구를 따라 수천 개의 농담을 생성할 수 있습니다. 하지만 그들은 자신들이 왜 재미있는지 이해하고 있나요?

연구자들은 New Yorker 잡지의 Cartoon Caption Contest에 출품된 수백 개의 항목을 테스트베드로 사용하여 AI 모델과 인간에게 세 가지 작업에 도전했습니다. 농담을 만화에 연결하는 것입니다. 우승 캡션을 식별하는 단계; 그리고 우승한 캡션이 왜 재미있는지 설명합니다.

ChatGPT와 같은 AI 발전으로 성능 격차가 줄어들었음에도 불구하고 모든 작업에서 인간은 기계보다 훨씬 더 나은 성능을 발휘했습니다. 그렇다면 기계가 유머를 '이해'하기 시작하는 걸까요? 간단히 말해서, 그들은 어느 정도 진전을 보이고 있지만 아직은 그 수준에 도달하지 못했습니다.

Technology Networks의 일일 뉴스레터를 구독하면 속보 과학 뉴스를 매일 받은 편지함으로 바로 전달받을 수 있습니다.

Jack Hessel 박사는 “사람들이 이해를 위해 AI 모델에 도전하는 방법은 객관식 테스트 또는 정확도 점수가 있는 기타 평가 등 테스트를 구축하는 것입니다.”라고 말했습니다. '20, Allen Institute for AI(AI2)의 연구 과학자. “그리고 모델이 결국 이 테스트에서 인간이 얻는 모든 것을 능가한다면 '좋아, 이것이 진정으로 이해한다는 뜻인가?'라고 생각하게 될 것입니다. 이해는 인간의 것이기 때문에 어떤 기계도 진정으로 '이해'할 수 없다고 말하는 것은 방어 가능한 입장입니다. 그러나 기계가 이해하든 못하든, 이러한 작업을 얼마나 잘 수행하는지는 여전히 인상적입니다.”

Hessel은 “Do Androids Laugh at Electric Sheep?”의 주요 저자입니다. 뉴요커 캡션 콘테스트의 유머 '이해' 벤치마크”는 토론토에서 7월 9일부터 14일까지 개최된 전산 언어학 협회 제61차 연례 회의에서 최우수 논문상을 수상했습니다.

Lillian Lee '93, Cornell Ann S. Bowers 컴퓨팅 및 정보 과학 대학의 Charles Roy Davis 교수 및 최예진 박사. '10, 워싱턴 대학교 컴퓨터 과학 및 공학 폴 G. 앨런 스쿨 교수, AI2의 상식 지능 연구 수석 디렉터도 이 논문의 공동 저자입니다.

연구를 위해 연구원들은 14년간의 뉴요커 캡션 콘테스트를 총 700개 이상 수집했습니다. 각 콘테스트에는 다음이 포함됩니다. 캡션 없는 만화; 그 주의 항목; 뉴요커 편집자들이 선정한 최종 후보 3인; 일부 콘테스트의 경우 각 제출물에 대한 군중 품질 추정치입니다.

각 콘테스트에서 연구원들은 세 가지 작업에 대해 "픽셀에서"(컴퓨터 비전)와 "설명에서"(만화의 인간 요약 분석)라는 두 가지 종류의 AI를 테스트했습니다.

Hessel은 “Flickr에는 '이것은 내 개입니다'와 같은 캡션이 포함된 사진 데이터 세트가 있습니다."라고 말했습니다. “뉴요커 사례에서 흥미로운 점은 이미지와 캡션 사이의 관계가 간접적이고 재미있으며 많은 실제 개체와 규범을 참조한다는 것입니다. 따라서 이러한 것들 사이의 관계를 '이해'하는 작업에는 좀 더 정교함이 필요합니다.”

실험에서 일치를 위해서는 AI 모델이 최종 후보였지만 다른 콘테스트의 "방해 요소" 중에서 특정 만화에 대한 최종 후보 캡션을 선택해야 했습니다. 품질 순위에는 최종 후보 캡션과 비최종 후보 캡션을 구별하는 모델이 필요합니다. 설명 및 설명에서는 모델이 고품질 캡션이 만화와 어떻게 관련되는지 설명하는 자유 텍스트를 생성해야 했습니다.

Hessel은 크라우드소싱 작업이 만족스럽지 못한 것으로 판명된 후 인간이 생성한 설명의 대부분을 직접 작성했습니다. 그는 650개 이상의 만화에 대해 60단어로 된 설명을 생성했습니다.

Hessel은 "650과 같은 숫자는 수천 또는 수백만 개의 데이터 포인트가 있는 기계 학습 환경에서는 그다지 크지 않은 것 같습니다."라고 Hessel은 말했습니다.

이 연구는 만화가 왜 재미있는지에 대한 AI 수준과 인간 수준의 "이해" 사이에 상당한 격차가 있음을 보여주었습니다. 만화와 캡션을 일치시키는 객관식 테스트에서 최고의 AI 성능은 단 62%의 정확도로 동일한 설정에서 인간의 94%보다 훨씬 뒤처졌습니다. 그리고 인간이 생성한 설명과 AI가 생성한 설명을 비교할 때 인간의 설명이 대략 2:1로 선호되었습니다.