얀 르쿤 교수의 AR-LLM의 문제점을 분석한 슬라이드를 보면 간단한 공식

펌) 얀 르쿤 교수의 AR-LLM의 문제점을 분석한 슬라이드를 보면 간단한 공식이 하나 보이는데 이건 마치 귓속말 잇기 게임 같은 현상이다.

P(correct) = (1 - e)^n

Auto Regressive 하게 생성되는 토큰의 갯수 n이 늘어날수록 해당 문장이 사실일 확률 P(correct)가 점점 줄어든다. 마찬가지로 귓속말 잇기 게임도 전달의 단계가 늘어날수록 원래의 정보가 왜곡되어 잘못 전달되는 정도가 점점 심해진다.

그런데 만일 사람들이 사용하는 통신 수단이 귓속말 잇기 게임 같다면 신뢰할 수 있는 통신은 불가능할 것이다. 하지만 우리는 그런 문제 없이 여러가지 방법으로 통신을 잘하고 있다.

우리는 전달 단계에서 그런 정보의 손실이 있다는 걸 알기 때문에 이를 극복하기 위해서 중간 중간 오류 수정 과정을 넣는다. 이런 방법들을 통해서 100% 완벽하지는 않다고 해도 실용적인 수준에서 상당히 신뢰할 수 있는 통신 수단들을 사용하고 있다.

내가 볼 때 얀 르쿤 교수는 AR-LLM의 문제를 단순하게 기술하다보니 진짜 중요한 문제를 놓친 것 같다.

AR-LLM이 뱉어내는 문장의 토큰 수가 많으면 많을수록 사실이 아닐 가능성이 높아진다면 그게 사실이 아니란 걸 알아채기도 더 쉬워진다는 것이다. 그리고 이를테면 소설을 생성해 내는 거라면 이야기의 개연성만 있으면 충분하지 사실 여부는 따질 필요가 없기도 하다.

사실 우리가 조심해야 할 건 거짓이 많이 포함된 글이 아니다. 그건 쉽게 알아챌 수 있기 때문이다. 거의 모든 내용이 사실인데 거기에 살짝 거짓이 교묘하게 섞여 있는 경우이다.

결론적으로 얀 르쿤 교수가 지적한 AR-LLM 의 단점은 여러가지 방법으로 충분히 극복되거나 피해갈 수 있을 거라고 본다. 우리가 정말 주의해야 할 것은 그걸 생성한 게 인공지능이든 사람이든 많은 진실 속에 살짝 섞어놓은 교묘한 거짓말이다.

슬라이드 이미지 출처 https://www.facebook.com/yann.lecun/posts/pfbid0UEXDHvzTc8XYezvzz7W5z1n5EJoDNV96FUx1AV1dgHjwM6obRGrDKk7Ycdn3M5qdl