AI마다 좋아하는 숫자가 있다고?

동전을 100번 던진다면, 앞면은 몇 번이나 나올까?

'무작위성'이라는 것이 있다.

​어떤 사건에 특정한 패턴이 없거나 예측이 불가능한 경우를 의미하는데, 참가자의 의지와는 아무런 관련이 없기 때문에 임의성이라고도 한다.

아니, 근데 솔직히 앞면이 53 정도는 나오지 않겠어? (출처: motion elements)

동전은 앞면과 뒷면으로 구성되어 있으니 나올 확률은 50%다. 하지만 나올 확률이 50%라는 이야기는 아니다. 왜냐? 참가자의 의지와 상관없이 결과가 무작위로 도출되기 때문이다.

​그런데 재밌는 건 사람들은 '확률은 반반이니까...'를 떠올리며 100번의 절반인 50을 기준으로 그 근방의 숫자를 얘기하는 경향을 보인다. 하지만 이는 무작위성을 잘못 이해하고 있는 것이다. 무작위성이기 때문에 앞면이 0번 나올 수도, 100번 나올 수도 있기 때문이다.

​이런 행동 패턴은 로또를 구매할 때랑 비슷한데, 사실 1등 당첨 확률은 '814만 5,060분의 1'로 동일하지만 자동보다 수동으로 구매했을 때 '더 당첨될 것 같다'라고 느끼기 때문이다. 실제로 로또 1등에 당첨될 확률은 자동이 더 높다고 한다.

그런데 AI도 좋아하는 숫자를 얘기한다고?​

그렇다면 과연 AI는 어떻게 답을 할까?

​우리 생각엔 'AI는 인공지능이니까 랜덤 워크(random walk) 같은 표를 그리지 않겠어?'라고 생각할 수 있는데 놀랍게도 AI 모델들은 인간처럼 특정 숫자를 선택했다.

데이터 분석 솔루션을 제공하는 그라메너(Gramener)라는 회사의 엔지니어들이 OpenAI의 GPT-3.5터보, 클로드 3 하이쿠, 제니미 1.0프로 이 3개의 LLM(Large Language Models)를 대상으로 0부터 100까지의 무작위 숫자를 선택하게 하는 실험을 했는데 특이한 결과를 얻었다. AI들이 특정 숫자를 선택하는 모습을 보였기 때문이다.

특정 숫자를 선택하는 모습을 볼 수 있다. (출처: Gramener)

OpenAI의 GPT-3.5 Turbo는 47을 선호했고, Anthropic의 Claude 3 Haiku는 42, Gemini는 72를 선택했다.

​이 세 모델은 낮은 숫자와 높은 숫자를 피하는 경향이 있었고 반복되는 숫자와 반올림된 숫자를 거의 선택하지 않았다. 놀라운 건 이건 '인간의 패턴'과 비슷하다는 거다.

​심리학적으로 인간이 동일하게 0~100까지 무작위 숫자를 선택하라고 하면 네 가지 공통적인 패턴을 발견할 수 있다고 한다.

1) 0, 1, 100과 같은 극단적으로 치우친 숫자를 선택하지 않는다.

2) 66, 99와 같이 반복되는 숫자를 선택하지 않는다.

3) 5의 배수를 피하는 선택을 한다.

4) 3, 7과 같이 중간 어딘가에 있는 숫자를 선택하는 경향이 있다.

특이하게 AI도 인간과 비슷한 모습을 보인다는 점이다. 그럼 왜 AI는 인간과 비슷한 선택을 하는 걸까?

왜 인간과 비슷한 선택을 할까?

그 이유는 AI가 사람처럼 행동하도록 훈련됐기 때문이다.

AI는 개발 단계부터 '사람처럼 생각하도록' 훈련되었기 때문에 AI 스스로 인식하거나 추론하는 것이 아닌 인간의 콘텐츠를 기반으로 답변을 생성하는 모습을 보인다. 이 얘기인즉슨, 무작위성을 완벽히 이해하지 못한 인간의 모습을 그대로 반영하고 있다는 얘기.

​다시 말하면 LLM을 통해 좋은 답을 듣고 싶다면 무작위성과 관련 있는 토픽은 명확한 조건을 설정해야 그나마 제대로 된 답을 들을 수 있다는 의미가 된다. 물론 무작위성이기 때문에 답은 당연히 확률일 뿐이다. 그걸 어떻게, 어디까지 받아들일 것인지는 우리가 판단해야 할 문제고 말이다.