부정행위보다 위험한 것
LLM으로 시험 100점을 맞을 수 있다면 그보다 못한 인간에게 왜 일을 맡겨야 하는가 이야기가 나오는데, 우리는 그럼 수능에 대해서도 똑같이 이야기할 수 있을 것이다. 다만 이건 잘못된 논리인데, 시험이라는 건 최소 역량을 검증할 뿐이지 전문가의 실제 기능을 반영하지 않기 때문이다.
직업적 역량은 시험으로 검증할 수 없다. 일단, 문제를 푸는 것은 그 직업의 실제 직무가 아니다. 그리고 어떠한 행위에 대해 정량 평가하는 건 아주 어려운 일이다. 예를 들어 변호사 A가 10건의 사건을 수임하고 승소한 것과 변호사 B가 1건의 사건을 수임하고 승소한 것을 A가 더 낫다고 판별할 수 있지만 맡는 사건의 난도가 차이가 난다면 무엇이 더 나은지 알 수 없다.
C 티 응우옌의 게임: 행위성의 예술에서 가치 포획이란 개념이 나온다. 정부나 회사는 평가나 측량을 위해 실제 행위가 아니라 행위를 정량화하고자 한다. 그런데 이렇게 정량화가 일어나면 사람들은 실제 행위에 대한 가치보다 정량화된 값을 올리는데 더 집중하기 시작한다.
트위터의 가치는 낯선 사람들과 소통하며 좋아하는 것을 공유하고 새로운 지식을 익히는데 있지만, 파란 딱지가 등장하며 어그로를 끌고 논란을 버즈시키는 이들이 타임라인에 도배된 것이 대표적이라고 할 수 있다.
시험에 대한 부정행위 또한 대표적인 가치 포획 사례다. 시험을 잘 치기위해 공부하고 집중하는 능력은 많은 분야에서 어느 정도 상관관계가 있겠지만, 명백한 인과관계를 반영하지는 않는다. LLM의 능력 또한 마찬가지다. 질문 받기 전에 움직이지 않고 환각이 일어나고 무엇보다 책임을 질 수 없다는 사실 때문에 아직 전문 직업인으로 활동하기 어렵다는 것은 쉽게 알 수 있다.
내가 걱정 하는 것은 당장은 LLM, 심지어 LLM으로 부정행위를 하는 사람 보다 시험 성적이 곧 실제 능력이라고 생각하는 사람들이다. 돈은 모든 가치를 정량화하는데, 우리는 자본주의 사회에서 살고 있으며, 그래서 세상은 게임화되어가고 있다. 우리 자신이 가치 포획에 저항하지 않는다면 우리는 이미 소중히 생각하는 것에 숫자를 매기기 시작할 것이다.