[취재파일] 챗GPT 얼마나 똑똑한 지 테스트해보았습니다

요즘 국내외 언론들이 큰 관심을 보이는 ChatGPT에 대해 자세히 알아보았습니다. 단순한 기능 소개가 아니라 구체적으로 어떤 장단점이 있는지 또 정말 똑똑한지 직접 테스트해 보았습니다.

먼저 시간 여유가 있을 때마다 수시로 접속해 다양한 질문을 입력해 보았습니다. 사용 시간대에 따라 반등 속도가 달랐습니다. 같은 사용 컴퓨터였지만 새벽 1시 새벽 4시, 오전 8시, 오전 11시, 또 주말과 주중으로 나누어 사용해 보았는데 응답 속도는 차이를 보였습니다. 사용자가 많으면 속도가 떨어지나 하는 의문이 생겼습니다.

현재 ChatGPT는 무료 사용이 가능하지만 유료 회원으로 가입할 경우 이 느린 응답 속도도 바로 개선된다고 안내문이 나와 있었습니다. 유료 회원에게만 제공되는 혜택이라고 할 수 있을 것 같았습니다. 저는 일단 무료 회원으로 테스트해보았습니다.

ChatGPT 등장으로 구글 등의 검색 사이트가 큰 타격을 받을 것이라는 이야기가 워낙 많아 먼저 비교 테스트를 해보았습니다. 미국 바이든 대통령에 대해 물었습니다.

ChatGPT에는 "Who is Biden?" 구글과 야후에도 "Who is Biden?"이라고 입력하고 반응을 기다려 보았습니다. 모두 비슷한 내용을 보여주었습니다. 누가 더 좋고 더 나쁘다고 말하기 어려울 정도였습니다. 그러나 텍스트 위주로 움직이는 ChatGPT는 바이든 미국 대통령에 대해 글로만 설명해주었습니다. 구글과 야후는 다양한 사진과 영상을 소개했습니다. 구글과 야후의 데이터는 사진, 영상, 관련 정보 링크 등 다양한 정보를 보여주었습니다.
　
　
혹시나 해서 영어, 한국어, 프랑스어, 아랍어, 태국어, 덴마크어, 핀란드어 능력도 테스트해보았습니다. 질문은 위와 같이 "Who is Biden?"
　
　
영어 응답이 가장 빨랐습니다. 8초. 질문을 프랑스어로 바꾸었더니 14초 만에 답이 나타났습니다. 핀란드어 15초, 덴마크어 17초 아랍어 35초, 태국어 1분 13초. 한글은 41초. 영어를 기준으로 만든 만큼 영어 응답이 가장 빨랐습니다.

ChatGPT는 똑똑하구나라는 생각이 들었습니다. 옆에 있는 선생님이 친절하게 설명해주는 것 같은 느낌을 받았습니다. 그리고 정보도 풍부했습니다. 이런 부분은 100점 만점에 80점 주고 싶었습니다.
　 　
5살 아이에게 영어를 지도할 수 있는 좋은 방법을 추천해 달라고 영어로 물었습니다. 예상했던 답이었지만 좋은 답이 나왔습니다. 사물을 이용하고 반복 학습이 중요하다고 설명했습니다. 많은 영어 교사들이 하고 있는 답이기도 했습니다. 그래서 이번에는 이렇게 물었습니다.

5살 아이에게 프랑스어를 지도할 수 있는 좋은 방법을 알려달라고 영어로 물었습니다. 답은 매우 실망스러웠습니다. 프랑스어의 특징을 전혀 고려하지 않고 앞에서 물었던 영어 지도에 대한 응답과 똑같은 응답이 나왔습니다. 결국 여기에서 나온 답은 경험에서 터득한 노하우가 아니라 텍스트로만 배운 노하우라는 것이었습니다. 아이의 상태나 능력에 대한 조언이나 설명은 없었습니다.

60점을 주었습니다.

미래 자동차를 사진으로 보여달라고 요구해보았습니다. 실망스러웠습니다.

ChatGPT는 텍스트 기반이어서 그런지 사진이나 동영상은 보여주지 못했습니다. 오히려 어디에 가면 다양한 동영상을 볼 수 있다는 것을 알려주었습니다.

여기서 ChatGPT의 한계를 보여주었습니다. 다들 구글의 위기라는 말을 하지만 AI가 쉽게 따라가지 못하는 구글만의 무기가 있습니다. 단순 텍스트 정보가 아니라 사진과 동영상이란 정보가 있습니다. 높은 점수를 주기는 어려웠습니다.

질문은 구체적일수록 빠른 답이 올라왔습니다. SBS는 어떤 방송국인지를 물어보았습니다. 뜻밖의 답이 올라왔습니다. 호주에 있는 SBS 방송국에 대한 정보가 제공되었습니다. 그것도 제가 95점 이상을 주고 싶을 정도로 상세한 정보가 나왔습니다. 그러나 제가 기대했던 SBS는 나오지 않았습니다. SBS Korea라고 검색을 했더니 그제야 한국 SBS 방송국에 대해서 자세하게 나왔습니다. 내용만 보면 80점 정도 줄 수 있는 수준이었습니다.
　
　　 　
지금 런던 날씨를 물어보았습니다. 기대했던 답이 나오지 않았습니다. 똑똑한 AI가 빠르고 정확한 답을 줄 것이라고 기대했지만 현재 상황을 제공하지 못했습니다. 그렇습니다. AI에 있는 정보는 2021년 입력된 정보 기준이기 때문에 현재 상황에 대해서는 정보를 제공할 수 없습니다. 또 하나의 한계입니다. 대신 어느 사이트나 어느 모바일 앱에 가보면 실시간 날씨 정보를 받아 볼 수 있다는 매우 상냥한 안내가 제공되었습니다. 이런 부분은 나쁘지 않았습니다.

그러나 이 부분은 충격이었습니다. 현재 한국 대통령은 누구인지 한글과 영어로 물었습니다. 문재인이 현재 대한민국 대통령이라고 나왔습니다. 그러면서 2022년 재선에 성공했다는 설명이 나왔습니다. 영문도 같은 잘못된 내용을 보였습니다.
　
　
그래서 윤석열은 누구인지 물었더니 2022년 대선에서 대통령 후보로 출마했지만 대선에서는 당선되지 못했다는 잘못된 정보가 나왔습니다.

따라서 여기에서 나오는 모든 정보를 100% 믿고 활용하면 위험하다는 것입니다. 이 부분에서는 30점도 주기 어려웠습니다.

많은 사람들이 ChatGPT의 등장으로 구글과 네이버가 위기라는 말까지 하는데, 저는 개인적으로 그렇게 보지 않습니다. ChatGPT만의 기능이 있는 것이고, 또 구글은 구글 만의 기능이 있다고 판단됩니다.

그러나 분명한 것은 ChatGPT의 외국어 실력은 놀랍다는 것입니다. 미세하게 어색한 부분도 있기는 하지만 놀라울 정도로 성장했습니다.

나 자신을 영문으로 어떻게 소개할까 물어보았습니다. 응답에 대해 저는 95점을 주었습니다. SBS 방송국 소개와 함께 간략하게 쓴 김정기 기자 소개는 매우 돋보였습니다. 잘 썼습니다. 제 이름을 Kim Jung-gi라고 쓴 것도 놀라웠지만 나에 대한 정보를 저렇게 많이 알고 있다는 점에 저는 놀랄 수밖에 없었습니다. 이 부분에서는 70점.

마지막으로 ChatGPT를 활용해 영어 학습 또는 지도에 사용하면 어떨까 하는 생각이 들었습니다.

특히 번역 기능은 단어 하나하나의 뜻을 설명해 주는 것은 눈길을 끌었습니다. 외국어 공부에 효과가 클 것 같았습니다. 작성한 문장이 올바르게 쓴 것인지. 표현이 적절한 것인지를 자세한 설명과 함께 답을 해주는 것은 마음에 들었습니다.

단어의 뜻을 물어보아도 되고 이 단어를 활용한 문장을 물어봐도 답을 얻을 수 있습니다. 무엇보다 번역 실력은 대단했습니다. 영어를 한글로, 영어를 프랑스어로, 영어를 아랍어로, 프랑스어를 한글로 등 번역실력에는 85점 주고 싶었습니다.

ChatGPT는 많은 부분에서 활용할 수 있을 것입니다. 그러나 분명 한계가 있습니다. 또 모든 정보가 100% 정확하다고 볼 수 없기 때문에 사용할 때 주의가 필요하다는 점도 기억해야 할 것입니다.

** 위 테스트는 2023년 2월 13일 오전~15일 오전까지 진행한 내용입니다.