2024년 9월, GPTZero는 "AI 작성에 대한 전무한 패러다임에서 더욱 미묘한 패러다임으로 나아가려는" 노력의 일환으로 "복사/붙여넣기 기록, 편집자 수, 편집에 걸린 시간 등 쓰기 과정에 대한 데이터를 컴파일하고 공유할 수 있도록" 하는 저작권 추적 소프트웨어를 발표했다.
작동 방식
GPTZero는 퍼플렉시티와 버스티니스라는 개념을 사용하여 글이 인공지능에 의해 작성되었는지 여부를 판단하려고 시도한다. 회사에 따르면, 퍼플렉시티는 문장 내 텍스트의 무작위성 정도와 문장 구성 방식이 해당 응용 프로그램에 대해 특이하거나 "놀라운"지 여부를 나타낸다. 언어 모델에게 더 혼란스럽거나 익숙하지 않은 언어를 가진 텍스트, 즉 모델을 "당황하게" 할 가능성이 있는 텍스트는 사람이 작성했을 가능성이 더 높은 것으로 간주된다. 이와 대조적으로, 버스티니스는 문장들을 서로 비교하여 유사성을 판단한다. 인간의 텍스트는 더 불연속적이며, 이는 인간이 인공지능보다 더 다양한 문장으로 글을 쓰는 경향이 있음을 의미한다.
사용 사례
학계에서는 표절에 대한 인공지능 생성 콘텐츠의 우려를 해결하기 위해 GPTZero를 사용하려고 시도했다. 프린스턴 대학교를 포함한 교육 기관들은 학업 환경에서 인공지능 생성 콘텐츠에 맞서기 위해 GPTZero 사용을 논의했으며, 의견은 엇갈렸다. 2023년 10월, GPTZero는 미국교사연맹과 협력했다.
2024년까지 톈은 GPTZero가 "채용 관리자, 채용 및 자기소개서 분석에서 많은 채택을 받았다"고 보고했다.
효능
2023년 3월 "AI 생성 텍스트를 안정적으로 감지할 수 있는가?"라는 제목의 논문에서, 메릴랜드 대학교의 컴퓨터 과학자 비누 산카르 사다시반, 아우논 쿠마르, 스리람 발라수브라마니안, 왕원샤오, 소헤일 페이치는 여러 인공지능 텍스트 감지기가 실제 시나리오에서 신뢰할 수 없음을 경험적 및 이론적으로 입증했다.
기술 웹사이트 퓨처리즘은 이 도구를 테스트한 후 "결과는 인상적"이지만, 오류율을 고려할 때 이 도구에 의존하는 교사들은 "무고한 학생들의 거의 20%를 학업 부정행위로 거짓 비난하게 될 것"이라고 말했다.
워싱턴 포스트는 2023년 8월 GPTZero가 오탐에 시달린다고 언급하며, "작은 '오탐' 오류율조차도 일부 학생들이 [학업 부정행위로] 잘못 비난받을 수 있음을 의미한다"고 강조했다.
뉴스 웹사이트 아르스 테크니카는 사람이 여전히 매우 규칙적인 방식으로 문장을 쓸 수 있어 오탐이 발생할 수 있다고 논평했다. 작가 벤지 에드워즈는 퍼플렉시티 점수가 인공지능에게 "놀라운" 것에만 초점을 맞추기 때문에 미국 헌법과 같은 매우 흔한 텍스트도 인공지능이 생성했을 가능성이 높은 것으로 분류되는 경우가 발생한다고 덧붙였다.
