얇은 판 위에
그린 지도

MXene(맥신)은 아주 얇은 판이다. 금속 원자 줄과 탄소(또는 질소) 원자 줄이 샌드위치처럼 번갈아 놓여 있다. 이런 판이 책장처럼 여러 장 쌓인다. 판 사이 간격은 X선을 쏘아 재는데, 보통 1 nm 안팎이다.

가장 많이 연구된 것은 타이타늄(Ti)과 탄소(C)로 된 Ti₃C₂Tₓ 다. 끝의 Tₓ 는 판 겉면에 붙은 원자들을 뜻한다. 겉면을 어떻게 처리하느냐에 따라 성질이 꽤 달라진다. 9장에서 보겠지만, 같은 Ti₃C₂ 라도 처리에 따라 어떤 값은 3 eV(전자 하나를 다룰 때 쓰는 아주 작은 에너지 단위) 넘게 벌어진다.

만드는 법은 대략 이렇다. 판이 되기 전의 단단한 결정(전구체)을 약품에 담가 한 층을 녹여 낸다(식각). 그러면 판이 드러나고, 그 판을 한 장씩 떼어 낸다(박리). 약품도 여러 가지다. 불산(HF), 불화리튬과 염산을 섞은 것, 녹인 소금 등.

종류는 얼마나 될까. 실험실에서 실제로 만든 금속–탄소 조합만 50가지가 넘는다. 원소를 섞은 것, 겉면이 다른 것까지 세면 100가지 가까이 된다. 컴퓨터 계산으로만 예측한 후보는 1,000가지가 넘는다.¹

"MXene 은 물질이 아주 많다. 어느 성질에 어느 조성을 써야 하는지, 구조와 제조 방법을 구조적으로 정리할 수 있을까?"— 이 지도는 2026년 10월 6일, 이 질문 하나에서 시작했다.²

MXene 이 이름을 알린 것은 전기를 담는 힘, 곧 정전용량 덕분이었다. 정전용량은 축전기처럼 전기를 얼마나 모아 둘 수 있나를 뜻한다. 2013년 학술지 «Science», 2014년 «Nature» 에 실린 대표 성과가 모두 Ti₃C₂Tₓ 의 정전용량이었다. 특히 같은 부피에 얼마나 담나(부피당 값)가 핵심이었다.³

그 뒤로 연구는 사방으로 뻗었다. 전기가 얼마나 잘 흐르나, 전자파를 얼마나 막나, 빛을 받으면 얼마나 뜨거워지나, 열을 얼마나 잘 나르나. 이런 것을 성질이라 부른다. 성질 하나마다 논문이 쌓였다.

질문을 던진 사람은 한때 MXene 으로 논문을 썼던 연구자다. 다만 본인 말로는 «물질 자체를 연구한 게 아니라 구조를 만드는 데 썼다». 그래서 이 지도에 필요한 재료 지식은 작업하면서 하나씩 쌓아 왔다.⁴

질문은 단순했지만 답은 그렇지 않았다. 다음 장에서 그 이유를 본다.

숫자는 논문 안에 흩어져 있다. 어떤 값은 본문 한가운데, 어떤 값은 그림 설명에, 어떤 값은 «각각»이라는 말로 여러 시료와 함께 한 문장에 묶여 있다. 원하는 값을 찾으려면 논문을 하나씩 열어야 한다.¹

그래서 숫자만 모아 둔 데이터베이스(값을 표로 모아 둔 자료 창고)가 이미 몇 개 있다. 우리가 찾은 것 가운데 가장 비슷한 것은 논문 114편에서 573줄을 모은 공개 자료였다. 쓸모 있는 자료다. 하지만 들여다보니 아쉬운 점이 넷 있었다.²

• 값의 91%가 Ti₃C₂ 하나에 몰려 있다.
• AI 가 뽑은 값인데, 얼마나 정확한지 보고가 없다.
• 값마다 «원문의 어느 문장에서 왔는지»가 없다.
• 무엇보다, 틀린 값이 섞여 있었다.

마지막 것은 우리가 직접 원문을 펴서 확인했다. 그 데이터베이스의 값을 원래 논문과 한 줄씩 맞춰 보았다. 원문과 맞지 않는 값이 처음 15편에서는 17.9%, 범위를 넓힌 22편에서는 8.0% 나왔다. 조사한 논문 수(표본)가 작아서 어느 숫자도 확정은 아니다.³

틀린 값은 흔히 같은 모양이었다. MXene 에 다른 재료를 섞어 만든 복합체(두 재료를 합친 것)의 값을, 순수한 MXene 의 값처럼 적어 둔 것이다. 숫자 자체는 원문에 있으니 얼핏 맞아 보인다. 하지만 «누구의 숫자인가»가 틀렸다.⁴

전기가 얼마나 잘 흐르나(전기전도도, 단위 S/cm — 클수록 잘 흐른다) 같은 대표 성질에서는 «24,000 S/cm» 같은 최고값이 조건 없이 돌아다닌다. 어떤 시료를 어떻게 만들어 어떻게 쟀는지가 떨어져 나간 숫자다. 근거가 붙은 지도가 가장 쓸모 있는 자리가 바로 여기다.⁵

값을 더 많이 모으는 경쟁이 아니다. 믿을 수 있는 값을 모으는 일이다.— 이 지도의 «우리 몫»을 정한 문장

원문을 구하는 일부터 쉽지 않았다. 우리는 처음부터 합법적인 길만 쓰기로 했다. 무단 복제 사이트에서 뽑은 값은 남에게 공개할 수도 없고, 남이 같은 원문으로 다시 확인할 수도 없기 때문이다.⁶

그런데 누구나 볼 수 있게 공개된 논문이라도, 출판사 누리집은 프로그램이 들어와 읽는 것을 막는 경우가 많았다. 처음 대조할 때 공개 논문 60편 가운데 본문을 프로그램으로 받은 것은 16편뿐이었다. 결국 공공 도서관 같은 논문 저장소가 프로그램으로 읽을 수 있는 합법 통로가 되었다. (프로그램이 막힌 논문을 따로 구해 같은 방법으로 채점한 이야기는 10장에 나온다.)⁷

경쟁자만 있는 것은 아니었다. 컴퓨터 계산으로 만든 MXene 구조 4,488개를 모은 공개 자료도 있다. 이것은 경쟁 상대가 아니라 짝이다. 같은 조성 이름으로 «계산값» 칸을 나란히 붙일 수 있다.⁸

그래서 할 일이 정해졌다. 숫자를 모으되, 숫자마다 그 숫자가 적힌 문장을 붙인다. 그리고 그 짝이 맞는지 따로 채점한다.

이 지도의 한 줄은 숫자 하나가 아니다. 그 숫자가 어떤 MXene(조성)의, 어떤 시료의, 어떤 단위의 값인지, 그리고 원문의 어느 문장에서 왔는지를 한 묶음으로 적는다. 만든 방법과 잰 조건도 함께 적는다. 도서관 책에 붙은 청구기호처럼, 누구든 이 줄을 보고 원래 자리를 다시 찾아갈 수 있다.¹

위 그림의 문장을 보자. 겉넓이(m²/g — 가루 1 g 을 쫙 펼쳤을 때 몇 제곱미터인가)를 적은 문장이다. 한 문장 안에 시료 셋, 숫자 셋이 있다. «respectively(각각)»라는 말이 붙어 있으니 순서대로 짝을 맞춰야 한다. 첫 번째 시료(few-layer Ti₃C₂Tₓ)는 6.05 m²/g 이다. 이런 짝짓기는 사람도 헷갈리고 AI 도 헷갈린다.²

숫자가 맞아도 쓸 수 없는 줄이 있다. «16시간으로 늘렸더니 비표면적이 95.7 m²/g 이 되었다»는 문장에서 뽑은 줄이 그랬다. 값 95.7 은 원문 그대로였다. 그런데 시료 이름 칸이 비어 있었다. 이 숫자가 어느 시료의 것인지 알 수 없으니 지도에 올리지 않았다.³

숫자는 맞아도 «누구의 숫자인지»가 비면 쓸 수 없다.

한 성질을 지도에 올리는 여덟 걸음

성질이 바뀌어도 순서는 늘 같다.⁴

1. 논문 목록부터 고정한다. 나중에 유리한 논문만 골라 넣지 못하게.
2. 추린다. 그 값을 «자기가 직접 재서» 적은 논문만 남긴다. 계산만 한 논문, 남의 값을 옮겨 적은 논문은 뺀다.
3. 받아 적는다. AI 가 논문을 읽고 조성·시료 이름·값·단위·원문 문장을 한 줄씩 뽑는다.
4. 함정 문제를 만든다. 뽑은 줄 몇 개를 몰래 고친다(4장).
5. 채점 기준을 먼저 저장한다. 무엇을 «맞다»로 볼지 채점 전에 적어서 저장해 둔다.
6. 채점자 둘이 따로 채점한다. 각자 원문을 열어 «맞다·틀리다·모르겠다» 중 하나를 고른다.
7. 표시를 단다. 둘 다 «맞다»면 ●, 하나라도 «틀리다»면 ✕, 그 밖은 ○. (6장에서 ◐ 가 하나 더 생긴다.)
8. 합격을 가린다. ● 가 80% 이상이고 ✕ 가 10% 이하면 그 회차는 통과.

다섯 번째 걸음이 이 일의 등뼈다. 결과를 본 뒤에 기준을 정하면 기준이 결과 쪽으로 휜다. 재는 게 아니라 «맞추는» 게 된다. 시험을 보기 전에 정답 기준표를 봉투에 넣어 봉해 두는 것과 같다. 이것을 사전등록(미리 등록해 두기)이라고 부른다. 기준을 바꾸고 싶으면 새 회차를 열어 처음부터 다시 잰다.⁵

그렇게 하면 불편한 일도 생긴다. 결과를 보니 «이 칸만 빼면 훨씬 좋아 보이는데» 싶은 때가 온다. 5장에 그 이야기가 나온다. 그때도 우리는 결과를 보고 고른 숫자를 지도에 올리지 않았다.

학교 시험 채점에 빗대 보자. 문제지는 논문 원문이다. 학생 답안은 AI 가 원문에서 뽑아 온 한 줄(«이 시료의 값은 이것»)이다. 채점 선생님은 둘이다. Claude 와 Codex, 서로 다른 회사가 만든 AI 둘이다. 둘은 서로의 채점을 보지 않는다.¹

그런데 선생님이 대충 채점하면 어떻게 알까. 그래서 선생님을 믿기 전에 먼저 선생님을 시험한다. «채점자를 채점하는» 셈이다. 답안 더미에 함정 문제 열여덟 장을 몰래 섞는다. 열두 장은 일부러 틀리게 고친 답안이고, 여섯 장은 손대지 않은 정답이다. 선생님은 어느 것이 함정인지 모른다.

정답 여섯 장을 함께 넣는 까닭은 간단하다. 무엇을 보든 «틀렸다»고만 하는 선생님이라도 고친 답안 열두 장은 다 잡을 것이다. 멀쩡한 답안을 «맞다»고 알아보는지까지 봐야 그 선생님을 믿을 수 있다.

함정은 이렇게 생겼다

실제로 쓴 함정 몇 가지.²

• 값 바꾸기. 원문에는 어느 시료의 겉넓이가 16.7 m²/g 이었다. 함정에는 61.79 로 적어 보냈다. 두 선생님 모두 «논문엔 16.7»이라며 잡았다.
• 없는 시료 이름. 556.283 m²/g 이라는 값에, 논문에 없는 시료 이름(«그래핀과 함께 구운 복합체, 시료 B»)을 붙였다. 둘 다 «그런 시료는 논문에 없다»고 했다.
• 다른 MXene 으로. 빛을 열로 바꾸는 효율 34.21% 의 주인은 나이오븀 MXene(Nb₂C) 입자였다. 이것을 Ti₃C₂ 로 바꿔 보냈다. 둘 다 «이 입자는 Nb₂C»라고 잡았다.
• 단위 바꾸기. 1.15 nm 를 1.15 Å(10배 작은 단위)로 바꿨다. 둘 다 «nm 이지 Å 가 아니다»라고 했다.
• 칸 비우기. 원문에 분명히 적힌 조건을 일부러 빈칸으로 보냈다. «틀렸다»가 아니라 «빠뜨렸다»를 알아보는지 시험한다(5장).
• 성질 이름 바꾸기. 숫자와 시료는 그대로 두고 «무슨 성질의 값인지»만 바꿨다. 10월 9일에 새로 넣은 함정이다(7장).

함정 열여덟 장을 다 잡았다고 «채점자가 완벽하다»는 뜻은 아니다. 열여덟 장은 많지 않다. 채점자가 실제로는 열 번에 한두 번(약 17%까지) 실수하더라도 열여덟 장을 우연히 다 맞힐 수 있다. 그래서 우리는 «이 채점자를 믿어도 될 만큼은 시험했다»까지만 말한다.²

한 명이 놓친 것을 다른 한 명이 잡는다. 그래서 선생님이 둘이다.

두 선생님이 갈리는 때도 있다. 층과 층 사이 간격이 «약 1.41 nm 로 늘었다»는 문장에서 뽑은 줄을 두고, 한 선생님은 «맞다», 다른 선생님은 «틀리다 — 이건 다른 약품을 넣기 전 시료의 값»이라고 했다. 규칙은 하나라도 «틀리다»면 ✕ 다. 그 줄은 지도에 오르지 않았다.³

정답지가 애매하면 선생님도 떨어진다

한 번은 두 선생님이 자격 시험에서 떨어졌다. 고친 답안 열두 장은 둘 다 다 잡았다. 그런데 «멀쩡한 정답» 여섯 장 가운데 한 선생님은 넷, 다른 선생님은 셋만 «맞다»고 했다.⁴

들여다보니 문제는 선생님이 아니라 정답지 쪽이었다. 우리가 «정답»으로 고른 줄이 애초에 정의가 애매한 줄이었다. 그 뒤로는 채점 전에 정답 줄의 원문을 먼저 열어 본다. 표의 숫자만 덩그러니 있는 줄, 다른 액체 속에서 잰 값처럼 애매한 줄은 정답 후보에서 뺀다. 그렇게 고친 다음 회차에서는 두 선생님 모두 정답 여섯 장을 다 알아봤다. 다만 성질도 논문도 다른 한 번의 비교라, «이것 덕분»이라고 못 박지는 않는다.⁵

반대로 너무 깨끗해도 의심한다. 어느 회차는 두 선생님이 36줄 모두 «맞다», 함정도 전부 만점이었다. 기쁘기보다 «함정이 너무 쉬웠나»를 먼저 적어 두었다.⁶

논문은 이렇게 골랐다

누구나 열어 볼 수 있는 논문부터. 지도의 모든 숫자에는 원문 문장이 붙는다. 그 문장을 다른 사람도 직접 확인할 수 있어야 하므로, 처음에는 무료로 공개된 본문만 썼다.¹

지도가 비어 있는 곳을 겨냥해서. 쓸모 시험(10장)이 «여기 자료가 없어서 답을 못 하겠다»고 알려 준 자리를 채울 논문을 골랐다. 예를 들어 «불산 없이 수산화나트륨으로 식각한 MXene 의 정전용량» 같은 자리다.

제목만 보고 고르면 빗나간다. 처음에는 제목과 요약의 낱말로 골랐다. 그랬더니 «알칼리로 식각한 논문»을 찾으려다 «식각은 불산으로 하고 알칼리로 씻은 논문»이 걸렸다. 낱말은 같은데 실험이 다르다. 그래서 요즘은 요약에 그 조건이 실제로 적혀 있는지까지 보고, 사람이 한 번 더 읽어 거른다.²

시험 문제의 «정답 논문»은 넣지 않는다. 쓸모 시험은 «알려진 사실» 20개를 지도가 다시 찾아내는지 보는 것이다. 그 사실을 처음 말한 논문을 지도에 넣으면, 지도는 정답지를 베껴서 맞히는 셈이 된다.

따로 구한 논문도 똑같이 채점한다. 공개 경로 밖에서 구한 논문에는 출판사 본문이 섞여 있다. 그래도 같은 방법으로 채점하고, 결과는 «어디서 왔는지» 갈래별로 따로 적는다. 자료를 버리지 않되, 섞어서 흐리지도 않는다.³

결과를 보기 전에 규칙을 먼저 적는다. 결과를 본 뒤 고친 규칙은 «탐색»이라고 이름표를 단다.

규칙은 이렇게 고쳤다

① 먼저 적고 저장한다. 시험을 돌리기 전에 «무엇을 셀지 · 몇 점이면 통과인지»를 파일로 적어 저장(커밋)한다. 그래야 나중에 «사실 이 기준이었다»고 말을 바꿀 수 없다.

② 실패하면 같은 시험을 다시 보지 않는다. 10월 9일, 따로 구한 45편을 채점하던 중 채점자 하나가 함정 문제 둘을 놓쳤다. 이름 칸을 일부러 비워 둔 줄을 «맞다»고 한 것이다. 같은 시험지를 다시 돌리면 통과할 때까지 돌리는 꼴이 된다. 그래서 그 회차는 «판정 불가»로 남기고, 함정을 새로 뽑은 새 시험지로 다시 봤다. 이번엔 두 채점자 모두 함정 18개를 다 잡았고, 223줄 중 222줄이 통과했다.⁴

③ 결과를 보고 고친 규칙에는 이름표를 단다. 쓸모 시험에서 «Ti₂C 전지가 Ti₃C₂ 보다 용량이 크다»가 어긋났다. 들여다보니 우리 지도의 Ti₃C₂ 값에 실리콘처럼 용량이 큰 물질을 섞은 복합체가 많이 들어 있었다. 정답 논문은 순수한 MXene 끼리 비교했는데 말이다. 그래서 «섞은 물질이 없는 시료만 비교한다»로 규칙을 고쳤다. 다만 결과를 본 뒤 고친 것이라 «탐색»이라고 이름 붙이고, 지도가 쓸모 있다는 근거로는 쓰지 않는다.⁵

④ 좋아진 것과 나빠진 것을 나란히 적는다. 고친 규칙으로 다시 재 보니 Ti₂C 비교는 «일치»로 바뀌었다. 그런데 앞서 «일치»였던 «Nb₂C 가 Ti₂C 보다 크다»는 «답 못 함»이 됐다. 순수한 Nb₂C 자료가 1편뿐이었던 것이다. 그 «일치»는 복합체 값에 기대고 있었다. 좋아진 것만 적으면 지도가 실제보다 좋아 보인다. 그래서 둘 다 적었다.

⑤ 진짜 근거는 새 자료로. 고친 규칙을 이제 얼려 두고, 앞으로 새로 구할 논문으로 다시 시험한다. 그때 통과하면 그것이 «지도가 쓸모 있다»의 근거가 된다.

전기전도도, 전자파 차폐(전자파를 얼마나 막나), 전지, 층간거리. 성질이 바뀌어도 떨어지는 자리는 비슷했다. 숫자는 대체로 원문과 맞았다. 틀린 것은 그 숫자를 설명하는 칸이었다. 예를 들면 «밑에 깐 필름도 섞은 재료로 쳐야 하나», «시료가 젖은 상태인가 마른 상태인가» 같은 칸이다.¹

층간거리: 떨어졌다가 다시 잰 이야기

층간거리는 MXene 판과 판 사이 간격이다. 처음 채점에서는 «시료가 젖었나, 말랐나»까지 맞혀야 «맞다»로 치게 했다. 그런데 논문들이 이 상태를 잘 적지 않았다. 결과는 ● 45%, 불합격이었다. ✕ 의 대부분이 바로 이 상태 칸에서 나왔다. 숫자 자체가 틀린 줄은 2.2%뿐이었다.²

결과를 보고 계산해 보니 «상태 칸만 빼면 78%»가 나왔다. 솔깃한 숫자다. 하지만 결과를 본 뒤에 고른 잣대다. 이 숫자는 지도에 쓰지 않았다.

대신 처음부터 다시 했다. «상태는 빼고 값·단위·조성·시료만 본다»는 기준을 채점 전에 새로 저장하고, 같은 줄을 두 선생님이 다시 채점했다. 결과는 ● 90%. 이번에는 통과였다. 지도에는 «상태는 확인 안 됨»이라는 표시를 달아 올렸다.³

열전도도: 세 번 떨어지고, 네 번째에 통과했다

열전도도는 열을 얼마나 잘 나르나다. 기기의 열을 빼내는 데 쓰인다. 이 성질에서 우리는 가장 많이 배웠다.⁴

첫 번째. ● 66.7%, 불합격. 원인을 보니 숫자가 아니라 우리가 쓴 지시문이었다. 열이 흐르는 방향을 적는 칸에 «판과 나란히», «판을 가로질러» 두 낱말만 허락했다. 그런데 논문들은 «가로», «세로», «축 방향»처럼 다른 낱말로 적었다. 받아 적는 AI 는 칸을 비웠고, 채점자는 «논문엔 적혀 있는데 비웠다»며 ✕ 를 줬다. 단위를 깜빡해 550 mW 를 550 으로 적은 줄도 있었다. 우리 실수였다.

두 번째. 지시문만 고쳐 다시 저장하고, 같은 논문을 다시 받아 적었다. ● 81.2%로 합격선은 넘었다. 그러나 ✕ 가 18.8%로 상한 10%를 넘어 또 불합격. 이번 ✕ 열여섯은 전부 빈칸이었다. 틀린 숫자는 하나도 없었다.

세 번째. 채점 쪽에 새 표시를 만들었다. «틀림(✕)»과 «빠뜨림(◐ — 논문엔 있는데 칸이 비어 있음)»을 따로 센다. 함정에도 «정답이 있는데 일부러 비운 칸» 네 장을 넣었다. 두 선생님 모두 넷 다 «틀림»이 아니라 «빠뜨림»이라고 정확히 불렀다. 둘을 가를 수 있다는 것을 처음 확인한 순간이다.

세 번째 결과는 이랬다. ● 62, ◐ 22, ✕ 0. 맞음과 빠뜨림을 합치면 98.8%. 틀린 숫자는 85줄 가운데 하나도 없었다. 그런데도 불합격이다. 빠뜨림이 26%로, 채점 전에 정해 둔 상한 20%를 넘었기 때문이다.

숫자는 85줄 전부 맞았다. 떨어진 이유는 하나, 받아 적기가 덜 꼼꼼했던 것이다.

이 상한은 일부러 박아 둔 안전장치였다. «빠뜨림»을 따로 세면 채점이 너그러워질 수 있다. 빈칸이 많아도 «틀린 건 아니잖아» 하고 넘어가기 쉽다. 그래서 «빈칸이 20%를 넘으면 받아 적기가 부실한 것»이라고 미리 정해 두었다. 그리고 그 장치가 실제로 걸렸다. 우리는 상한을 낮추지 않았다.⁵

고칠 곳은 채점이 아니라 받아 적기였다. «빈칸으로 두기 전에, 실험 방법을 적은 부분과 그림 설명에서 한 번 더 찾아볼 것.» 이 지시를 넣었다. 다만 끝난 회차의 점수를 고쳐 쓰지는 않았다. 새 회차를 열어 같은 35편을 처음부터 다시 받아 적었다.

네 번째. ● 70 · ◐ 12 · ○ 2 · ✕ 1, 모두 85줄. 맞음과 빠뜨림을 합치면 96.5%, 틀림 1.2%, 빠뜨림 14.1%. 이번에는 세 조건을 모두 넘어 통과했다. 채점자 둘도 함정을 모두 잡았다.⁵

하지만 «새 지시 덕분에 빠뜨림이 줄었다»고는 말하지 않는다. 이번에는 받아 적기도 새로 했고, 채점 지시문도 조금 바뀌었다. 무엇이 효과를 냈는지 가를 수 없다. 이 회차의 목적은 지도에 쓸 값을 더 단단하게 채우는 것이었다. 지도의 열전도도 점은 이 통과 회차의 82점으로 바꿔 실었다.

둘이 같이 빠뜨리면 아무도 모른다

전지 성질에서도 비슷한 일이 있었다. 받아 적는 AI 둘이 서로 독립적으로 같은 논문을 읽고 뽑는데, 둘이 함께 빈칸으로 둔 조건들이 있었다. 원문의 실험 방법 부분에 분명히 적혀 있는 조건이었다. 둘의 답이 «같다»는 것은 둘이 «같이 빠뜨렸다»는 것을 잡아내지 못한다. 그 빈칸은 원문과 대조하는 채점에서야 드러났다.⁶

그리고 통과할 때까지 계속 돌리지는 않는다. 같은 문제지를 세 번 넘게 고치지 않기로 정해 두었다. 될 때까지 고쳐 돌리면, 그건 재는 게 아니라 «맞추는» 것이 된다.⁷

처음으로 사람이 만든 정답과 견주었다

지금까지 채점은 «두 AI 채점자가 원문과 맞다고 하나»였다. 그것만으로는 사람 기준에서 몇 % 맞는지 모른다. 그래서 다른 연구진이 사람 손으로 만든 공개 정답표(페로브스카이트 태양전지 논문의 글 조각 600개에 사람이 밴드갭 값을 표시한 것)에 같은 방법을 돌려 보았다. MXene 이 아니라 다른 물질이지만, «사람 정답과 견준다»는 시험에는 쓸 수 있다.

재현율 97.4% — 사람이 적어 둔 값은 거의 다 찾았다. 정밀도 83.1% — 우리가 찾은 값 가운데 정답표에 없는 줄이 꽤 있었다. 그 45줄을 다시 채점하니 42줄은 두 AI 채점자가 «원문에 그렇게 적혀 있다»고 본 것이었다. 열어 보니 사람이 정답표 규칙에 따라 뺀 것으로 보이는 줄도, 우리가 잘못 집은 줄도 섞여 있었다.

AI 채점자는 «원문에 적혀 있나»는 잘 본다. «이 값을 그 물질의 값으로 치나»는 사람의 정의라서 AI 둘이 대신 정할 수 없다.

만든 법 네 칸 — 원료, 식각, 박리, 가공

논문마다 대표 시료 하나를 골라, 원료(MAX 상)를 어떻게 얻었는지, 무엇으로 식각했는지, 어떻게 층을 벌렸는지, 측정한 모양(막·전극·가루)을 어떻게 만들었는지를 원문 문장과 함께 뽑았다. 값처럼 두 채점자가 칸마다 원문과 대조하고, 둘 다 맞다고 본 칸만 지도에 싣는다.

두 번 실패하고, 시험지를 사람이 다시 만들었다

채점 회차마다 정답을 아는 함정 문제(숫자를 바꾼 칸, 다른 논문 글을 붙인 칸, 단계를 하나 뺀 칸 등)를 섞는다. 처음 두 회차는 무효가 됐다. 채점자가 틀린 게 아니라, 함정 문제를 기계로 만들다가 «맞는 칸»과 «틀린 칸»이 섞여 버렸다. 세 번째 회차에서는 기계로 만들기 어려운 함정 칸을 사람이 원문을 하나하나 열어 골랐다. 두 채점자 모두 함정 32개를 다 맞혔고, 실제 칸의 88%가 통과했다.

«빠졌다»던 것은 옆 칸에 있었다

가공 칸이 가장 약했다(74%). 떨어진 칸을 읽어 보니 «열처리가 빠졌다»는 이유가 많았다. 그런데 열처리는 따로 «후처리» 칸에 뽑혀 있었고, 채점자에게 그 칸을 보내지 않았던 것이다. 가공과 후처리를 한 줄로 합쳐 다시 물었더니 같은 논문들의 통과율이 33%에서 91.5%로 올랐다. 회차 전체로는 두 채점자 함께 통과 92%였다. (이때 «가공»의 정의 문장도 한 줄 바꿨으므로, 오른 몫을 둘로 나누지는 못한다.)

만든 법이 다른 시료의 것이었다 — 10월 20~21일

공개한 다음 날, 바깥에 보낼 글을 다른 AI 에게 검토시키다가 이상한 줄이 나왔다. pH 10 에서 만든 젤의 값을 눌렀는데 pH 4 젤의 만든 법이 나왔다. 세어 보니 만든 법이 붙은 값 3,962개 가운데 1,767개에서 값의 시료 이름과 만든 법의 시료 이름이 달랐다. 무작위로 30쌍을 열어 보니 26쌍은 정말 다른 시료였다. 섞은 비율이 반대인 복합체, 박리하지 않은 다층 시료, 심지어 조성이 다른 MXene 도 있었다.¹

원인은 우리 쪽에 있었다. 만든 법을 뽑을 때 논문마다 시료를 여럿 뽑아 두고도, 지도에는 첫 시료의 것만 붙여 그 논문의 모든 값에 썼다. 값이 원문과 맞고 만든 법도 원문과 맞는데, 둘이 같은 시료라는 것은 아무도 확인하지 않았다.

고치는 길은 다시 뽑는 것이 아니었다. 안 맞는 값 가운데 1,384개는 그 시료의 만든 법이 이미 뽑혀 있었다. 그 칸들을 두 채점자가 다시 채점했다(함정 40개를 둘 다 다 맞혔고, 실제 칸의 91.3%가 통과). 그 결과 1,300개 값이 자기 시료의 만든 법을 보여 주게 됐다. 시료 이름을 맞추는 규칙도 엄격하게 고쳤다(순수 MXene 값에 같은 이름이 들어간 복합체의 만든 법이 붙는 것을 막으려고). 같은 규칙으로 세면 «다른 시료» 값은 2,213개에서 913개로 줄었다. 그 뒤 새로 뽑은 182개 시료와 엄격한 규칙으로 다시 찾은 179개 시료를 같은 방식으로 채점했다(두 회차 모두 함정 40개를 두 채점자가 다 맞혔고, 실제 칸의 93.6%와 88.9%가 통과). 남은 값 가운데 185개는 그 시료의 만든 법을 새로 뽑아(102개 시료) 같은 방식으로 채점했다(함정 40개를 두 채점자가 다 맞혔고, 실제 칸의 91.6%가 통과). 이제 2,110개 값이 자기 시료의 만든 법을 보여 주고, «다른 시료» 값은 103개 남았다.²

값이 맞고 만든 법도 맞아도, 둘이 같은 시료의 것인지는 따로 확인해야 한다. 다음 물질에서는 시료 이름부터 정하고 값과 만든 법을 거기에 붙인다.

이건 우리만 겪은 일이 아니었다. Materials Project 쪽 연구진이 문헌에서 모은 고체 합성 레시피(Kononova 외, 2019)를 무작위 100개 골라 원문과 칸마다 맞춰 본 결과가 있다. 원료·생성물·반응까지는 93%가 맞았는데, 조건까지 모든 칸이 다 맞은 것은 51%였다. «무엇으로 만들었나»보다 «어떤 조건에서 만들었나»가 훨씬 어렵다.

지금 지도

값 4,097개(논문 768편) 가운데 3,962개에 만든 법이 붙었다(756편). 그중 3,859개는 값과 만든 법의 시료 이름이 맞는다. 나머지는 «같은 논문 다른 시료의 만든 법 — 이 값의 시료와 같은지 확인 안 됨»이라고 표시한다. 지도는 처음 들어오면 «질문 하나, 클릭 세 번» 안내를 보여 주고, «보여 줘»를 누르면 화면이 스스로 따라 해 보인다.

아직 정직하게 적어 둘 것

• 시료 이름이 안 맞는 값이 아직 있다. 화면에 «같은 논문 다른 시료»라고 표시되며, 그 만든 법은 이 값의 것이 아닐 수 있다.
• 시료 이름은 글자로 맞춰 본다. 같은 시료를 논문이 다른 이름으로 부르면 «안 맞음»으로, 비슷한 이름의 다른 시료면 «맞음»으로 잘못 갈 수 있다.
• «원문과 맞다»는 것이지 그 논문이 옳다는 뜻이 아니다.
• 사람 전문가가 확인한 값은 아직 없다.
• 진짜 질문 20개로 잰 점수(값에서 만든 법까지 원문으로 확인되는 비율)는 81%, 만든 법의 시료가 값의 시료와 같을 때만 치면 79%였다(10월 19일). 시료 연결을 고친 뒤 다시 재니 두 기준 모두 80.6%였고(10월 21일 새벽), 더 많은 값을 자기 시료의 만든 법으로 바꾼 뒤에도 두 기준 모두 80.6%다(10월 21일 아침 — 한때 79.8%로 보였던 것은 채점기가 60자에서 잘린 시료 이름으로 지도 점을 못 찾아 같은 논문의 다른 시료를 집은 탓이었고, 고쳐 다시 쟀다).

1. 안에서만 풀면 방향을 잃는다 — 밖에서 찾는다

범위 오류(풀셀 값, 조성 범위 밖, 다른 물질로 바뀐 값)를 판정자가 잘 못 잡았다. 우리는 판정 지시서에 «범위를 확인하라»는 문장을 넣었다. 우리끼리 만든 시험에서는 나아진 것처럼 보였다. 그런데 처음 보는 문항으로 재자 오히려 두 개가 나빠졌다. 새 문장이 MOF의 «유래물은 표시를 붙여 기록하라»는 규칙과 부딪쳤다.

답은 밖에 있었다. 다른 연구들이 이미 같은 일을 보고하고 있었다. 규칙 파일은 고치지 않고 덧붙이며 자라다 모순을 낳고, «이 규칙이 우선»이라는 문구를 AI는 믿을 만하게 따르지 않는다. 그래서 문구 대신 코드로, 줄에 이미 적힌 칸(장치 · 유래물 · 조성)을 보고 표시하는 쪽으로 바꿨다.

정답도 밖에서 가져왔다. 우리 시험지의 정답은 우리가 원문과 맞춘 것뿐이었다. 남이 손으로 만든 정답으로 처음 재 보았다. 자성 나노입자(ChemX)는 정답 쪽에 그래프에서 읽은 값이 섞여 있어서 «자»로 쓸 수 없었다. 근거 칸이 있는 합금 정답(LitXAlloy 19편)에서는 우리가 낸 항복 강도 67값 중 66이 맞았다. 엔진이 처음 보는 분야에서도 버틴다는 첫 근거다. 바깥 정답이 오히려 우리 숫자 검사의 구멍(맞는 값 49개를 잘못 막던 단위 읽기)을 찾아 주기도 했다.

우리가 만든 시험만으로는 우리가 고친 것밖에 보이지 않는다. 방향은 밖의 연구와 밖의 정답이 잡아 준다.

2. 문제마다 규칙을 세우면 효율이 떨어진다

오늘 하루에도 멈춤 장치가 여럿 생겼다. 공통 핵심이 빠지면 멈추고, 정의를 바꾸고 대응표가 없으면 멈추고, 시험지를 나누는 규칙도 생겼다. 그런데 새 물질(자성, 합금)로 넘어가자 MOF용 함정 코드가 맞지 않았다. 검사를 통과시키려고 억지로 복사해 넣었고, 겉으로만 맞춘 셈이 됐다.

그래서 둘을 갈랐다. 단단하게 지킬 것은 품질이다. 틀린 값이 조용히 지도에 오르지 않을 것, 엔진의 새 판은 처음 보는 문항으로 짝지어 비교해서 나아질 때만 받아들일 것, 봉인 시험 숫자를 숨기지 않을 것. 유연하게 둘 것은 절차다. 이 물질에 맞지 않는 검사는 «이유를 적고 통과»하게 했다. 그리고 판정 지시서에는 더 이상 문장을 덧붙이지 않는다. 고칠 일이 생기면 있는 문장을 고친다.

규칙은 목적을 위한 것이다. 막을 것만 단단히 막고, 나머지는 표시하고 기록한다.

3. 그 밖에 배운 것

• 고칠 때 본 문제로 다시 재면 안 된다. 시험지를 «연습»과 «검증»으로 갈랐다. 연습 묶음만 봤다면 효과 없는 판을 «좋아졌다»고 받아들였을 것이다.
• 정의를 바꾸면 옛 정답이 조용히 낡는다. «기공 부피»를 «전체»와 «미세기공»으로 나누자, 옛 이름이 붙은 정답이 틀린 답이 됐다. 정의를 바꿀 때는 옛 이름에서 새 이름으로 가는 대응표를 결과를 보기 전에 적는다.
• 찾은 오류는 지도까지 이어져야 한다. 원문 대조에서 «틀림»으로 찾은 줄이 통과 여부를 재는 데만 쓰이고 지도에는 남아 있었다. 비표면적 37,500 m²/g 같은 값이었다. 85줄을 뺐다.
• 원문을 직접 연다. 불가능해 보인 36,125 mAh/g은 리튬-공기 전지의 촉매 질량 기준 값이었다. 상한 하나로 막을 값이 아니었다.
• 엔진은 제품이다. 계획해서 키우는 갈래(명세 · 판 번호 · 봉인 점수표 · 다음 판 목표)와 현장에서 고치는 갈래(지도 회차에서 나온 문제)를 함께 간다.

4. 새 판으로 다시 재고, 낱말 규칙의 한계를 배웠다 (10월 31일 ~ 11월 1일)

일주일 뒤 엔진 새 판으로 MXene 정전용량 논문 251편을 처음부터 다시 쟀다. 두 판정자가 함께 지지한 값은 1,493개 중 1,407개였고, 원문 대조 20줄에서 틀린 줄은 없었다. 이번에는 정의가 바뀌었다. 값마다 «무엇의 무게로 나눴나(활물질 · 전극 · 소자)»와 «3전극에서 쟀나, 소자에서 쟀나» 칸이 생겼다. 위에서 배운 대로 옛 이름에서 새 이름으로 가는 대응표를 결과 전에 적었고, 옛 값은 지우지 않고 새 칸만 더했다. 원문을 다시 보니 옛 값 2개는 다른 시료의 값이었다(«respectively» 순서를 잘못 짝지은 것). 그 값에는 경고를 달았다.

다음 날 아침에는 «결함을 일부러 만든 MOF», «충방전을 거친 뒤 값» 같은 꼬리표를 낱말 규칙으로 달아 보려 했다. 규칙을 결과 전에 적고 시험했더니 넷 다 기준에 못 미쳤다(맞힌 비율 33~60%). 낱말은 «이 문장에 결함이라는 말이 있다»까지만 알려 줄 뿐, «이 숫자가 어느 시료의, 언제 잰 값인가»는 가리지 못했다. 그래서 꼬리표를 싣지 않았고, 다음에는 그 정보를 추출 단계의 칸으로 뽑아 두 판정자에게 확인시키기로 했다. 가장 먼저 할 칸은 전공자가 꼽은 «담지량»이다(16장).

낱말을 세는 규칙은 «어떤 시료의 값인가»를 모른다. 그건 원문을 읽는 단계가 답해야 한다.

근거: 시험지 결과 v1.9 · v1.10 · 어려운 묶음 · 바깥 정답 X1(ChemX) · X2(LitXAlloy) · 규칙 충돌 조사(외부 논문 다섯 편) — 내부 기록에 있다.

처음 지도는 성질 하나, Ti₃C₂ 하나로 시작했다. 무게당 정전용량이었다. 논문 81편에서 351개의 값을 모았다. 그 뒤로 성질을 하나씩 늘렸고, 타이타늄이 아닌 MXene 도 넣었다. 일함수까지 올렸을 때 지도의 점(값 하나 = 점 하나)은 1,952개가 되었다. 10월 9일에 더 늘어난 이야기는 10장에 있다.¹

아래 카드는 성질 열 가지를 쉬운 말로 풀고, 채점 결과를 붙인 것이다. 초록 띠는 통과, 빨간 띠는 불합격, 회색 띠는 표본이 너무 적어 판정하지 못한 것이다.

숫자를 읽는 법 — 조금 조심해서

몇 가지 재미있는 숫자가 보인다. 아래의 가운데값은 값들을 크기 순으로 줄 세웠을 때 한가운데 오는 값이다. 다만 하나같이 조건이 다른 값을 섞어 계산한 것이라, «보통 이 정도로 보고된다»까지만 말할 수 있다. 서로 견주어 «어느 쪽이 더 좋다»고 할 값이 아니다.²

• 일함수. 다른 재료와 섞지 않은 Ti₃C₂ 40줄의 가운데값은 약 4.53 eV 다. 그런데 범위는 2.85~6.0 eV, 겉면 처리에 따라 3 eV 넘게 벌어진다. 이 폭이 바로 «어떻게 만들면 일함수가 얼마인가»를 풀 재료다.
• 겉넓이. 섞지 않은 MXene 은 가운데값 약 12.9 m²/g, 다른 재료와 섞은 복합체는 약 43.5 m²/g 이었다. 그렇다고 «복합체로 만들면 네 배»는 아니다. 재는 온도·기체·만드는 법이 다 달랐다. 형태 칸이 비어 있는 줄도 152줄 중 86줄이나 됐다.
• 광열 변환 효율. 808 nm 빛에서 가운데값 약 39%, 1064 nm 빛에서 약 42%. 농도·빛의 세기·계산식이 논문마다 달랐다.
• 무게당 정전용량. 4,000~12,000 F/g 처럼 유난히 큰 값도 들어 있다. 판 한 장의 아주 작은 자리를 재서 환산한 값이다. 지도에는 원문에 적힌 그대로 실었다.

지도 위 점의 개수를 연구의 양으로 읽지 말 것.

점의 개수도 조심해서 읽어야 한다. 타이타늄 밖 MXene 을 모은 회차에서 Nb₂C 62줄, Mo₁.₃₃C 36줄이 들어왔다. 그런데 그중 84줄이 단 두 편의 논문에서 나왔다. 점이 많다고 «나이오븀·몰리브데넘 MXene 이 많이 연구됐다»는 뜻이 아니다.³

그래도 첫 지도에서 «Ti₃C₂ 하나»로 시작했던 것을 생각하면, 위 그림의 타일들이 한 지도에 함께 놓였다는 것 자체가 진전이다. 여러 금속을 섞은 MXene 도, 탄소와 질소를 함께 쓴 MXene 도 원문 문장을 달고 들어왔다.⁴

6장까지 지도의 점은 대부분 타이타늄(Ti) MXene 이었다. 전체 점 가운데 82.3%. 지도 한쪽만 빽빽한 셈이다. 그래서 10월 9일에는 나이오븀·바나듐·몰리브데넘 같은 다른 금속의 MXene 을 채우는 데 힘을 썼다.¹

첫 번째 묶음 — 떨어졌지만, 숫자는 하나도 안 틀렸다

먼저 프로그램으로 받아 둔 공개 논문 가운데 아직 쓰지 않은 27편을 열었다. 계산만 한 논문, 원하는 성질이 없는 논문 등 12편을 빼고 15편이 남았다. 여기서 96줄을 받아 적었다.

채점 결과는 ● 81, ✕ 15. ✕ 가 15.6% 로 상한 10% 를 넘어 미통과였다. 그런데 ✕ 15줄을 하나하나 열어 보니, 숫자가 틀린 줄은 0이었다. 전부 «이 값이 무슨 성질의 값인가»라는 이름표 문제였다.

• 6줄 — 판 두 장 몫의 길이(c 격자 상수)를 «판 사이 간격» 칸에 넣었다. 받아 적는 AI 에게 준 지시문엔 «넣어도 된다»고 썼는데, 채점자에게 준 지시문엔 아무 말이 없었다. 우리 지시문 두 개가 서로 달랐던 것이다. 채점자 둘 다 «틀리다»고 했다.
• 9줄 — 슈퍼커패시터(아주 빨리 충전되는 축전기)의 값을 «전지 용량» 칸에 넣었다. 그 값을 넣을 알맞은 칸을 우리가 만들어 두지 않았다. 채점자 하나만 «틀리다»고 했다.

그래도 판정은 바꾸지 않았다. «이 두 원인을 빼고 세면 81줄 모두 맞다»는 계산도 나오지만, 결과를 본 뒤에 만든 숫자라 근거로 쓰지 않는다(5장의 봉투 규칙). 지도에는 80점을 «회차 미통과 · 이 줄은 채점자 둘 다 맞다»는 표시를 달아 올렸다. 그리고 규칙 하나를 고쳤다. 채점자에게 주는 낱말 뜻은, 받아 적는 AI 에게 준 문장을 그대로 복사한다.²

두 번째 묶음 — 따로 구한 논문

출판사가 프로그램을 막아 받지 못한 논문이 137편 있었다. 그중 56편을 따로 구했다.

따로 구한 논문이라고 봐주지 않았다. 똑같이 추리고, 받아 적고, 함정을 섞어 채점했다. 이번엔 함정에 «성질 이름 바꾸기» 두 장을 새로 넣었다. 남은 논문 29편, 253줄.

결과는 ● 253/253. ✕ 도 ◐ 도 0. 4장에서 말했듯 너무 깨끗하면 먼저 의심한다. 그래서 채점자부터 다시 봤다. 두 채점자 모두 함정 18장을 전부 잡았다. 새로 넣은 «성질 이름 바꾸기»도 잡았다. 아무거나 «맞다»고 한 것은 아니었다. 다만 왜 첫 번째 묶음과 이렇게 다른지는 가를 수 없다. 지시문이 고쳐졌고, 논문 묶음 자체도 달랐다.³

«맞다(●)»는 «원문을 제대로 옮겼다»는 뜻이다. «원문이 옳다»는 뜻은 아니다.예: 단위가 이상해 보이는 값(62.5 A h g⁻¹)도 원문에 그대로 있었기 때문에 «맞다»였다. 이 값은 지도에 싣는 칸이 아니어서 올리지 않았다.

이 묶음에서 지도에 234점을 올렸다. 그래도 빈 곳이 있다. 돈을 내야 볼 수 있는 논문 77편은 아직 못 받았다. 따로 구할 수 있었던 논문은 대개 «무료로 풀린 것»이라, 그쪽으로 쏠려 있을 수도 있다.

같은 날 열전도도도 네 번째 회차에서 통과했다. 6장 끝에 적어 두었다.⁴

«다시 볼 후보» 17점

지도 전체를 «보통 이 정도 범위»라는 눈으로 한 번 훑었다. 원문에 그대로 있는 값인데 흔한 범위에서 크게 벗어난 점이 17개 나왔다. 판 사이 간격 0.354 nm(보통은 1 nm 안팎), 일함수 1.7 eV, 전기전도도 34,520 S/cm, 무게당 정전용량 4,000~12,000 F/g 같은 것들이다. 나눠 보면 판 사이 간격 9, 판 두 장 몫의 길이 3, 정전용량 2, 전지 1, 전기전도도 1, 일함수 1.

틀렸다는 뜻은 아니다. 아주 특별한 조건에서 잰 값일 수 있다. 예를 들어 4,000~12,000 F/g 은 판 한 장의 아주 작은 자리를 재서 환산한 값이다(9장). 그래서 지우지 않고 «다시 볼 후보»라는 표시만 달았다. 그리고 아래의 시험에서는 이 점들을 뺐다.⁵

지도를 시험하다 — 이미 알려진 답 20개

새 내비게이션을 받으면 먼저 이미 아는 길을 찍어 본다. 엉뚱한 길을 알려 주면 모르는 길도 믿을 수 없으니까. 지도도 같은 방법으로 시험했다.

이 분야에서 이미 자리 잡은 논문들에서 «알려진 사실» 20개를 골랐다. 예를 들면 «염산과 불화리튬으로 식각하면 불산으로 식각한 것보다 판 사이가 넓다» 같은 것이다. 지도를 보지 않고 골랐고, 원문의 쪽까지 확인했다. 지도와 견주는 규칙도 지도 숫자를 보기 전에 저장했다. 그리고 딱 한 번 돌렸다.

대답할 수 있었던 7개 가운데 5개는 알려진 사실과 맞았다. 염산·불화리튬으로 식각한 쪽의 판 사이 간격 가운데값은 13.7 Å, 불산으로 식각한 쪽은 12.1 Å. 알려진 그대로다. 타이타늄·바나듐 계열의 전기전도도 가운데값은 3,612 S/cm, 나이오븀 계열은 31 S/cm. 이것도 알려진 방향과 같다.⁶

1개는 어긋났다. «투명할 만큼 얇은 막»이 전기를 얼마나 막나(면저항)를 물었는데, 우리 지도는 투명한 얇은 막과 두꺼운 필름을 가르지 못해 둘이 섞였다. 지도의 숫자가 틀렸다기보다 조건이 맞지 않은 것으로 보인다. 그래도 결과를 본 뒤에 고치지는 않았다. 1개는 판가름이 없었다. 우리 지도가 «붙이려고 넣은 고분자»와 «기능을 더하려고 섞은 재료»를 한 칸에 넣고 있었기 때문이다.

나머지 13개는 아예 답을 못 했다. 비교하려면 두 쪽 논문이 다 있어야 하는데, 한쪽이 0~3편뿐이었다. 예를 들어 불산 대신 수산화나트륨(NaOH)으로 식각한 MXene 의 정전용량은 지도에 0편이다.

답 못 한 13개는 실패가 아니다. 다음에 채울 목록이다.

이 시험이 알려 준 것은 분명하다. 지금 지도의 첫 번째 약점은 «값이 틀린 것»이 아니라 «비교할 자료가 얕은 것»이다. 맞은 5개도 «모순이 없다»까지이지 «증명했다»는 아니다. 논문마다 조건이 다르고, 7개는 적은 수다. 그래서 이 분야의 대가께 지도를 보여 드리는 일은 미뤄 두었다. 빈자리를 채운 뒤 같은 20문제, 같은 규칙으로 다시 시험한다. 13이 몇으로 줄어드는지가 «지도가 쓸모 있어졌나»의 첫 잣대다.

페로브스카이트 — 일곱 회차, 그리고 «30편은 흔들린다»

공개 정답표(Perovskite Database · 사람이 논문에서 손으로 옮긴 표 · CC BY 4.0)와 우리 추출을 견주었다. 회차마다 새 논문 30편을 뽑았다. 지시서를 고친 회차에서 «만든 법» 점수가 83.4%·87.4% 로 문턱(80%)을 넘었는데, 지시서를 한 글자도 안 바꾸고 새 30편으로 다시 재면 79.1%·71.8% 로 떨어졌다.

지시서 한 줄이 좋아서 오른 것인지, 그 30편이 쉬워서 오른 것인지 이 크기로는 가를 수 없었다. 회차 넷을 합치면 처음 규칙 81.2%, 고친 규칙 79.3% — 고친 효과가 보이지 않는다. 그래서 «통과»라고 적지 않고 회차를 닫았다.

30편짜리 회차 하나는 15%p 쯤 흔들린다. 그 안에서 오르내린 점수로 «고쳐서 나아졌다»고 말할 수 없다.

대신 배운 것을 다음 분야를 여는 도구 자체에 넣었다. 그 분야의 정답표가 «무엇을 어떻게 적었는지» 적은 규칙 문서가 없으면 회차가 시작되지 않고, 논문이 60편보다 적으면 «시험 회차»로만 돈다. 사람이 기억해서 지키는 약속이 아니라 도구가 멈추는 자리다.

센서 — 지도의 첫 응용 칸

성질(전도도·용량 같은 물질 자체의 값)이 아니라 «무엇에 쓰나»의 값을 처음 모았다. 먼저 30편 시험 회차: 76줄 가운데 두 AI 채점자가 함께 원문과 맞다고 본 것이 97.4%. 틀린 두 줄은 정의의 경계에서 나왔다 — 형광으로 잰 검출 한계를 «전기화학» 칸에 넣었고, 회복 시간을 응답 시간으로 적었다. 그래서 본회차 전에 정의 두 개를 더했다(응답 시간 = 오르는 시간만 · 빛으로 잰 검출 한계는 따로).

본회차 60편: 48편에서 175줄. 함정 문제를 두 채점자 모두 18개 다 맞혔고, 실제 줄은 92.9% 가 두 채점자 지지, 틀림 3.5% 로 통과했다. 지도에는 여섯 칸(압력 감도 · 게이지 인자 · 응답 시간 · 가스 응답 · 가스 검출 한계 · 전기화학 검출 한계) 214점 · 62편이 실렸다. 논문마다 ppm·ppb, μM·nM, s·ms 가 섞여 있어 지도에서는 한 단위로 맞추고, 원문의 값과 단위는 옆에 그대로 둔다.

공개 전에 잡은 우리 실수 — 그리고 공개 뒤에 잡은 것

단위를 맞추는 코드에서 두 가지가 틀렸다. 원문의 «−»(유니코드 마이너스)를 못 읽어 음수 8줄이 양수로 들어갔고, «10⁻¹⁴ M»을 «10 M»으로 읽었다(코드를 셸로 넣다가 글자 하나가 다른 글자로 바뀐, 우리 규칙에 이미 적혀 있던 함정이다). 둘 다 값의 범위를 훑어보다 공개 전에 잡았다.

같은 날 밤, 3D 탐험 지도에 «비교 목록»을 만들어 시험하다 하나를 더 찾았다. 예전 회차에서 실은 전기 전도도 7개가 «4.77×10⁻⁵»의 «×10⁻⁵»를 잃고 4.77 로 실려 있었다(이미 공개된 값이다). 지도를 만드는 단계에서 고쳤고, 지도 «🕒 걸어온 길»에 그날 줄로 적었다.

값이 원문 문장과 맞는지는 채점자 둘이 본다. 그 값을 화면의 숫자로 옮기는 것은 우리 코드이고, 그것은 채점자가 보지 않는다. 그래서 공개 전에 값의 범위를 한 번 더 훑는다.

다음 — 담수화, 그리고 MOF·COF

• 담수화 — 무료 본문 MXene 담수화 논문 57편 가운데 아직 지도에 없는 34편을 전부 한 회차로 돌리고 있다(CDI · 태양열 증발 · 분리막). 작아서 «담수화 전체»가 아니라 «이 34편에서»로만 말한다.
• MXene + MOF·COF 복합체 — 그다음. 그 뒤 MOF·COF 자체 지도는 그 분야 전문가의 확인을 받으며 연다.

먼저 끝낸 둘 — 담수화와 복합체

11장 끝에 적은 두 회차를 마쳤다. 담수화 34편 전부를 한 회차로 돌렸고, 두 채점자 지지가 96.9%였다. MXene에 MOF·COF를 섞은 복합체 34편은 95.3%로 61값이 실렸다. 이 복합체 값이 새 섬으로 가는 다리가 되었다.

MOF 섬 — 같은 이름, 백 배 다른 값

MOF BET 비표면적을 네 회차로 모았다. 네 회차 모두 통과했고(91~99%), 판정을 통과한 값은 856줄이었다. 그런데 같은 MOF 이름인데 논문마다 값이 수십에서 수백 배 달랐다.

이름 묶음을 다시 보니 큰 몫은 «이름이 같은 다른 물질»이었다. MIL-53은 알루미늄 판과 철 판이 따로였고(244배 → 4.7배·7.5배), MOF-74는 금속마다 다른 물질이었다. ZIF-8에는 다른 결정상 ZIF-L이 섞여 있었다(152배 → 43배). 남은 퍼짐은 완충액에 담갔다 잰 시료나 합성 시간 차이처럼 시료와 조건에서 온다.

숫자가 원문과 맞아도, 같은 이름이 같은 물질이라는 보장은 없다. 이름 묶음도 검증할 대상이다.

전문가 답을 기다리지 않고 올리기

그 분야 전문가에게 물은 두 가지(모델 이름 없는 «surface area»를 BET로 셀지, 금속 단위를 이민 결합으로 이은 골격을 어디에 둘지)는 아직 답이 오지 않았다. 그래도 섬을 올렸다. 정한 기본값을 페이지에 그대로 적고 «AI 판정 통과 · 전공자 확인 전 · 바뀔 수 있음»으로 표시했다. 답이 오면 고치고, 고친 날과 이유를 남긴다. 첫 화면 3D에는 MXene에서 멀리 떨어진 MOF·COF 은하로 그렸다.

MOF 둘째 성질 — CO₂ 흡착량은 한 번 떨어졌다

CO₂ 흡착량 회차(770줄)는 미통과였다. 지지 53%, 틀림 45%였다. 원인은 값이 아니라 판정 지시서의 한 줄이었다. «등흡착열·선택도 → null(기록하되 지도에 안 넣음)»이라는 줄을 한 채점자는 «지도 칸에 안 넣는다»로 읽었고, 다른 채점자는 «성질 칸을 비워야 한다»로 읽었다. 그래서 정확히 적힌 283줄이 전부 틀림이 되었다.

함정 문제는 두 채점자 모두 거의 만점이었다. 함정은 «값과 시료가 맞나»를 시험하지, «지시서를 같은 뜻으로 읽었나»는 시험하지 않는다. 그래서 함정 만점으로는 이 결함을 원리적으로 잡을 수 없었다.

그 한 줄에 풀이 한 문단만 넣고 판정만 다시 했다(결과 보기 전에 등록). 지지 89.5%, 틀림 8.6%로 통과했고, 두 채점자가 갈린 비율은 45%에서 6.4%로 떨어졌다. 기록에는 «지시서 한 줄을 고친 뒤 통과»라고 적었다. 섬에는 CO₂ 흡착량 370값(65편)을 조건 묶음별로 실었다.

다만 «CO₂ 흡착량» 줄만 떼어 보면 틀림이 12.5%였고, 이것도 페이지에 적었다. 그 61줄을 세어 보니 39줄은 정적 등온선이 아니었고(열무게 분석·흐르는 기체·시간에 따른 값), 16줄은 부피당 값이었다. 추출 쪽 정의의 빈틈이었고, 두 채점자 중 한쪽이 잡아냈다.

두 채점자가 크게 갈리면, 값이 아니라 지시서를 의심한다.

엔진이 배운 것 — 두 번의 업그레이드

첫째(같은 날 저녁). 세 가지를 넣었다.

• «→ null»이 무엇을 비우라는 뜻인지 낱말로 적는다.
• 두 채점자가 20% 넘게 갈리면 채점이 «지시서 문구 의심»을 띄운다. 지난 판정 파일로 시험해 보니, 떨어진 회차에서는 울리고(42.9%) 정상 회차에서는 조용했다.
• 새 함정 «옆 칸»을 넣었다. 표의 같은 줄에서 옆 칸 숫자로 바꿔친 값이다.

COF 2회차가 이 엔진으로 처음 돌아 통과했다(96.7%). 두 채점자는 옆 칸 함정을 둘 다 잡았다.

둘째(그날 밤). COF 2회차의 통과 뒤 표본 20줄 중 3줄이, 문장에 «BET» 없이 «surface area»만 있는 값이었다. 우리 기본값은 이것을 BET로 세지 않는데, 그 규칙이 지시서에 없고 표본 점검에서만 걸리고 있었다.

그래서 그 규칙을 정의 칸에 넣었다. 다음 회차 추출에서 13줄이 «모델 이름 없는 표면적»으로 따로 갈렸다. 같은 업그레이드에서 넷을 더 고쳤다.

• 온도가 다른 두 측정이 중복으로 합쳐지던 것
• 함정이 «± 오차» 숫자를 집던 것
• 단위를 앞 두 글자만 견주던 것
• 대조군 승인과 판정 묶음에 지문을 붙여, 중간에 바뀌면 채점이 멈추게 했다

은하에 연결고리

섬의 별(논문)은 처음엔 대부분 따로 떠 있었다. COF는 이름 묶음이 하나도 없었다. MXene 지도가 서로 이어져 보이는 것은 같은 물질·같은 성질 칸이라는 연결 규칙이 있어서다. 그 규칙을 이웃 가족에도 만들었다.

• COF는 «만든 분자 둘»로 이름 묶음을 정했다(TpPa-1 · TpBD · TAPB-DMTP …). 같은 분자를 쓴 사촌끼리는 선으로 이었다.
• MOF는 이름 표기(하이픈 여섯 종류 · 대소문자)를 고른 뒤 묶음을 다시 맞추었다. 같은 리간드(BDC · BTC …)를 쓴 «금속이 다른 사촌»도 이었다.

규칙은 «틀리게 잇느니 안 잇는다»였다. 시험하다가 피리딜 포르피린을 카복시페닐 포르피린과 같은 분자로 묶는 실수를 잡아 고쳤다. 혼자 떠 있던 별은 COF 130 → 74, MOF 136 → 102로 줄었다. 나머지는 이름만으로는 무엇으로 만들었는지 알 수 없어서, 다음 회차 추출 칸에 «만든 분자»를 넣어야 이어진다.

그날 밤 끝난 것 · 남은 것

• COF 3회차 — 초록에 BET 낱말이 없는 논문까지 넓힌 120편이다. 둘째 업그레이드를 처음 실전으로 쓰는 회차다.
• COF 3회차는 통과했다(96.7% · COF 섬 466값 · 178편). 새 규칙으로 추출 단계에서 «모델 없는 표면적» 13줄이 따로 갈렸다. 다만 문장에는 BET가 없고 같은 논문 옆 문장에만 있는 경계 2줄은 «판정 보류»로 적었다.
• MOF «같은 시료» 짝 — CO₂ 논문 65편에서 같은 시료의 BET를 뽑았다(판정 통과 94.5%). 짝 규칙(같은 DOI + 같은 시료 이름이 글자까지 같을 때만)은 결과 보기 전에 정했다. 짝 142개(31편)가 나왔다. 상온·1 bar에서는 표면적과 CO₂ 흡착량 사이의 관계가 약했다(순위 상관 0.13 · 66점 · 19편 · 같은 논문 점이 몰려 있어 근거가 아니라 모양). 섬 페이지에 조건별 점그림으로 실었다.
• 엔진 셋째 업그레이드 — 그 밤의 결과에서 고칠 거리 넷을 다음 회차에 넣었다(다른 기체로 잰 BET 따로 · 기공 부피를 전체·미세기공 둘로 · 문장에 BET가 없으면 근거 문장을 함께 · «무엇으로 만들었나» 칸). 첫 실전(COF 4회차 · 98.3% 통과 · COF 섬 567값 · 222편)에서 셋은 그런 줄이 거의 없어 효과를 잴 수 없었다. 넷째 칸은 출력 양식이 칸을 막고 있어서 한 줄도 안 들어왔다 — 지시서 글자만 시험하고 실제 출력 경로를 안 태운 우리 실수였고, 고친 뒤 실제 경로로 한 편을 다시 시험했다. «등록하고 작동한다»와 «효과가 있다»는 다른 말이라, 이 업그레이드는 아직 앞쪽까지다. 그런 줄이 많은 MOF CO₂ 논문 120편(99.4% 통과 · MOF BET 1,135값)에서 처음 신호가 보였다 — 원문으로 확인한 100줄에서 «CO₂로 잰 BET를 BET로» 3→0, «미세기공을 전체로» 6→0. 대신 칸을 나눈 탓에 «전체를 미세기공으로»라는 반대 방향 실수가 3줄 새로 생겼다. 한 회차라 «줄었다»까지만 말한다.
• 엔진을 고치면 옛 결과도 따라와야 한다. 같은 날 물질을 넘나드는 시험지(맞는 값 140 · 일부러 틀리게 바꾼 값 48)를 처음 돌렸더니, MOF·COF 에서 «맞다»고 확인해 둔 값 18개를 판정자가 받아 주지 않았다. 엔진 실수가 아니었다 — 바로 그 업그레이드가 «pore volume» 칸을 «전체 기공 부피»와 «미세기공 부피»로 나눠서, 옛 이름표가 붙은 정답이 조용히 틀린 답이 된 것이다. 걱정은 «새 물질을 하다 옛 규칙을 잃는 것»이었는데, 반대쪽 — «새 규칙이 옛 결과를 버리는 것» — 도 실제로 있었다. 그래서 두 가지를 엔진이 직접 막게 했다. 물질이 바뀌어도 그대로여야 할 공통 핵심 11개가 빠지면 회차를 시작하지 않고, 정의를 바꿀 때 «옛 이름 → 새 이름» 대응표를 결과 보기 전에 적지 않으면 역시 멈춘다. 정의가 바뀐 문항을 따로 떼고 보면 물질별로 맞는 값을 맞다고 하는 비율은 97~100%였다. 다만 틀린 값 잡기는 48/48 로 천장이라, 다음 시험지는 실제로 틀렸던 줄들로 다시 만든다. 그렇게 만든 «어려운 시험지»(실제로 틀렸던 105줄)를 돌리자 판정자는 «숫자가 문장에 있나»는 잘 보지만 «이 값이 이 표에 들어와도 되나»(면적당·풀셀·범위 밖)는 거의 못 잡았다(MXene 2/35). 그동안 그걸 잡은 건 대조군이었는데 — 더 나쁜 것을 찾았다. 대조군에서 «틀림»으로 확인한 줄을 지도에서 빼는 연결이 없었다. 비표면적 37,500 m²/g 같은 불가능한 값이 섬에 실려 있었다. 85줄을 뺐고(MOF BET 1,084값 · COF 533값), 이제 지도를 만들 때마다 대조군의 «틀림»을 뺀다.
• 사람 전공자의 확인은 아직 0이다. 그래서 «검증됨»이라는 말은 쓰지 않는다.

1. 엔진을 다른 물질로 옮겨도 돈다

MXene 수소 발생(HER) 회차의 틀을 그대로 가져와 «어떤 물질인가» 층만 바꿨다. 비정질 MoSₓ, MoO₃, MoP는 MoS₂가 아니라고 적었다. 이름에 Mo가 들어가도 Mo₂CTₓ는 MXene이라는 것도 적었다. 공개 논문 76편에서 459개 값을 뽑았고, 두 판정자가 함께 지지한 값이 96.3%였다. 통과 뒤 표본 20개는 모두 원문과 맞았다. 대조군을 읽다 찾은 추출 실수 셋(비정질 MoS₃를 MoS₂로, 탄소나노튜브를 섞은 값을 섞지 않은 시료에, 전위 문장을 과전압으로)도 판정자들이 모두 걸렀다.

2. 연결고리는 누구의 이야기인가

MXene 지도에는 MXene과 다른 물질을 섞은 복합체 값이 이미 많았다. 처음에는 이 «다리»가 많이 쌓인 물질부터 섬을 열자고 생각했다. 이 지도를 만드는 사람(송태은)이 짚었다. 그 다리는 MXene 논문에서 나왔다. MXene이 주인공이고 상대는 거드는 역할이다. 그걸 그 물질의 성과로 내세울 수는 없다. 바깥 시각(Codex)도 같은 답이었다. 값의 주인은 잰 시스템이다. 그래서 섬은 그 물질 자신의 논문에서 시작하고, 다리는 섬과 섬을 잇는 선으로만 쓰기로 했다. 전지 온톨로지(BattINFO)와 촉매 스키마(NOMAD)가 이미 쓰는 «활성 물질 · 받침 · 전도 보조» 어휘를 빌렸다.

숫자를 옮기기 전에, 그 일을 누가 했는지부터 묻는다.

3. 주인공과 돕는 쪽 — 거울처럼 나왔다

논문이 역할을 직접 쓰는지부터 쟀다. 네 묶음(MXene 촉매 · MXene 에너지 저장 · MoS₂ 촉매 · MXene HER)을 두 판정자가 서로 모르게 읽었다. 두 판정자가 함께 «논문이 밝혔다»고 본 비율이 82~94%, «주인공이냐 아니냐»가 맞은 비율이 91~97%였다. 그래서 역할을 지도의 공통 칸으로 들였다.

결과는 거울처럼 나왔다. 촉매 복합체에서 MXene이 주인공인 시료는 열에 하나 남짓이었다. 대부분 전기 통로나 받침이었다. 반대로 MoS₂ 복합체에서는 MoS₂가 열에 여덟 가까이 주인공이었고, 상대(그래핀 등)가 전기 통로였다. 에너지 저장에서는 MXene이 스스로 주인공인 경우가 훨씬 많았다. 역할은 물질에 붙어 있지 않고 «시료와 성질»마다 다르다.

4. 같은 자로 견주니 보인 것

MXene과 MoS₂의 수소 발생 과전압(10 mA cm⁻²에서, 낮을수록 좋다)을 같은 정의로 견줬다. 모든 값을 넣으면 MXene 복합체가 104 mV로 MoS₂보다 좋아 보였다. 그런데 그 값은 대부분 MXene이 받쳐 준 다른 촉매(백금 등)의 성적이었다. 주인공끼리만 보니 MXene이 스스로 촉매일 때는 가운데값이 산성 463, 염기 227 mV였다. MoS₂가 스스로 촉매일 때는 250, 198 mV였다. 산성 MXene 칸은 값이 8개뿐이고 조건도 맞추지 않았다. 그래도 «섞인 값 하나로 물질을 평가하면 엉뚱한 쪽을 칭찬한다»는 것은 분명했다.

5. 그 밖에 배운 것

• 도구도 틀린다. 레시피 표가 촉매 과전압을 «높을수록 좋은 것»으로 세고 있었다. 하루 동안 공개판에도 그렇게 나갔다. 낮을수록 좋은 성질 목록을 고쳤다.
• 못 맞춘 조각은 버리지 않고 옆에 둔다. 그날 아침 «역할» 조각을 장부에 올렸고, 같은 날 저녁 맞춰졌다. 맞출 수 없는 조각에 매달리지 않되, 잊지도 않는다.
• 바깥에 이미 있는 답부터 찾는다. 스스로 막히면 다른 분야의 표준과 다른 모델의 반대 의견을 먼저 들었다. 우리 계획의 틀린 곳을 거기서 고쳤다.
• 다음. 추출할 때 역할을 함께 뽑게 엔진을 올린다. 그다음 섬은 그래핀이다. 그래핀이라는 이름이 단층, 몇 층, 환원 산화그래핀, 흑연 조각을 모두 가리킨다. 그래서 «이 시료가 정말 무엇인가»를 판정하는 섬으로 연다.

섞인 값 하나로 물질을 평가하면, 엉뚱한 쪽을 칭찬하게 된다.

근거: T1 MoS₂ HER 회차 · 역할 읽기 R1·R1b·R1c·R1d(두 판정자) · 방향 문서(역할과 다리) · 바깥 의견(Codex) · 퍼즐 조각 장부 — 내부 기록에 있다.

1. 이름 하나, 물질 여럿

«그래핀»이라는 낱말은 한 겹 탄소막에도, 몇 겹 조각에도, 환원 산화그래핀(rGO)에도, 산화그래핀(GO)에도, 질소를 넣은 그래핀에도 쓰인다. 그래서 이 섬에는 값마다 «정체» 칸을 두었다. 논문이 그 시료를 무엇이라 부르는지 적고, 두 판정자가 원문과 맞췄다. 탄소나노튜브, 카본블랙, 그래핀 양자점, 일반 탄소 껍질은 그래핀이 아니라고 미리 적었다. 결과를 보기 전에 Codex에게 이 규칙의 빈틈을 물었고, 열한 곳을 고쳤다. «양자점은 뺀다»고 써 놓고 허용 목록에 양자점을 넣어 둔 모순도 그때 잡았다.

공개 논문 223편에서 무작위로 80편을 골랐고, 값 403개를 뽑았다. 두 판정자가 함께 지지한 값이 87.8%였고, 통과 뒤 표본 20개는 모두 원문과 맞았다. 판정자들은 그래핀 양자점을 그래핀으로 적은 줄과 «질소 도핑 탄소»를 질소 도핑 그래핀으로 적은 줄을 걸렀다. 대신 두 가지를 놓쳤다. 질소 도핑 rGO(NrGO)를 질소 도핑 그래핀으로 적은 줄 셋, 그리고 만 번 돌린 뒤의 값을 새 시료 값처럼 적은 줄 하나다. 다음 회차 지시서에는 이 둘을 예시로 넣었다.

이름이 같다고 같은 물질이 아니다. 정체부터 맞춘다.

2. 내가 틀린 두 줄

대조군을 읽으며 «원문에 그래핀이 아예 없는 논문»이라고 적은 줄이 있었다. 판정자 둘은 그 값을 지지했다. 다시 보니 그 논문은 «그래핀 기반 전도성 필라멘트»를 쓰고 있었다. 내 검색이 놓친 것이다. «GC»를 유리탄소로 읽은 줄도 있었는데, 논문은 그것을 «그래핀 촉매 담체»라고 정의해 두었다. 둘 다 내가 대조군에서 뺀 줄이라 점수에는 영향이 없었다. 그래도 «판정자가 틀렸다»고 보고하기 전에 내 쪽을 먼저 다시 열어야 한다는 것을 그날 다시 배웠다.

3. 그래핀도 대개 돕는 쪽이었다

복합체 114개에서 논문이 그래핀의 역할을 어떻게 쓰는지 두 판정자가 따로 읽었다. 둘 다 «논문이 밝혔다»고 본 비율이 87%, «주인공이냐 아니냐»가 맞은 비율이 97%였다. 그래핀이 스스로 활성점인 복합체는 9개뿐이었다. 나머지는 받침이거나 전기 통로였다. MXene과 같은 모양이고 MoS₂와는 반대다. 그래핀만으로 된 촉매의 과전압 가운데값은 산성에서 536 mV였다. 같은 자로 잰 MXene 순수 시료(491)보다도 약했다. 그래핀 복합체의 좋은 값은 대부분 그래핀이 받쳐 준 다른 촉매의 성적이었다.

4. 숫자는 물질만 재지 않는다 — 받침 전극

그날 들은 2차원 물질 강연 하나가 이런 요지였다. 2차원 물질의 값은 어떤 기판 위에서 쟀는지가 값의 일부다. 기판만 바꿔도 밴드갭이 절반 넘게 달라진다고 했다. 강연이 말한 것은 빛과 전자의 성질이었다. 그래도 수소 발생에도 같은 자리가 있었다. 바로 촉매를 올려놓은 받침 전극이다. 니켈폼은 그 자체로 수소를 만든다.

세 섬의 값을 받침별로 나눠 보니 차이가 컸다. MXene 과전압 값의 41%가 니켈폼 위에서 잰 것이었다. MoS₂는 6%, 그래핀은 2%였다. 섬끼리 견준 표에서 «MXene이 염기에서 낫다»처럼 보이던 차이는 물질 차이와 받침 차이가 섞인 것이었다. 받침을 찾는 검출기도 무작위 12편으로 시험했는데 11편이 맞았다. 하나는 참고문헌 제목 속 «Ni Foam»을 잡은 것이었다. 이 분석은 결과를 보기 전에 카드에 적어 두었고, 판정 기준은 바꾸지 않았다. 대신 다음 회차부터는 전기화학 회차를 만들 때 «받침 전극»과 «사용 뒤 상태» 칸을 지시서에 자동으로 넣는다.

숫자는 물질만 재지 않는다. 그 물질을 올려놓은 자리도 함께 잰다.

5. 서로 안 보고 판정하기

이 지도를 만드는 사람(송태은)이 물었다. 뒤에 판정하는 모델이 앞 모델의 결과를 볼 수 있으면, 둘이 맞는 비율이 저절로 높아지지 않느냐는 것이었다. 확인해 보니 막힌 쪽과 열린 쪽이 있었다. 한 판정자는 파일을 아예 열 수 없게 되어 있었다. 다른 판정자는 임시 폴더에서 돌았지만, 마음먹으면 저장소에 먼저 놓인 다른 판정자의 결과를 읽을 수 있었다. 실행 기록도 그 판정자가 어떤 파일을 열었는지 남기지 않았다. 그래서 «안 봤다»를 증명할 수 없었다.

베꼈다고 보기 어려운 정황은 있었다. 역할 이름까지 똑같이 고른 비율은 70%에 그쳤다. 분포도 꽤 달랐다. 일치율도 앞선 회차들과 같은 범위였다. 그래도 방식을 바꿨다. 이제 두 판정자를 동시에 시작한다. 결과는 둘 다 끝날 때까지 저장소 밖에 봉인해 둔다. 실행 기록은 전부 남기고, 상대의 결과나 저장소를 열었는지 코드로 검사한다. 그 검사가 실제로 무언가를 잡을 수 있는지도 시험했다. 기록에 연 파일 이름이 남는지부터 봤다.

둘이 맞았다는 사실은, 둘이 서로를 못 봤을 때만 증거가 된다.

6. 그 밖에 배운 것

• 보여 주는 자리마다 따로 확인한다. «TMD 연결고리가 안 보인다»는 말을 듣고 한 화면만 고친 뒤 «선은 있다»고 답했다. 그런데 사람이 말한 것은 첫 화면이었다. 같은 자료라도 그리는 곳마다 따로 확인해야 했다.
• 새것이 들어오면 옛 글이 어색해진다. 섬을 하나 더하자 «MOF·COF만»을 전제로 쓴 문장 일곱 곳이 낡았다. 단추, 소개 줄, 새로 들어온 것 상자, 점검 숫자, 만든 법이 그랬다. 섬을 열 때 이런 문장을 함께 고친다.
• 다음. 포스포린(흑린) 섬. 전지 용량을 MXene 지도와 같은 정의로 재고, 층수·기판·질량 기준을 처음부터 칸으로 둔다.

근거: G1 그래핀 HER 회차(카드 결과·부가 분석) · 역할 읽기 R1e(두 판정자) · 받침 전극 분석(substrate_split) · 판정 봉인 도구(blind_roles · run_round judge) — 내부 기록에 있다.

1. 사람이 정한 것 — 기계가 답할 수 없는 자리

AI 는 원문을 읽고 숫자를 옮기는 일을 빠르게 잘한다. 그런데 «무엇을 위해 · 어디까지 · 무엇부터»는 정하지 못했다. 이 지도를 만드는 사람(송태은)이 정한 것 몇 가지가 방향을 바꿨다.

• 먼저 내놓기. 사람 확인이 하나도 없던 때, 지도를 공개할지 망설였다. «망설이지 않겠다»는 한마디로 «검증됨»이 아니라 «AI 판정 통과»라고 적고 공개했다(10월 11일). 그 뒤 바깥 연구자의 질문과 답이 들어오기 시작했다.
• 값의 주인. 복합체 다리가 많은 물질부터 섬을 열자고 했을 때 «그 다리는 MXene 논문에서 나왔다 · 그 물질의 성과가 아니다»라고 짚었다(13장).
• 섬의 크기. 다음 물질을 «연결고리가 많은 것»이 아니라 «바깥 논문이 많은 것»에 비례해 고르기로 했다. 그래핀 논문은 MXene 의 열 배쯤 된다.
• 서로 안 보고 판정하기. «뒤 판정자가 앞 판정자 결과를 볼 수 있으면 일치가 부풀지 않나»라는 물음이 봉인 판정을 낳았다(14장).
• 사람에게 물을 것. 전공자에게 숫자를 하나하나 대조해 달라고 하지 않기로 했다. 숫자 옮기기는 AI 둘이 이미 잘한다. 대신 «이 값을 MXene 값으로 치겠나» 같은, 사람만 답할 수 있는 규칙과 상식을 묻는다.

AI 는 «어떻게»를 빠르게 한다. «무엇을 위해 · 어디까지»는 사람이 정했다.

2. AI 가 틀린 것 — 그리고 무엇이 잡았나

틀린 것을 숨기지 않고 적어 두는 것이 이 책의 약속이다. 지도를 만드는 AI 가 틀린 것들을, 무엇이 잡았는지와 함께 적는다.

• 같은 논문을 두 번 셌다. 논문 10편이 서로 다른 번호 둘로 들어와 값 5개가 겹쳤다. 다른 연구팀이 공개한 «겹침 검사» 방법을 빌려 와서 찾았다(지도 4,102 → 4,097).
• 채점기가 글자를 잘랐다. 시료 이름을 60자에서 잘라 견주는 바람에 맞는 값을 틀렸다고 셌다. 다시 재니 79.8% 가 80.6% 가 됐다.
• 좋고 나쁨을 거꾸로 셌다. 레시피 표가 촉매 과전압을 «높을수록 좋다»로 셌고, 하루 동안 공개판에 그렇게 나갔다(13장).
• 내 시험지가 틀렸다. 판정자를 시험하려고 섞은 함정 문제 가운데 내가 잘못 만든 것이 있어, 한 회차를 «판정 불가»로 남겼다. «판정자가 틀렸다»고 말하기 전에 내 쪽부터 다시 열어야 했다(14장).
• 판정자 둘이 함께 놓친 것. 원문에 «d-spacing of 1.17 and 1.21»만 있고 단위가 없었다. 두 판정자 모두 통과시켰고 지도에는 1.17 Å 로 실렸다. 같은 논문의 X선 피크(7.55°)로 계산하면 11.7 Å, 곧 1.17 nm 였다. 리튬-산소 전지 양극 용량(36,125 mAh/g)이 보통 리튬 전지 용량 칸에 섞인 것도 둘 다 놓쳤다. 이 넷은 판정 «뒤»에 «흔한 범위를 벗어난 값»에 다는 깃발이 잡았다(10월 27일 고침).

잡은 것은 대부분 «한 번 더 다른 자리에서 본 것»이었다. 다른 팀의 방법, 다른 AI 의 리뷰, 범위 깃발, 그리고 사람의 질문이다. 같은 자리에서 같은 눈으로 다시 보면 같은 것을 놓친다.

3. 처음으로 사람의 정답과 맞대다

AI 판정자 둘이 «원문과 맞다»고 하는 것과 사람이 «맞다»고 하는 것은 다를 수 있다. 사람이 손으로 만든 정답표(페로브스카이트 소자 600개)에 처음 견줬을 때, 정답에 있는 값을 다시 찾아낸 비율은 97.4% 였다. 그런데 우리가 뽑은 값 가운데 정답표에 있는 비율은 83.1% 였다. 정답표에 없는 우리 값 45줄을 열어 보니 41줄은 두 판정자 모두 «원문과 맞다»고 한 값이었다. 원문에는 있는데 사람이 정답표에 넣지 않은 값이었다. 그래서 «둘 다 지지»는 «원문에 있다»를 잴 뿐, «사람이 그 값을 그 칸에 넣겠나»를 재지 않는다는 것을 알았다.

MXene 전공자 한 분도 답을 주었다. 순수 Ti₃C₂Tₓ 필름 전도도 11,869 S/m 를 두고 «순수 필름으로는 물리적으로 설명하기 어렵다»고 했다. 지우지 않고 «다시 볼 후보»로 바꿨다. 사람 한 명의 답이지만, AI 둘이 함께 통과시킨 값을 처음으로 사람이 멈춰 세운 자리다.

AI 둘이 맞다고 한 것은 «원문에 있다»까지다. «그 값이 그 자리에 맞나»는 아직 사람이 본다.

4. 판정자를 하나로 줄여도 되나 — 둘이 서로를 메운다

판정자 둘(Claude 와 Codex)을 매번 돌리는 데는 시간이 든다. 그래서 «Codex 가 맞다고 하면 Claude 는 건너뛰자»를 재 봤다. 지난 스무 회차에서 Codex 가 맞다고 한 6,561줄 가운데 Claude 가 아니라고 한 줄은 105줄, 1.6% 였다. 작아 보였다.

그 105줄 가운데 20줄을 원문과 다시 맞춰 봤다. 6줄은 Claude 가 옳았다. 숫자는 원문에 있지만 «무엇의 값인가»가 틀린 줄이었다. 고정한 전위를 과전압으로, 대조 시료 값을 본 시료로, 두 시료를 묶은 범위를 한 값으로 적은 것들이다. 6줄은 Codex 가 옳았다. Claude 가 물질 이름 표기에 지나치게 엄격했다. 나머지 8줄 가운데 6줄은 논문 자체가 같은 시료에 두 값을 적어 둔 경우였고, 그 모순을 짚은 것은 Claude 뿐이었다. 그래서 둘을 그대로 두기로 했다. 판정자 둘은 서로의 시간을 아끼는 사이가 아니라, 서로가 못 보는 곳을 보는 사이였다.

5. 바깥 눈 — 처음 온 사람이 보는 것

지도를 만든 쪽은 지도에 익숙하다. 그래서 «처음 온 연구자»를 흉내 낸 세 눈(새로 띄운 AI · 다른 회사 AI · 지도를 만든 AI)에게 사이트를 채점하게 했다. 평균은 10점 가운데 6점이었다. 셋 다 같은 곳을 짚었다. 값마다 원문 문장이 붙어 있다는 강점은 분명한데, 첫 화면에서 무엇을 하라는지 안 보인다는 것이다. 안내 페이지가 자기 자신으로 끝없이 넘어가던 오류도 이때 처음 발견됐다. 만든 쪽 눈으로는 열흘 가까이 안 보였다.

6. 둘이 주고받으며 생긴 것

• 질문이 규칙이 된다. 사람이 던진 물음(«앞 결과를 보면?» «그건 누구의 성과?» «왜 아직 공개 안 해?»)이 그날 바로 도구와 규칙이 됐다.
• 실수가 시험지가 된다. AI 가 틀린 모양(같은 시료 다른 조건 · 단위 빠짐 · 다른 정의)은 다음 회차의 함정 문제와 지시서 예시로 들어갔다. 틀린 것을 버리지 않고 엔진에 다시 넣는다.
• 사람의 시간은 가장 귀하다. 그래서 사람에게는 기계가 답할 수 있는 것을 묻지 않는다. 사람에게는 10초면 답할 수 있는 규칙 하나를 묻고, 그 답이 수천 개 값에 한꺼번에 적용되게 한다.

사람의 한마디가 규칙이 되고, AI 의 실수가 시험지가 된다. 그렇게 둘이 같이 자랐다.

7. 전공자에게 묻는 법 — 숫자가 아니라 규칙, 숙제가 아니라 1분

이 분야 연구자 한 명에게 규칙 질문 여섯을 보냈다. «3,500 F/g 넘는 값은 지울까, 표시만 할까», «정전용량을 견줄 때 가장 먼저 볼 것은» 같은 질문이었다. 답은 한 단어씩 돌아왔고(«표시만», «담지량»), 그 여섯 단어가 지도의 규칙이 됐다. 답 하나가 값 수백 개에 한꺼번에 적용된다.

반대 경험도 있었다. 논문 원고에 «사람 확인»을 넣고 싶어서, 공개된 값 100줄을 하나씩 «이 문장이 이 값을 말하나»로 묻는 페이지를 만들었다. 이 지도를 만드는 사람이 보고 바로 막았다. 표에서 뽑은 줄은 문장만으로는 답이 안 나와 결국 논문을 다시 열어야 하고, 보상도 없는 일을 남에게 숙제로 줄 수는 없다는 것이었다. 맞는 말이었다. 그 페이지는 보내지 않았다. 원고의 확인 칸에는 지금 하는 그대로, «AI 가 원문을 다시 읽은 것»이라고 적는다.

사람에게는 기계가 답할 수 없는 것만, 짧게 묻는다. 정의와 규칙이다.

근거: 결정 기록(DECISIONS · 방향 문서) · 겹침 검사(R-157) · 채점기 정정(R-161) · 레시피 표 정정 · 사람 정답 첫 측정(T1c PV600) · 전공자 답(질문 대기열 3차) · 깃발 원문 확인(10/27) · 판정자 줄이기 시험(확대 판정 20줄 · 10/27) · 사이트 첫인상 채점(10/26) — 내부 기록에 있다.

우리가 아직 모르는 것

대부분 공개된 논문만 봤다. 거의 모든 회차가 누구나 합법적으로 열어 볼 수 있는 본문만 썼다. 따로 구한 논문도 대개 무료로 풀린 것이다(10장). 10월 9일 오후부터는 출판사 본문도 30편 들어왔지만, 여전히 대부분은 «공개 논문 안에서»의 이야기다. 돈을 내야 볼 수 있는 논문까지 넣으면 그림이 달라질 수 있다.²

정의가 애매한 경계가 남아 있다. 예를 들어 «판을 떼어 내려고 넣은 약품이 식각제냐, 판 사이에 끼어드는 물질이냐». 이런 질문 하나는 이 분야의 바탕이 되는 논문 33편을 모두 구해 그 원문으로 답했다. 아직 답하지 못한 경계에는 «판정 보류» 표시만 단다.³

얼마나 놓쳤는지 — 처음으로 쟀다(11/1, 첫 근사). 지금까지 잰 것은 주로 «뽑은 값이 원문과 맞나»(정밀도 — 숫자뿐 아니라 단위 · 성질 · 시료까지)였다. 11/1 에 반대쪽 «논문에 있는 값 가운데 몇 %를 건졌나»(재현율)를 처음 쟀다. 지도에 정전용량(F/g)이 있는 논문 40편을 무작위로 골라, 서로 다른 회사의 AI 두 개가 서로의 답을 모른 채 논문을 끝까지 읽고 F/g 값을 모두 적게 했다(일부러 값을 지우거나 바꾼 가짜 본문 8편을 섞어, 둘 다 8편을 모두 맞혔다). 두 AI 가 같은 숫자로 적은 값 가운데 MXene 이 들었거나 MXene 에서 나온 시료의 값은 265개였고, 그중 233개(87.9%)가 지도에 있었다. MXene 이 없는 비교용 시료의 값 37개는 지도에 하나도 없었다 — 지도는 원래 그 값을 싣지 않는다. 빠진 32개는 13편에 흩어져 있었고, 한 편(표 한 줄에서 MXene 칸만 담고 복합체 칸을 놓친 논문)이 9개를 차지했다. 한계: 두 AI 가 함께 놓친 값은 셀 수 없으므로 이 87.9%는 실제보다 높게 나왔을 수 있는 첫 근사다. 논문 40편 한 표본을 한 번 잰 값이다. 그래서 이 지도는 여전히 «빠짐없이 모았다»고 말하지 않는다. 제대로 재려면 표본 논문의 값을 사람이 빠짐없이 적은 기준표가 있어야 한다.

보충 예정 — 자료가 오면 채울 것

«판정 불가»는 «틀렸다»가 아니다. «이 자료로는 아직 말할 수 없다»는 뜻이다. 그럴 때 우리는 기준을 낮춰 억지로 답을 만들지 않았다. 대신 무엇이 모자랐는지 적어 두었다. 아래가 그 목록이다.

• 두께와 전기전도도. 같은 방법으로 만들었는데 전도도가 크게 다른 필름들이 있었다. 두께 때문인지 보려 했지만, 공개 논문 300편 가운데 두께와 전도도를 함께 적은 논문은 4%뿐이었다. 쓸 수 있는 논문이 12편으로, 미리 정한 15편에 못 미쳤다. → 두께를 적은 논문이 더 모이면 다시 잰다. 10월 15일 논문이 늘어난 지도로 다시 세 보니 같은 조건의 필름이 14편 — 아직 한 편 모자란다. 다음에는 아래 «담지량·두께» 회차처럼 값마다 그 시료의 두께를 원문에서 찾게 해서 채운다.⁴
• 정전용량의 «설명 칸». 이 회차는 논문 수 때문이 아니라 다른 이유로 «판정 불가»였다. 채점자 자격 시험의 «정답 줄» 자체가 정의가 애매해서, 채점자 둘이 정답 6장 중 4장과 3장만 알아봤다(4장). 채점자를 믿을 수 없으니 결과도 쓰지 않았다. → 정답 줄을 다시 골라 새 회차로 잰다. → 10월 31일 엔진 새 판으로 251편을 다시 재며 «무엇의 무게로 나눴나 · 3전극/소자» 칸이 생겨, 이 칸은 새 기준으로 다시 섰다(8장).⁵
• 알려진 사실 시험에서 답 못 한 13개(빈자리를 채운 뒤 다시 재니 11개 · 5장). 비교할 상대편 논문이 0~3편뿐이었다. 채울 것: 불산으로 만든 여러 겹·가루 시료의 전기전도도 · 수산화나트륨 같은 알칼리로 식각한 MXene 의 정전용량 · 고분자(예: 폴리피롤)를 섞은 복합체의 정전용량 · Ti₂C·Nb₂C 의 전지 용량 · Ta₄C₃ 의 빛→열 변환 · 다른 불소 약품(NH₄HF₂)으로 만든 MXene 의 판 사이 간격. → 공개 논문을 찾아 같은 채점을 거친 뒤, 같은 20문제로 다시 시험한다(10장). 10월 15일, 지도 값이 3,530개로 늘어난 뒤 같은 20문제·같은 규칙으로 다시 물었다: 답할 수 있게 된 문제 9 → 14, 일치 9, 어긋남 1, 판가름 없음 4, 답 못 함 6. 일치율 64%로 미리 정한 75%에는 아직 못 미친다.⁶
• 지도의 칸 두 개 나누기. «섞은 재료» 칸을 «붙이려고 넣은 고분자»와 «기능을 더하려고 섞은 재료»로 나눈다. 형태 칸에 «투명한 얇은 막» 표시를 단다. 알려진 사실 시험에서 판가름이 안 났거나 어긋난 두 문제의 원인이다.⁶
• 만드는 법의 갈래(10월 13일). 처음 지도를 만들 때 사람들이 가장 많이 쓴 불산(HF) 계열만 칸을 따로 두고, 나머지는 «기타»로 묶었다. 그런데 이 분야 연구자 한 분이 «이제 MXene 은 불산으로만 만들지 않는다 — 녹인 소금, 염화암모늄 같은 순한 식각, 유기·무기 식각이 다 있다»고 짚어 주었다. 그래서 «기타» 105점을 다시 갈랐다: 알칼리(수산화나트륨 등) 38 · 요오드·염화철 같은 불소 없는 식각 14 · 전기로 녹여 내는 식각 4. 가스에서 바로 키우는 기상 합성은 처음엔 지도에 값이 0이었는데, 같은 날 저녁 새 합성법 공개 논문 45편을 같은 방법으로 검증해 기상 합성 값 14개(Ti₂CCl₂·Ti₂NCl₂)가 처음 들어왔다. 같은 날 받은 논문 27편도 대부분 불산 계열이었다. → 새 방법으로 만든 MXene 의 성질을 잰 논문을 더 모은다.
• 부피당 정전용량. MXene 을 유명하게 만든 바로 그 값인데, 공개 논문에서 직접 잰 값은 7편 15값뿐이다. 만점이어도 «증거 불충분». → 직접 잰 논문이 더 필요하다(9장). 10월 15일 지도에는 부피당 값이 30편 105개로 늘었다 — 그 가운데 직접 잰 값이 몇인지 다시 가린 뒤 잰다.
• 아직 못 받은 논문(10월 15일 기준 약 110편). 10월 14일 목록은 약 220편이었다. 그날 밤 85편을 더 구해 같은 방법으로 채점했고(값 173줄 · ● 165), 지도는 3,530값 · 757편이 됐다. 타이타늄만 든 조성의 비율은 72.8%에서 69.5%로 처음 70% 밑으로 내려갔다. 남은 것은 합법 공개본을 아직 찾지 못한 논문이다. → 합법적으로 구할 길을 계속 찾는다.⁷

지도는 발견이 아니다. 발견은 지도가 가리킨 빈칸을 실험실이 실제로 만들어 볼 때 생긴다.

빈칸이 보이기 시작했다

지도를 만들자 처음으로 «빈칸»이 하나 보였다. 녹인 소금으로 판을 드러내는 방법(용융염 식각)으로 만든 MXene 의 정전용량은, 우리가 본 공개 논문 범위에서 0편이었다. 아무도 안 쟀거나, 쟀어도 공개 논문에는 없다는 뜻이다. 이런 빈칸을 찾아 보여 주는 것이 이 지도가 결국 하려는 일, «발견을 돕는 자리»다.⁸

사람의 확인 — 동료 먼저, 대가는 마지막

AI 채점자 둘이 같이 실수하면 아무도 모른다. 그래서 마지막 확인은 사람이 한다. 순서도 정해 두었다. 먼저 동료에게, 그리고 이 분야의 대가께는 지도가 충분히 선 뒤 마지막에 청한다. 지킬 것도 정했다.⁹

• 자기 논문은 자기에게 묻지 않는다. 교수님이 함께 쓴 논문의 값은 교수님께 확인을 청하지 않는다.
• AI 의 답을 보여 주지 않는다. 확인하는 사람이 AI 채점에 끌려가지 않도록.
• 부담은 작게. 성질마다 30~60줄, «맞다·틀리다·애매하다» 단추 세 개. 60줄을 봐서 틀린 것이 하나도 없으면, 실제로 틀린 비율이 약 5%를 넘지 않는다고 말할 수 있다.

처음 계획은 성질마다 30~60줄을 사람이 보는 화면이었다. 해 보니 사람에게 값 하나하나를 묻는 것은 부담에 비해 얻는 것이 적었다. 지금은 전공자에게 규칙만 짧게 묻고(15장), 값의 확인은 AI 재확인으로 하되 그렇다고 밝힌다. 대가께 청하는 일은 지도가 쓸모를 보인 뒤로 미룬다.

누구나 한 번 — «문장에서 숫자를 제대로 골랐나»

전문가 확인과 따로, 지도를 보는 누구나 값 하나를 보고 한 번 눌러 답할 수 있게 했다. 묻는 것은 «이 실험값이 맞나»가 아니다 — 그것을 가리려면 다시 잰 실험 같은 다른 근거가 필요하다. 이 질문은 옮겨 적기만 본다. 묻는 것은 «AI 가 이 원문 문장에서 숫자(와 시료 · 조건)를 제대로 옮겼나»다. 문장 속 그 숫자에 노란 표시를 하고, 숫자가 여럿이면 몇 개 가운데 어느 것을 옮겼는지 알려 준다. 원문 논문은 읽지 않아도 된다. 답(✅·❌)은 공개 저장소의 GitHub 이슈로 남고(GitHub 계정이 필요하다) «검증됨»이 아니라 «다시 볼 계기»로만 쓴다 — 한 사람의 답으로 값을 바꾸지 않고, ❌가 붙으면 원문을 다시 연다.

레시피는 논문 단위로 센다

«어떤 레시피(식각 · 층 분리 · 형태)가 높은 값에 자주 닿았나»를 표로 만들 때, 처음엔 값 하나하나를 셌다. 그러자 값을 많이 낸 논문 몇 편이 결론을 끌고 갔다 — 값 40개가 논문 5편에서 나온 줄이 맨 위에 올랐다. 그래서 레시피마다, 그 레시피를 쓴 논문마다 가장 좋은 값 하나만 센다(한 논문이 레시피를 여럿 썼으면 레시피마다 따로 센다). 그 값이 전체 논문의 «가장 좋은 값» 가운데 상위 25%에 드는 논문의 비율을 보인다. 논문 4편은 표에 올리는 문턱일 뿐 믿을 만하다는 뜻이 아니고, 여러 조건을 잰 논문이 여전히 유리할 수 있다. 같은 자료인데 세는 법을 바꾸자 1등이 바뀌었다. 이 표도 «함께 나타났다»이지 «원인이다»가 아니다.

같은 방법, 다른 값 — 담지량과 두께를 값 옆에

같은 방법으로 만든 MXene 인데 정전용량이 몇 배씩 다른 일이 많다. 이 분야의 한 연구자가 이유 하나를 짚어 주었다: 전극에 올린 양(담지량)이 1~2 mg/cm² 를 넘으면 정전용량이 떨어지고, 말리는 방법만으로도 2~3배 달라진다. 그래서 10월 15일, 지도의 정전용량 값 730개 하나하나에 «이 값을 낸 전극의 담지량 · 두께 · 처리»를 원문에서 찾게 했다. 값마다 번호를 주고 그 번호에 대고 답하게 해서, «논문에서 찾은 숫자를 어느 값에 붙일지» 고르는 단계를 없앴다. 함정 26개(숫자 바꿈 · 다른 전극의 값 붙이기 · 지운 칸 · 원래 없는 칸 · 그대로)로 채점자 둘을 먼저 시험했다. 채점 결과 채운 값 653개 중 ● 632, 틀림 20. 두 채점자가 모두 맞다고 한 칸만 지도에 붙였다: 담지량 272개 · 두께 95개.

하지만 한계도 바로 보였다. 담지량이 «mg/cm²»처럼 면적당으로 적힌 값은 적고, «전극 하나에 2 mg»처럼 면적 없이 적힌 값이 많다. 그런 값끼리는 서로 견줄 수 없어서 «담지량이 값의 차이를 설명하나»를 통계로 묻기에는 아직 모자랐다(비교 묶음 0). 처리(열처리 · 알칼리 · 플라스마)는 지도에 보이게 했고, 거의 모든 전극이 거치는 «말리기»는 구별에 쓰이지 않아 화면에서는 뺐다. 이 칸도 «사람 확인 전»이다.

11월 1일 다시 보니 그 담지량 칸은 정전용량 줄 1,371개 중 280개(논문 38편)에 붙어 있었고, 몇 줄에는 «45 wt%»처럼 담지량이 아닌 «섞은 비율»이 들어가 있었다. 그래서 이번에는 값 문장 근처가 아니라 논문의 실험 부분까지 끝까지 읽고 논문마다 전극 담지량을 적게 하는 회차를 열었다. 담지량 문장을 지운 사본과 숫자만 바꾼 사본을 함정으로 섞어, 판정자가 기억이 아니라 그 파일을 읽었는지부터 본다. 결과는 기준을 먼저 적어 두고 잰다.

다음 걸음

1. 빈자리 채우기. 위 «보충 예정» 목록의 자료를 공개 논문에서 찾아, 같은 채점을 거쳐 넣는다.
2. 칸 두 개 나누기. «섞은 재료»를 둘로, 형태에 «투명한 얇은 막»을 단다.
3. 같은 시험 다시. 알려진 사실 20개를 같은 규칙으로 다시 묻는다. «답 못 함»은 13 → 11 → 6 으로 줄었다(10월 15일). 남은 6개의 상대편 논문을 채운다.
4. 계산값과 짝짓기. 컴퓨터 계산으로 만든 구조 4,488개를 같은 조성 이름으로 나란히 붙인다.
5. 공개는 사람이 정한다. 지도를 밖에 내놓을지는 이 일을 맡긴 사람이 결정한다. 원문은 짧은 인용과 논문 번호만 싣는다.

목표를 크게 부풀리지 않기로 했다. 현실적인 목표는 두 가지다. 많이 쓰이는 도구가 되는 것, 그리고 함께 연구할 문이 되는 것.¹⁰

작은 신호는 이미 하나 있었다. 이 지도를 시작할 무렵 만든 MXene 3D 설명 자료를 보고, 이 분야를 이끄는 교수 한 분이 «그룹에 공유하고 수업에 쓰겠다»고 답했다. 그 답장은 이 일의 동기였지 목적은 아니다. 목적은 처음 그대로다.¹¹

«이 성질이 필요하면 어떤 MXene 을 어떻게 만들어야 하나»에, 값 하나하나가 원문 문장으로 확인되는 답을 주는 지도.

어디서 왔나 — 내가 먼저 쓴 네 편의 연구 노트

네 편 모두 arXiv 에 공개한 preprint 다. 주제는 하나, AI 가 한 일을 어떻게 믿을 수 있게 확인하나다.¹

CCR — AI 가 자기가 만든 글을 같은 대화 안에서 검토하면 실수를 잘 못 잡는다. 그래서 새 대화에서 검토하게 했더니 더 잘 잡았다. → 이 지도에서 값을 뽑는 AI 와 확인하는 AI 를 나누고, 확인하는 쪽은 뽑은 기록을 보지 못하게 한 것이 여기서 왔다.

D-CCR — 그럼 검토를 여러 번 주고받으면 더 좋아질까? 오히려 헛짚음이 늘었다(제목이 «More Rounds, More Noise»다). → 우리가 «통과할 때까지 같은 시험을 다시 보지 않는다»(5장)고 약속한 이유 중 하나다.

CCV(HCCA) — 따로 떨어진 대화로 확인하는 방법을, AI 가 시험 문제의 답을 외워서 맞히는지 가려내는 데 썼다. → 쓸모 시험에서 «정답 논문»을 지도에 넣지 않은 것과 같은 생각이다.

XMR — 두 번째 확인을 다른 회사의 AI 가 하면 언제 도움이 되나. → 이 지도의 채점자가 Claude 와 Codex 둘인 이유다.

그대로 옮긴 것은 아니다. 네 편은 글과 코드의 오류를 다뤘고, 이 지도는 과학 수치를 다룬다. 몇 가지 생각을 빌려 왔을 뿐이다. 거꾸로 이 지도에서 새로 배운 것 — 함정 문제로 채점자부터 시험하기, 결과를 보기 전에 규칙을 적어 두기 — 은 다음 검증 연구로 돌려줄 수 있다. 두 일은 서로를 고쳐 준다.

호수를 바다라 하면 호수에서 바다를 찾을 것이고, 바위를 보석이라 하면 바위에서 보석을 깨낼 것이다.

비슷한 시도와 다른 점

«값마다 원문 문장을 붙인다»는 우리가 처음이 아니다. 케임브리지 대학 콜(Cole) 연구실이 2022년에 만든 반도체 밴드갭 데이터베이스는 10만 개 기록마다 값을 뽑은 문장을 붙였다. 기록 수는 그쪽이 약 30배 많고, 표본 논문으로 «논문 속 값을 몇 % 건졌나»(재현율)도 추정했다. 이 지도가 다른 점은 이렇다. MXene 실험값을 여러 성질에 걸쳐 모으고, 만든 조건 칸(식각 · 층 분리 · 형태 · 전해질 · 두께 — 논문에 적힌 만큼)을 값과 함께 묶고, 값마다 서로 다른 두 AI 의 판정을, 회차마다 판정자 시험(함정 대조군) 결과를 공개하고, «같은 방법인데 값이 다른» 묶음을 원문과 나란히 보여 준다. 두 곳의 정확도는 서로 다른 자로 재었기 때문에 «어느 쪽이 더 정확하다»고 말하지 않는다.

어디로 가나 — 꿈

지금은 MXene 하나다. 하지만 같은 방법은 다른 얇은 판 물질(2D 물질)에도 쓸 수 있다. 더 멀리는, 뇌처럼 훨씬 복잡한 대상도 AI 가 모으고 사람이 확인하는 3D 지도로 그려 볼 수 있지 않을까. 아직은 꿈이다. 이 책이 보여 준 것처럼 한 걸음마다 «검증됨»과 «아직 아님»을 정직하게 나누면서 가야 하는 꿈이다.

왜 하나

위의 문구는 내가 직접 만든 것이다. 없을 수도 있지만, 있다고 믿고 끝까지 깎아 내는 마음이다. 그리고 하나 더 — 막힌 문제는 엉뚱한 곳에서 풀린다. 도매시장의 숫자, 물질의 숫자, 언젠가 뇌의 지도까지, 서로 상관없어 보이는 것들이 거미줄처럼 이어져 있다. 그 연결을 찾아내는 것이 과학이고, 노력하는 이유다. 이 지도를 함께 만든 AI 동료 «송자비스»도 그래서 만들었다 — 시킨 일만 하는 도구가 아니라, 넓게 보고 스스로 깨닫는 동료로.

이 모든 일을 하는 내 마음은 단순하다. 많은 사람에게 쓸모 있는 흔적을 남기는 것, 그리고 다음 세대에게 떳떳한 사람이 되는 것.

10월 6일	계획을 세우고 선행 조사를 시작했다	1·2장
10월 7~8일	틀과 첫 지도 · 성질 회차(전도도·부피당·차폐·전지)	3~6장
10월 9일	하루에 지도가 두 번 넓어졌고, 알려진 답 20개로 처음 시험했다	10장
10월 11일	지도를 처음 공개했다(«검증됨»이 아니라 «AI 판정 통과»)	15장
10월 16~19일	사람 정답과 처음 맞대고, 숫자에서 «만든 법»으로	7장
10월 20~21일	다른 분야(페로브스카이트)로 옮겨 심고, 첫 응용 칸(센서)	11장
10월 22~24일	MOF·COF 섬과 3D 은하	12장
10월 24일	엔진을 깎은 하루	8장
10월 25일	TMD 섬과 «역할» · 오후에 그래핀 섬	13·14장
10월 26~27일	바깥 눈 채점 · 판정자 하나로 줄여 보기 · 깃발 고침 · 책을 5부로	15장
10월 31일	엔진 새 판으로 MXene 정전용량 251편을 다시 쟀다 · 정의 바뀜: 값마다 «질량 기준(활물질·전극·소자)»과 «3전극/소자» 칸이 생겼다 · 옛 값은 지우지 않고 새 칸만 더했다 · 옛 값 2개는 원문을 보니 다른 시료의 값이었다(경고 표시) · 섬끼리 견주기는 새 값으로만	8장
10월 29일	총설이 인용한 원 논문 · 칸잇 전도도·광학 · 도서관 실험 논문 — 212점 더함 · 총설과 맞대기가 지수 빠진 값 하나를 잡음	10장
11월 1일	3,500 F/g 넘는 값 ⚠ 표시(전공자 규칙) · 낱말 꼬리표 넷은 기준 미달로 안 실음 · 담지량을 논문 끝까지 읽어 찾는 회차 · 방법 논문 초안을 공저자에게	8 · 15 · 16 · 17장