MXene 특집 · 2026년 10월

얇은 판 위에
그린 지도

수만 편의 논문에 흩어진 MXene 의 숫자들. 숫자마다 원래 문장을 붙이고, AI 채점자 둘에게 다시 확인시키고, 그 채점자까지 함정 문제로 시험해 한 장의 지도로 모은 이야기.

6.0534.21%1.41 nm 4.53 eV16.7
그림 0 · MXene 은 이렇게 아주 얇은 판이 겹겹이 쌓인 물질이다. 옆에 떠 있는 숫자들은 이 책에 실제로 나오는 값이다.

글·그림 MXene 지도 작업실 · 숫자는 모두 작업 기록에서 옮겼다 · English

이 책을 읽는 법

  1. 각 장은 큰 그림 한 장과 한 문장으로 시작한다. 그 한 문장만 읽고 넘어가도 줄거리는 따라온다.
  2. 어려운 낱말은 처음 나올 때 바로 옆에서 한 줄로 풀었다.
  3. 장 끝의 검은 상자 «한 장 요약»은 그 장을 세 줄로 줄인 것이다.
  4. 프로그램 이름·파일 이름·작업 번호 같은 것은 본문에 쓰지 않고, 장 맨 아래 작은 주석으로 보냈다. 출처를 따라가고 싶은 사람만 보면 된다.
  5. 숫자는 모두 실제 작업 기록에 적힌 것이다. 기록에 없는 숫자는 쓰지 않았다.
먼저 밝혀 둘 것. 이 지도는 아직 «검증됨»이 아니다. 값을 채점한 두 채점자가 둘 다 AI 이기 때문이다. AI 둘은 같은 종류의 실수를 함께 할 수 있다. 사람 전문가가 확인한 뒤에야 «검증됨»이라고 쓸 것이다. 이 이야기는 9장에서 다시 한다.

줄거리를 여섯 줄로

  1. 숫자에 원문 문장을 붙인다. 값 하나마다 «논문의 이 문장에서 왔다»를 함께 적는다.
  2. AI 채점자 둘이 원문을 다시 읽는다. Claude 와 Codex. 서로의 답은 보지 않는다.
  3. 채점자부터 시험한다. 숫자를 바꾸고, 이름을 바꾸고, 칸을 비우고, 성질 이름을 바꾼 «함정 답안»을 몰래 섞는다. 함정을 못 잡는 채점자는 믿지 않는다.
  4. 채점 기준은 결과를 보기 전에 정해 둔다. 시험 전에 정답 기준표를 봉투에 넣어 봉하는 것과 같다.
  5. 표시를 단다. ● 둘 다 맞다 · ◐ 논문엔 있는데 빈칸으로 둠 · ✕ 하나라도 틀리다 · ○ 그 밖.
  6. 그래도 아직 «검증됨»은 아니다. 사람 전문가가 볼 때까지는.

쉬운 말 사전

조성
어떤 원소가 어떤 비율로 들어 있나. 예: Ti₃C₂ 는 타이타늄 3, 탄소 2.
시료
실험에 실제로 쓴 물질 한 덩어리. 같은 조성이라도 만든 법이 다르면 다른 시료다.
원문
값이 처음 실린 논문의 문장 그대로.
채점자
원문을 다시 읽고 «이 값이 맞게 옮겨졌나»를 판정하는 AI.
함정 문제
채점자 몰래 일부러 고쳐 넣은 답안. 채점자를 시험하는 데 쓴다.
회차
성질 하나(또는 논문 묶음 하나)를 처음부터 끝까지 한 번 채점한 것.
가운데값
값들을 크기 순으로 줄 세웠을 때 한가운데 오는 값. 튀는 값에 덜 흔들린다.
nm · Å
길이 단위. 1 nm 는 10억분의 1 m, 1 Å 는 그 10분의 1.
eV
전자 하나를 다룰 때 쓰는 아주 작은 에너지 단위.
판 사이 ≈ 1 nm 머리카락 굵기의 10만분의 1쯤 금속 원자 탄소·질소 원자 겉에 붙은 끝 원자
그림 1-1 · MXene 판을 옆에서 본 모습(그림은 개념도다). 금속 원자 줄 사이에 탄소나 질소가 끼어 있고, 겉에는 끝 원자가 붙는다. 이런 판이 책장처럼 쌓인다.
1장

아주 얇은 판, MXene

책장처럼 겹겹이 쌓인 아주 얇은 판. 판과 판 사이 간격은 보통 1 nm 안팎, 머리카락 굵기의 10만분의 1쯤이다.

MXene(맥신)은 아주 얇은 판이다. 금속 원자 줄과 탄소(또는 질소) 원자 줄이 샌드위치처럼 번갈아 놓여 있다. 이런 판이 책장처럼 여러 장 쌓인다. 판 사이 간격은 X선을 쏘아 재는데, 보통 1 nm 안팎이다.

가장 많이 연구된 것은 타이타늄(Ti)과 탄소(C)로 된 Ti₃C₂Tₓ 다. 끝의 Tₓ 는 판 겉면에 붙은 원자들을 뜻한다. 겉면을 어떻게 처리하느냐에 따라 성질이 꽤 달라진다. 6장에서 보겠지만, 같은 Ti₃C₂ 라도 처리에 따라 어떤 값은 3 eV(전자 하나를 다룰 때 쓰는 아주 작은 에너지 단위) 넘게 벌어진다.

만드는 법은 대략 이렇다. 판이 되기 전의 단단한 결정(전구체)을 약품에 담가 한 층을 녹여 낸다(식각). 그러면 판이 드러나고, 그 판을 한 장씩 떼어 낸다(박리). 약품도 여러 가지다. 불산(HF), 불화리튬과 염산을 섞은 것, 녹인 소금 등.

종류는 얼마나 될까. 실험실에서 실제로 만든 금속–탄소 조합만 50가지가 넘는다. 원소를 섞은 것, 겉면이 다른 것까지 세면 100가지 가까이 된다. 컴퓨터 계산으로만 예측한 후보는 1,000가지가 넘는다.1

"MXene 은 물질이 아주 많다. 어느 성질에 어느 조성을 써야 하는지, 구조와 제조 방법을 구조적으로 정리할 수 있을까?"— 이 지도는 2026년 10월 6일, 이 질문 하나에서 시작했다.2

MXene 이 이름을 알린 것은 전기를 담는 힘, 곧 정전용량 덕분이었다. 정전용량은 축전기처럼 전기를 얼마나 모아 둘 수 있나를 뜻한다. 2013년 학술지 «Science», 2014년 «Nature» 에 실린 대표 성과가 모두 Ti₃C₂Tₓ 의 정전용량이었다. 특히 같은 부피에 얼마나 담나(부피당 값)가 핵심이었다.3

그 뒤로 연구는 사방으로 뻗었다. 전기가 얼마나 잘 흐르나, 전자파를 얼마나 막나, 빛을 받으면 얼마나 뜨거워지나, 열을 얼마나 잘 나르나. 이런 것을 성질이라 부른다. 성질 하나마다 논문이 쌓였다.

질문을 던진 사람은 한때 MXene 으로 논문을 썼던 연구자다. 다만 본인 말로는 «물질 자체를 연구한 게 아니라 구조를 만드는 데 썼다». 그래서 이 지도에 필요한 재료 지식은 작업하면서 하나씩 쌓아 왔다.4

질문은 단순했지만 답은 그렇지 않았다. 다음 장에서 그 이유를 본다.

한 장 요약

  • MXene 은 금속과 탄소(또는 질소)로 된 아주 얇은 판이 쌓인 물질이다. 판 사이는 1 nm 안팎.
  • 실험으로 만든 조합만 50가지가 넘고, 계산 후보는 1,000가지가 넘는다.
  • «어느 성질엔 어느 MXene 을 어떻게 만들어야 하나»라는 질문에서 이 지도가 시작됐다.
6.05 m²/g 34.21% 4.53 eV 1.15 nm 16.7 m²/g 37.15% ???
그림 2-1 · 논문 더미에서 숫자만 빠져나오면 «이게 어느 시료의, 어떤 조건의 값이었지?»를 잃는다. 그림 속 숫자는 모두 이 책에 나오는 실제 원문 값이다.
2장

수만 편 논문 속 흩어진 숫자

MXene 실험 논문은 4만 편이 넘는다. 2025년 한 해에만 8,929편이 나왔다. 사람이 다 읽을 수 있는 양이 아니다.

숫자는 논문 안에 흩어져 있다. 어떤 값은 본문 한가운데, 어떤 값은 그림 설명에, 어떤 값은 «각각»이라는 말로 여러 시료와 함께 한 문장에 묶여 있다. 원하는 값을 찾으려면 논문을 하나씩 열어야 한다.1

그래서 숫자만 모아 둔 데이터베이스(값을 표로 모아 둔 자료 창고)가 이미 몇 개 있다. 우리가 찾은 것 가운데 가장 비슷한 것은 논문 114편에서 573줄을 모은 공개 자료였다. 쓸모 있는 자료다. 하지만 들여다보니 아쉬운 점이 넷 있었다.2

  • 값의 91%가 Ti₃C₂ 하나에 몰려 있다.
  • AI 가 뽑은 값인데, 얼마나 정확한지 보고가 없다.
  • 값마다 «원문의 어느 문장에서 왔는지»가 없다.
  • 무엇보다, 틀린 값이 섞여 있었다.

마지막 것은 우리가 직접 원문을 펴서 확인했다. 그 데이터베이스의 값을 원래 논문과 한 줄씩 맞춰 보았다. 원문과 맞지 않는 값이 처음 15편에서는 17.9%, 범위를 넓힌 22편에서는 8.0% 나왔다. 조사한 논문 수(표본)가 작아서 어느 숫자도 확정은 아니다.3

기존 데이터베이스 값을 원문과 대조했더니 원문과 맞지 않은 값의 비율 (막대 끝 = 20%) 처음 15편 17.9% 잠정 — 오류가 몇 편에 몰려 있어 폭이 넓다 넓힌 22편 8.0% 판정 불가 — 표본이 작아 하나로 확정하지 못했다
그림 2-2 · 두 번 대조해 두 숫자가 나왔다. 어느 쪽도 «확정»은 아니다. 다만 «틀린 값이 섞여 있다»는 것만은 분명했다.

틀린 값은 흔히 같은 모양이었다. MXene 에 다른 재료를 섞어 만든 복합체(두 재료를 합친 것)의 값을, 순수한 MXene 의 값처럼 적어 둔 것이다. 숫자 자체는 원문에 있으니 얼핏 맞아 보인다. 하지만 «누구의 숫자인가»가 틀렸다.4

전기가 얼마나 잘 흐르나(전기전도도, 단위 S/cm — 클수록 잘 흐른다) 같은 대표 성질에서는 «24,000 S/cm» 같은 최고값이 조건 없이 돌아다닌다. 어떤 시료를 어떻게 만들어 어떻게 쟀는지가 떨어져 나간 숫자다. 근거가 붙은 지도가 가장 쓸모 있는 자리가 바로 여기다.5

값을 더 많이 모으는 경쟁이 아니다. 믿을 수 있는 값을 모으는 일이다.— 이 지도의 «우리 몫»을 정한 문장

원문을 구하는 일부터 쉽지 않았다. 우리는 처음부터 합법적인 길만 쓰기로 했다. 무단 복제 사이트에서 뽑은 값은 남에게 공개할 수도 없고, 남이 같은 원문으로 다시 확인할 수도 없기 때문이다.6

그런데 누구나 볼 수 있게 공개된 논문이라도, 출판사 누리집은 프로그램이 들어와 읽는 것을 막는 경우가 많았다. 처음 대조할 때 공개 논문 60편 가운데 본문을 프로그램으로 받은 것은 16편뿐이었다. 결국 공공 도서관 같은 논문 저장소가 프로그램으로 읽을 수 있는 합법 통로가 되었다. (프로그램이 막힌 논문을 사람이 손으로 받아 온 이야기는 7장에 나온다.)7

경쟁자만 있는 것은 아니었다. 컴퓨터 계산으로 만든 MXene 구조 4,488개를 모은 공개 자료도 있다. 이것은 경쟁 상대가 아니라 짝이다. 같은 조성 이름으로 «계산값» 칸을 나란히 붙일 수 있다.8

그래서 할 일이 정해졌다. 숫자를 모으되, 숫자마다 그 숫자가 적힌 문장을 붙인다. 그리고 그 짝이 맞는지 따로 채점한다.

한 장 요약

  • MXene 논문은 4만 편이 넘고, 숫자는 그 안에 흩어져 있다.
  • 이미 있는 데이터베이스를 원문과 대조하니 틀린 값이 섞여 있었다(17.9% · 8.0%, 둘 다 확정은 아님). 흔한 실수는 복합체 값을 순수 MXene 값으로 적은 것.
  • 그래서 목표는 «많이»가 아니라 «믿을 수 있게». 원문도 합법적인 길로만 구한다.
The specific surface area of few-layer Ti₃C₂Tₓ, spherical Ti₃C₂Tₓ and flaky Ti₃C₂Tₓ is 6.05 m² g⁻¹, 17.07 m² g⁻¹ and 17.81 m² g⁻¹, respectively. 6.05
그림 3-1 · 지도의 값 하나는 이런 원문 문장 하나와 짝을 이룬다. «respectively(각각)» 문장이라, 첫 번째 시료에는 첫 번째 숫자를 붙여야 한다.
3장

숫자에 원문 문장을 붙이다

숫자 하나마다, 그 숫자가 적힌 원래 문장을 꼭 붙여 둔다. 누구든 그 문장을 다시 읽고 확인할 수 있게.

이 지도의 한 줄은 숫자 하나가 아니다. 그 숫자가 어떤 MXene(조성)의, 어떤 시료의, 어떤 단위의 값인지, 그리고 원문의 어느 문장에서 왔는지를 한 묶음으로 적는다. 만든 방법과 잰 조건도 함께 적는다. 도서관 책에 붙은 청구기호처럼, 누구든 이 줄을 보고 원래 자리를 다시 찾아갈 수 있다.1

위 그림의 문장을 보자. 겉넓이(m²/g — 가루 1 g 을 쫙 펼쳤을 때 몇 제곱미터인가)를 적은 문장이다. 한 문장 안에 시료 셋, 숫자 셋이 있다. «respectively(각각)»라는 말이 붙어 있으니 순서대로 짝을 맞춰야 한다. 첫 번째 시료(few-layer Ti₃C₂Tₓ)는 6.05 m²/g 이다. 이런 짝짓기는 사람도 헷갈리고 AI 도 헷갈린다.2

지도의 «한 줄»은 이렇게 생겼다 조성Ti₃C₂ 시료 이름few-layer Ti₃C₂Tₓ 값6.05 단위m²/g 판정● 맞음 원문 문장 (그대로 옮김) "The specific surface area of few-layer Ti₃C₂Tₓ, spherical Ti₃C₂Tₓ and flaky Ti₃C₂Tₓ is 6.05 m² g⁻¹, 17.07 m² g⁻¹ and 17.81 m² g⁻¹, respectively."
그림 3-2 · 실제로 채점된 한 줄. 누르면 원문 문장이 나오고, 원문을 다시 열어 확인할 수 있다.

숫자가 맞아도 쓸 수 없는 줄이 있다. «16시간으로 늘렸더니 비표면적이 95.7 m²/g 이 되었다»는 문장에서 뽑은 줄이 그랬다. 값 95.7 은 원문 그대로였다. 그런데 시료 이름 칸이 비어 있었다. 이 숫자가 어느 시료의 것인지 알 수 없으니 지도에 올리지 않았다.3

숫자는 맞아도 «누구의 숫자인지»가 비면 쓸 수 없다.

한 성질을 지도에 올리는 여덟 걸음

성질이 바뀌어도 순서는 늘 같다.4

  1. 논문 목록부터 고정한다. 나중에 유리한 논문만 골라 넣지 못하게.
  2. 추린다. 그 값을 «자기가 직접 재서» 적은 논문만 남긴다. 계산만 한 논문, 남의 값을 옮겨 적은 논문은 뺀다.
  3. 받아 적는다. AI 가 논문을 읽고 조성·시료 이름·값·단위·원문 문장을 한 줄씩 뽑는다.
  4. 함정 문제를 만든다. 뽑은 줄 몇 개를 몰래 고친다(4장).
  5. 채점 기준을 먼저 저장한다. 무엇을 «맞다»로 볼지 채점 전에 적어서 저장해 둔다.
  6. 채점자 둘이 따로 채점한다. 각자 원문을 열어 «맞다·틀리다·모르겠다» 중 하나를 고른다.
  7. 표시를 단다. 둘 다 «맞다»면 ●, 하나라도 «틀리다»면 ✕, 그 밖은 ○. (5장에서 ◐ 가 하나 더 생긴다.)
  8. 합격을 가린다. ● 가 80% 이상이고 ✕ 가 10% 이하면 그 회차는 통과.

다섯 번째 걸음이 이 일의 등뼈다. 결과를 본 뒤에 기준을 정하면 기준이 결과 쪽으로 휜다. 재는 게 아니라 «맞추는» 게 된다. 시험을 보기 전에 정답 기준표를 봉투에 넣어 봉해 두는 것과 같다. 이것을 사전등록(미리 등록해 두기)이라고 부른다. 기준을 바꾸고 싶으면 새 회차를 열어 처음부터 다시 잰다.5

그렇게 하면 불편한 일도 생긴다. 결과를 보니 «이 칸만 빼면 훨씬 좋아 보이는데» 싶은 때가 온다. 5장에 그 이야기가 나온다. 그때도 우리는 결과를 보고 고른 숫자를 지도에 올리지 않았다.

한 장 요약

  • 지도의 한 줄 = 조성 · 시료 · 값 · 단위 · 원문 문장. 누구든 원문을 다시 열어 확인할 수 있다.
  • 숫자가 맞아도 «누구의 숫자인지»가 비면 올리지 않는다.
  • 채점 기준은 언제나 채점 전에 저장한다. 바꾸려면 새 회차로 다시 잰다.
맞다 ● 틀리다 ✕ 함정! 채점자 가채점자 나
그림 4-1 · 두 채점자는 서로의 답을 보지 않는다. 그리고 둘 다 모르게, 일부러 고친 «함정 문제»가 섞여 있다.
4장

채점자 둘과 함정 문제

채점자 둘, 그리고 그들 몰래 섞어 둔 함정 문제 열여덟 장. 함정을 못 잡는 채점자의 «맞다»는 믿지 않는다.

학교 시험 채점에 빗대 보자. 문제지는 논문 원문이다. 학생 답안은 AI 가 원문에서 뽑아 온 한 줄(«이 시료의 값은 이것»)이다. 채점 선생님은 둘이다. Claude 와 Codex, 서로 다른 회사가 만든 AI 둘이다. 둘은 서로의 채점을 보지 않는다.1

그런데 선생님이 대충 채점하면 어떻게 알까. 그래서 선생님을 믿기 전에 먼저 선생님을 시험한다. «채점자를 채점하는» 셈이다. 답안 더미에 함정 문제 열여덟 장을 몰래 섞는다. 열두 장은 일부러 틀리게 고친 답안이고, 여섯 장은 손대지 않은 정답이다. 선생님은 어느 것이 함정인지 모른다.

✕✕✕✕✕✕✕✕✕✕✕✕ ●●●●●● 고친 답안 12장 — 11장 이상 «틀리다»를 잡아야 정답 6장 — 5장 이상 «맞다»해야 둘 다 넘어야그 선생님의채점을 믿는다
그림 4-2 · 선생님 자격 시험. 고친 답안을 잡는 눈과, 멀쩡한 답안을 알아보는 눈을 함께 본다.

정답 여섯 장을 함께 넣는 까닭은 간단하다. 무엇을 보든 «틀렸다»고만 하는 선생님이라도 고친 답안 열두 장은 다 잡을 것이다. 멀쩡한 답안을 «맞다»고 알아보는지까지 봐야 그 선생님을 믿을 수 있다.

함정은 이렇게 생겼다

실제로 쓴 함정 몇 가지.2

  • 값 바꾸기. 원문에는 어느 시료의 겉넓이가 16.7 m²/g 이었다. 함정에는 61.79 로 적어 보냈다. 두 선생님 모두 «논문엔 16.7»이라며 잡았다.
  • 없는 시료 이름. 556.283 m²/g 이라는 값에, 논문에 없는 시료 이름(«그래핀과 함께 구운 복합체, 시료 B»)을 붙였다. 둘 다 «그런 시료는 논문에 없다»고 했다.
  • 다른 MXene 으로. 빛을 열로 바꾸는 효율 34.21% 의 주인은 나이오븀 MXene(Nb₂C) 입자였다. 이것을 Ti₃C₂ 로 바꿔 보냈다. 둘 다 «이 입자는 Nb₂C»라고 잡았다.
  • 단위 바꾸기. 1.15 nm 를 1.15 Å(10배 작은 단위)로 바꿨다. 둘 다 «nm 이지 Å 가 아니다»라고 했다.
  • 칸 비우기. 원문에 분명히 적힌 조건을 일부러 빈칸으로 보냈다. «틀렸다»가 아니라 «빠뜨렸다»를 알아보는지 시험한다(5장).
  • 성질 이름 바꾸기. 숫자와 시료는 그대로 두고 «무슨 성질의 값인지»만 바꿨다. 10월 9일에 새로 넣은 함정이다(7장).

함정 열여덟 장을 다 잡았다고 «채점자가 완벽하다»는 뜻은 아니다. 열여덟 장은 많지 않다. 채점자가 실제로는 열 번에 한두 번(약 17%까지) 실수하더라도 열여덟 장을 우연히 다 맞힐 수 있다. 그래서 우리는 «이 채점자를 믿어도 될 만큼은 시험했다»까지만 말한다.2

한 명이 놓친 것을 다른 한 명이 잡는다. 그래서 선생님이 둘이다.

두 선생님이 갈리는 때도 있다. 층과 층 사이 간격이 «약 1.41 nm 로 늘었다»는 문장에서 뽑은 줄을 두고, 한 선생님은 «맞다», 다른 선생님은 «틀리다 — 이건 다른 약품을 넣기 전 시료의 값»이라고 했다. 규칙은 하나라도 «틀리다»면 ✕ 다. 그 줄은 지도에 오르지 않았다.3

정답지가 애매하면 선생님도 떨어진다

한 번은 두 선생님이 자격 시험에서 떨어졌다. 고친 답안 열두 장은 둘 다 다 잡았다. 그런데 «멀쩡한 정답» 여섯 장 가운데 한 선생님은 넷, 다른 선생님은 셋만 «맞다»고 했다.4

들여다보니 문제는 선생님이 아니라 정답지 쪽이었다. 우리가 «정답»으로 고른 줄이 애초에 정의가 애매한 줄이었다. 그 뒤로는 채점 전에 정답 줄의 원문을 먼저 열어 본다. 표의 숫자만 덩그러니 있는 줄, 다른 액체 속에서 잰 값처럼 애매한 줄은 정답 후보에서 뺀다. 그렇게 고친 다음 회차에서는 두 선생님 모두 정답 여섯 장을 다 알아봤다. 다만 성질도 논문도 다른 한 번의 비교라, «이것 덕분»이라고 못 박지는 않는다.5

반대로 너무 깨끗해도 의심한다. 어느 회차는 두 선생님이 36줄 모두 «맞다», 함정도 전부 만점이었다. 기쁘기보다 «함정이 너무 쉬웠나»를 먼저 적어 두었다.6

한 장 요약

  • 서로 다른 AI 채점자 둘이 따로 채점하고, 하나라도 «틀리다»면 지도에 올리지 않는다.
  • 함정 18장(고친 12 · 정답 6)으로 채점자부터 시험한다. 11/12 와 5/6 을 넘어야 믿는다. 다 맞혀도 «완벽»은 아니다.
  • 정답지도 틀릴 수 있다. 그래서 채점 전에 정답 줄의 원문을 먼저 열어 본다.
답안지 1. 값550 2. 조성Ti₃C₂ 3. 방향(빈칸) 맞음 틀림 빠뜨림 — 논문엔 있는데 칸이 빔
그림 5-1 · 틀린 답(✕)과 빈칸으로 낸 답(◐)은 다르다. 이 구별이 생기기까지 열전도도 한 성질에서 세 번을 쟀고, 네 번째에 통과했다. (그림 속 답안은 설명용이다.)
5장

틀린 것과 빠뜨린 것

성질을 넓힐수록 이상한 모양이 반복됐다. 숫자는 대체로 맞는데, 숫자 옆의 «설명 칸»에서 자꾸 떨어졌다.

전기전도도, 전자파 차폐(전자파를 얼마나 막나), 전지, 층간거리. 성질이 바뀌어도 떨어지는 자리는 비슷했다. 숫자는 대체로 원문과 맞았다. 틀린 것은 그 숫자를 설명하는 칸이었다. 예를 들면 «밑에 깐 필름도 섞은 재료로 쳐야 하나», «시료가 젖은 상태인가 마른 상태인가» 같은 칸이다.1

층간거리: 떨어졌다가 다시 잰 이야기

층간거리는 MXene 판과 판 사이 간격이다. 처음 채점에서는 «시료가 젖었나, 말랐나»까지 맞혀야 «맞다»로 치게 했다. 그런데 논문들이 이 상태를 잘 적지 않았다. 결과는 ● 45%, 불합격이었다. ✕ 의 대부분이 바로 이 상태 칸에서 나왔다. 숫자 자체가 틀린 줄은 2.2%뿐이었다.2

결과를 보고 계산해 보니 «상태 칸만 빼면 78%»가 나왔다. 솔깃한 숫자다. 하지만 결과를 본 뒤에 고른 잣대다. 이 숫자는 지도에 쓰지 않았다.

대신 처음부터 다시 했다. «상태는 빼고 값·단위·조성·시료만 본다»는 기준을 채점 전에 새로 저장하고, 같은 줄을 두 선생님이 다시 채점했다. 결과는 ● 90%. 이번에는 통과였다. 지도에는 «상태는 확인 안 됨»이라는 표시를 달아 올렸다.3

층간거리 — 기준을 먼저 고쳐 저장하고 다시 쟀다 첫 회 (367줄) ● 166✕ 151○ 50 다시 잰 회차 (201줄) ● 181○ 18✕ 2 합격선 ● 80%
그림 5-2 · 같은 성질, 다른 기준. 두 번째 기준은 결과를 보기 전에 정해 저장했다. 다시 잰 201줄은 첫 회에서 ● 가 아니었던 줄들이다.

열전도도: 세 번 떨어지고, 네 번째에 통과했다

열전도도는 열을 얼마나 잘 나르나다. 기기의 열을 빼내는 데 쓰인다. 이 성질에서 우리는 가장 많이 배웠다.4

첫 번째. ● 66.7%, 불합격. 원인을 보니 숫자가 아니라 우리가 쓴 지시문이었다. 열이 흐르는 방향을 적는 칸에 «판과 나란히», «판을 가로질러» 두 낱말만 허락했다. 그런데 논문들은 «가로», «세로», «축 방향»처럼 다른 낱말로 적었다. 받아 적는 AI 는 칸을 비웠고, 채점자는 «논문엔 적혀 있는데 비웠다»며 ✕ 를 줬다. 단위를 깜빡해 550 mW 를 550 으로 적은 줄도 있었다. 우리 실수였다.

두 번째. 지시문만 고쳐 다시 저장하고, 같은 논문을 다시 받아 적었다. ● 81.2%로 합격선은 넘었다. 그러나 ✕ 가 18.8%로 상한 10%를 넘어 또 불합격. 이번 ✕ 열여섯은 전부 빈칸이었다. 틀린 숫자는 하나도 없었다.

세 번째. 채점 쪽에 새 표시를 만들었다. «틀림(✕)»과 «빠뜨림(◐ — 논문엔 있는데 칸이 비어 있음)»을 따로 센다. 함정에도 «정답이 있는데 일부러 비운 칸» 네 장을 넣었다. 두 선생님 모두 넷 다 «틀림»이 아니라 «빠뜨림»이라고 정확히 불렀다. 둘을 가를 수 있다는 것을 처음 확인한 순간이다.

열전도도 네 회차 — 세 번 떨어지고 네 번째에 통과 첫 회 (84줄) ● 56✕ 27 둘째 회 (85줄) ● 69✕ 16전부 빈칸 셋째 회 (85줄) ● 62◐ 22✕ 0 넷째 회 (85줄) ● 70◐ 12통과 · ✕ 1 ● 80% 선 합격 조건(셋째·넷째 회): ●+◐ 80% 이상 · ✕ 10% 이하 · ◐ 20% 이하 — 셋째 ◐ 26% 걸림 · 넷째 ◐ 14% 통과
그림 5-3 · 첫 회 원인은 지시문, 둘째 회 원인은 빈칸. 셋째 회에야 «숫자는 전부 맞고 받아 적기가 덜 꼼꼼했다»가 또렷이 보였다. 넷째 회는 받아 적기를 다시 해서 통과했다.

세 번째 결과는 이랬다. ● 62, ◐ 22, ✕ 0. 맞음과 빠뜨림을 합치면 98.8%. 틀린 숫자는 85줄 가운데 하나도 없었다. 그런데도 불합격이다. 빠뜨림이 26%로, 채점 전에 정해 둔 상한 20%를 넘었기 때문이다.

숫자는 85줄 전부 맞았다. 떨어진 이유는 하나, 받아 적기가 덜 꼼꼼했던 것이다.

이 상한은 일부러 박아 둔 안전장치였다. «빠뜨림»을 따로 세면 채점이 너그러워질 수 있다. 빈칸이 많아도 «틀린 건 아니잖아» 하고 넘어가기 쉽다. 그래서 «빈칸이 20%를 넘으면 받아 적기가 부실한 것»이라고 미리 정해 두었다. 그리고 그 장치가 실제로 걸렸다. 우리는 상한을 낮추지 않았다.5

고칠 곳은 채점이 아니라 받아 적기였다. «빈칸으로 두기 전에, 실험 방법을 적은 부분과 그림 설명에서 한 번 더 찾아볼 것.» 이 지시를 넣었다. 다만 끝난 회차의 점수를 고쳐 쓰지는 않았다. 새 회차를 열어 같은 35편을 처음부터 다시 받아 적었다.

네 번째. ● 70 · ◐ 12 · ○ 2 · ✕ 1, 모두 85줄. 맞음과 빠뜨림을 합치면 96.5%, 틀림 1.2%, 빠뜨림 14.1%. 이번에는 세 조건을 모두 넘어 통과했다. 채점자 둘도 함정을 모두 잡았다.5

하지만 «새 지시 덕분에 빠뜨림이 줄었다»고는 말하지 않는다. 이번에는 받아 적기도 새로 했고, 채점 지시문도 조금 바뀌었다. 무엇이 효과를 냈는지 가를 수 없다. 이 회차의 목적은 지도에 쓸 값을 더 단단하게 채우는 것이었다. 지도의 열전도도 점은 이 통과 회차의 82점으로 바꿔 실었다.

둘이 같이 빠뜨리면 아무도 모른다

전지 성질에서도 비슷한 일이 있었다. 받아 적는 AI 둘이 서로 독립적으로 같은 논문을 읽고 뽑는데, 둘이 함께 빈칸으로 둔 조건들이 있었다. 원문의 실험 방법 부분에 분명히 적혀 있는 조건이었다. 둘의 답이 «같다»는 것은 둘이 «같이 빠뜨렸다»는 것을 잡아내지 못한다. 그 빈칸은 원문과 대조하는 채점에서야 드러났다.6

그리고 통과할 때까지 계속 돌리지는 않는다. 같은 문제지를 세 번 넘게 고치지 않기로 정해 두었다. 될 때까지 고쳐 돌리면, 그건 재는 게 아니라 «맞추는» 것이 된다.7

한 장 요약

  • 성질을 넓힐수록 «숫자는 맞고, 숫자를 설명하는 칸이 틀린다»는 모양이 반복됐다.
  • 열전도도에서 «틀림»과 «빠뜨림»을 나눠 세자 진짜 문제가 보였다. 틀린 숫자 0, 빠뜨림 26% → 미리 정한 상한(20%)에 걸려 불합격.
  • 기준은 낮추지 않고 받아 적기를 새 회차로 다시 했다. 네 번째에 통과(● 70 · ◐ 12 · ✕ 1 / 85줄).
  • 결과를 보고 기준을 바꾸지 않는다. 바꿀 땐 채점 전에 새로 저장하고 다시 잰다.
Ti₃C₂가장 많이 Ti₂C Nb₂C V₂C V₄C₃ Mo₁.₃₃C Mo₂C Mo₂TiC₂ Ta₄C₃ W₁.₃₃C Ti₃C₂₋ₓNₓ탄소+질소 TiVNbMoC₃금속 넷을 섞음
그림 6-1 · 지도에 실제로 값이 들어온 MXene 조성들. 타이타늄(Ti) 말고도 나이오븀(Nb)·바나듐(V)·몰리브데넘(Mo)·탄탈럼(Ta)·텅스텐(W)이 들어왔다.
6장

지도에 무엇이 모였나 — 성질 열 가지

전기를 담는 힘부터 열을 나르는 힘까지. 열 가지 성질을, 값마다 원문 문장을 달아 모으고 채점했다.

처음 지도는 성질 하나, Ti₃C₂ 하나로 시작했다. 무게당 정전용량이었다. 논문 81편에서 351개의 값을 모았다. 그 뒤로 성질을 하나씩 늘렸고, 타이타늄이 아닌 MXene 도 넣었다. 일함수까지 올렸을 때 지도의 점(값 하나 = 점 하나)은 1,952개가 되었다. 10월 9일에 더 늘어난 이야기는 7장에 있다.1

아래 카드는 성질 열 가지를 쉬운 말로 풀고, 채점 결과를 붙인 것이다. 초록 띠는 통과, 빨간 띠는 불합격, 회색 띠는 표본이 너무 적어 판정하지 못한 것이다.

통과

무게당 정전용량

MXene 1 g 이 전기를 얼마나 담아 두나.

81편 · 351값 · 채점 ● 146/150

표본 적음

부피당 정전용량

같은 부피에 전기를 얼마나 담나. MXene 을 유명하게 만든 바로 그 값.

공개 84편 중 직접 잰 값은 7편 15값 · 채점 10/10 이지만 «증거 불충분»

미통과

전기전도도

전기가 얼마나 잘 흐르나.

84편 · 227값 · 채점 69% — 숫자보다 «필름이냐 무엇과 섞였나» 칸에서 갈림

미통과

전자파 차폐

전자파를 얼마나 막아 주나.

21편 · 63줄 · ● 56/63 · 틀린 숫자 0 — 받침 필름을 복합 재료로 볼지에서 7줄이 갈림

앞 단계 미통과

전지 음극 용량

리튬 전지에 전기를 얼마나 저장하나.

31편 · 채점 ● 207/241 · 다만 두 AI 의 받아 적기 일치가 기준에 못 미쳐 «앞 단계 미통과» 표시

통과(다시 잼)

층간거리

판과 판 사이 간격. 보통 1 nm 안팎.

다시 잰 회차 ● 181/201 · 지도 347점 · «상태는 확인 안 됨» 표시

통과

겉넓이(비표면적)

가루 1 g 을 쫙 펼치면 몇 제곱미터인가. 구멍·주름이 많을수록 크다.

175편 · ● 370/380

통과

광열 변환 효율

레이저 빛 에너지 가운데 몇 %가 열이 되나. 빛으로 데워 암세포를 죽이는 치료에 쓰인다.

46편 · ● 60/66

통과

일함수

겉에서 전자 하나를 떼어 내는 데 드는 에너지.

45편 · ● 79/90 · 계산만 한 값은 뺐다

통과(네 번째)

열전도도

열을 얼마나 잘 나르나. 기기의 열을 빼는 데 쓴다.

세 번 미통과 뒤 받아 적기를 다시 해 ● 70/85 · ◐ 12 · ✕ 1 · 지도 82점

성질별로 «둘 다 맞다(●)»가 나온 몫 초록 = 통과 · 빨강 = 불합격 · 회색 = 표본 적음 · 노랑 = 빠뜨림(◐) 무게당 정전용량146/150 겉넓이370/380 광열 변환 효율60/66 층간거리 (다시 잼)181/201 일함수79/90 전지 음극 용량207/241 전자파 차폐56/63 열전도도 (넷째 회)70/85 + ◐12 전기전도도69% 부피당 정전용량10/10 ● 80% 선
그림 6-2 · 막대가 80% 선을 넘었는데도 빨간 것이 있다. 합격은 «● 80% 이상»과 «✕ 10% 이하»를 둘 다 넘어야 하기 때문이다. 전자파 차폐는 ✕ 7줄에서 걸렸다. 열전도도는 셋째 회에 빠뜨림 상한에서 걸렸다가 넷째 회에 통과했다(막대 = 넷째 회). 부피당 정전용량은 10줄뿐이라 만점이어도 판정하지 않았다.

숫자를 읽는 법 — 조금 조심해서

몇 가지 재미있는 숫자가 보인다. 아래의 가운데값은 값들을 크기 순으로 줄 세웠을 때 한가운데 오는 값이다. 다만 하나같이 조건이 다른 값을 섞어 계산한 것이라, «보통 이 정도로 보고된다»까지만 말할 수 있다. 서로 견주어 «어느 쪽이 더 좋다»고 할 값이 아니다.2

  • 일함수. 다른 재료와 섞지 않은 Ti₃C₂ 40줄의 가운데값은 약 4.53 eV 다. 그런데 범위는 2.85~6.0 eV, 겉면 처리에 따라 3 eV 넘게 벌어진다. 이 폭이 바로 «어떻게 만들면 일함수가 얼마인가»를 풀 재료다.
  • 겉넓이. 섞지 않은 MXene 은 가운데값 약 12.9 m²/g, 다른 재료와 섞은 복합체는 약 43.5 m²/g 이었다. 그렇다고 «복합체로 만들면 네 배»는 아니다. 재는 온도·기체·만드는 법이 다 달랐다. 형태 칸이 비어 있는 줄도 152줄 중 86줄이나 됐다.
  • 광열 변환 효율. 808 nm 빛에서 가운데값 약 39%, 1064 nm 빛에서 약 42%. 농도·빛의 세기·계산식이 논문마다 달랐다.
  • 무게당 정전용량. 4,000~12,000 F/g 처럼 유난히 큰 값도 들어 있다. 판 한 장의 아주 작은 자리를 재서 환산한 값이다. 지도에는 원문에 적힌 그대로 실었다.
지도 위 점의 개수를 연구의 양으로 읽지 말 것.

점의 개수도 조심해서 읽어야 한다. 타이타늄 밖 MXene 을 모은 회차에서 Nb₂C 62줄, Mo₁.₃₃C 36줄이 들어왔다. 그런데 그중 84줄이 단 두 편의 논문에서 나왔다. 점이 많다고 «나이오븀·몰리브데넘 MXene 이 많이 연구됐다»는 뜻이 아니다.3

그래도 첫 지도에서 «Ti₃C₂ 하나»로 시작했던 것을 생각하면, 위 그림의 타일들이 한 지도에 함께 놓였다는 것 자체가 진전이다. 여러 금속을 섞은 MXene 도, 탄소와 질소를 함께 쓴 MXene 도 원문 문장을 달고 들어왔다.4

한 장 요약

  • 성질 열 가지를 모아 채점했다. 여섯은 통과(열전도도는 네 번째에), 셋은 미통과, 하나는 표본이 적어 판정하지 못했다.
  • Ti 말고도 Nb·V·Mo·Ta·W MXene 이 들어왔다.
  • 가운데값들은 조건이 섞인 값이다. 비교가 아니라 «원문으로 확인할 후보»로 읽는다.
프로그램이 받은 공개 논문 사람이 손으로 받은 논문 같은 채점자 둘 · 같은 함정 · 같은 기준 361 → 669 타이타늄이 아닌 MXene 의 점
그림 7-1 · 프로그램이 받은 논문도, 사람이 손으로 받아 온 논문도 똑같은 채점을 거친다. 그 하루에 타이타늄이 아닌 MXene 의 점이 361개에서 669개로 늘었다.
7장

10월 9일 — 지도가 넓어지고, 지도를 시험하다

하루 동안 지도는 두 번 넓어졌다. 그리고 처음으로 «이 지도가 이미 알려진 사실과 맞는 말을 하나»를 시험받았다.

6장까지 지도의 점은 대부분 타이타늄(Ti) MXene 이었다. 전체 점 가운데 82.3%. 지도 한쪽만 빽빽한 셈이다. 그래서 10월 9일에는 나이오븀·바나듐·몰리브데넘 같은 다른 금속의 MXene 을 채우는 데 힘을 썼다.1

첫 번째 묶음 — 떨어졌지만, 숫자는 하나도 안 틀렸다

먼저 프로그램으로 받아 둔 공개 논문 가운데 아직 쓰지 않은 27편을 열었다. 계산만 한 논문, 원하는 성질이 없는 논문 등 12편을 빼고 15편이 남았다. 여기서 96줄을 받아 적었다.

채점 결과는 ● 81, ✕ 15. ✕ 가 15.6% 로 상한 10% 를 넘어 미통과였다. 그런데 ✕ 15줄을 하나하나 열어 보니, 숫자가 틀린 줄은 0이었다. 전부 «이 값이 무슨 성질의 값인가»라는 이름표 문제였다.

  • 6줄 — 판 두 장 몫의 길이(c 격자 상수)를 «판 사이 간격» 칸에 넣었다. 받아 적는 AI 에게 준 지시문엔 «넣어도 된다»고 썼는데, 채점자에게 준 지시문엔 아무 말이 없었다. 우리 지시문 두 개가 서로 달랐던 것이다. 채점자 둘 다 «틀리다»고 했다.
  • 9줄 — 슈퍼커패시터(아주 빨리 충전되는 축전기)의 값을 «전지 용량» 칸에 넣었다. 그 값을 넣을 알맞은 칸을 우리가 만들어 두지 않았다. 채점자 하나만 «틀리다»고 했다.

그래도 판정은 바꾸지 않았다. «이 두 원인을 빼고 세면 81줄 모두 맞다»는 계산도 나오지만, 결과를 본 뒤에 만든 숫자라 근거로 쓰지 않는다(3장의 봉투 규칙). 지도에는 80점을 «회차 미통과 · 이 줄은 채점자 둘 다 맞다»는 표시를 달아 올렸다. 그리고 규칙 하나를 고쳤다. 채점자에게 주는 낱말 뜻은, 받아 적는 AI 에게 준 문장을 그대로 복사한다.2

두 번째 묶음 — 사람이 손으로 받아 온 논문

출판사가 프로그램을 막아 받지 못한 논문이 137편 있었다. 그중 정당하게 열 수 있는 논문을 사람이 하나씩 손으로 받았다. 겹친 것을 빼니 56편.

사람이 가져온 논문이라고 봐주지 않았다. 똑같이 추리고, 받아 적고, 함정을 섞어 채점했다. 이번엔 함정에 «성질 이름 바꾸기» 두 장을 새로 넣었다. 남은 논문 29편, 253줄.

결과는 ● 253/253. ✕ 도 ◐ 도 0. 4장에서 말했듯 너무 깨끗하면 먼저 의심한다. 그래서 채점자부터 다시 봤다. 두 채점자 모두 함정 18장을 전부 잡았다. 새로 넣은 «성질 이름 바꾸기»도 잡았다. 아무거나 «맞다»고 한 것은 아니었다. 다만 왜 첫 번째 묶음과 이렇게 다른지는 가를 수 없다. 지시문이 고쳐졌고, 논문 묶음 자체도 달랐다.3

«맞다(●)»는 «원문을 제대로 옮겼다»는 뜻이다. «원문이 옳다»는 뜻은 아니다.예: 단위가 이상해 보이는 값(62.5 A h g⁻¹)도 원문에 그대로 있었기 때문에 «맞다»였다. 이 값은 지도에 싣는 칸이 아니어서 올리지 않았다.

이 묶음에서 지도에 234점을 올렸다. 그래도 빈 곳이 있다. 돈을 내야 볼 수 있는 논문 77편은 아직 못 받았다. 사람 손으로 받을 수 있는 논문은 대개 «무료로 풀린 것»이라, 그쪽으로 쏠려 있을 수도 있다.

타이타늄이 아닌 MXene 의 점 — 하루 사이 아침 전 361타이타늄 몫 82.3% 첫 번째 묶음 뒤 441타이타늄 몫 79.2% 두 번째 묶음 뒤 66971.5% 타이타늄 몫 = 모든 성질의 점을 합친 것. 성질마다 다르다.
그림 7-2 · 점이 늘었다고 «그 MXene 이 많이 연구됐다»는 뜻은 아니다(6장). 다만 지도의 한쪽 쏠림은 조금 줄었다.

같은 날 열전도도도 네 번째 회차에서 통과했다. 5장 끝에 적어 두었다.4

«다시 볼 후보» 17점

지도 전체를 «보통 이 정도 범위»라는 눈으로 한 번 훑었다. 원문에 그대로 있는 값인데 흔한 범위에서 크게 벗어난 점이 17개 나왔다. 판 사이 간격 0.354 nm(보통은 1 nm 안팎), 일함수 1.7 eV, 전기전도도 34,520 S/cm, 무게당 정전용량 4,000~12,000 F/g 같은 것들이다. 나눠 보면 판 사이 간격 9, 판 두 장 몫의 길이 3, 정전용량 2, 전지 1, 전기전도도 1, 일함수 1.

틀렸다는 뜻은 아니다. 아주 특별한 조건에서 잰 값일 수 있다. 예를 들어 4,000~12,000 F/g 은 판 한 장의 아주 작은 자리를 재서 환산한 값이다(6장). 그래서 지우지 않고 «다시 볼 후보»라는 표시만 달았다. 그리고 아래의 시험에서는 이 점들을 뺐다.5

지도를 시험하다 — 이미 알려진 답 20개

새 내비게이션을 받으면 먼저 이미 아는 길을 찍어 본다. 엉뚱한 길을 알려 주면 모르는 길도 믿을 수 없으니까. 지도도 같은 방법으로 시험했다.

이 분야에서 이미 자리 잡은 논문들에서 «알려진 사실» 20개를 골랐다. 예를 들면 «염산과 불화리튬으로 식각하면 불산으로 식각한 것보다 판 사이가 넓다» 같은 것이다. 지도를 보지 않고 골랐고, 원문의 쪽까지 확인했다. 지도와 견주는 규칙도 지도 숫자를 보기 전에 저장했다. 그리고 딱 한 번 돌렸다.

알려진 사실 20개에 지도가 한 대답 일치 5 어긋남 1 판가름 없음 1 답 못 함 13 — 비교할 상대편 논문이 거의 없다
그림 7-3 · 지도가 대답할 수 있었던 것은 20개 가운데 7개. 미리 정한 기준(8개)에 못 미쳐 이 시험은 «판정 불가»로 닫았다.

대답할 수 있었던 7개 가운데 5개는 알려진 사실과 맞았다. 염산·불화리튬으로 식각한 쪽의 판 사이 간격 가운데값은 13.7 Å, 불산으로 식각한 쪽은 12.1 Å. 알려진 그대로다. 타이타늄·바나듐 계열의 전기전도도 가운데값은 3,612 S/cm, 나이오븀 계열은 31 S/cm. 이것도 알려진 방향과 같다.6

1개는 어긋났다. «투명할 만큼 얇은 막»이 전기를 얼마나 막나(면저항)를 물었는데, 우리 지도는 투명한 얇은 막과 두꺼운 필름을 가르지 못해 둘이 섞였다. 지도의 숫자가 틀렸다기보다 조건이 맞지 않은 것으로 보인다. 그래도 결과를 본 뒤에 고치지는 않았다. 1개는 판가름이 없었다. 우리 지도가 «붙이려고 넣은 고분자»와 «기능을 더하려고 섞은 재료»를 한 칸에 넣고 있었기 때문이다.

나머지 13개는 아예 답을 못 했다. 비교하려면 두 쪽 논문이 다 있어야 하는데, 한쪽이 0~3편뿐이었다. 예를 들어 불산 대신 수산화나트륨(NaOH)으로 식각한 MXene 의 정전용량은 지도에 0편이다.

답 못 한 13개는 실패가 아니다. 다음에 채울 목록이다.

이 시험이 알려 준 것은 분명하다. 지금 지도의 첫 번째 약점은 «값이 틀린 것»이 아니라 «비교할 자료가 얕은 것»이다. 맞은 5개도 «모순이 없다»까지이지 «증명했다»는 아니다. 논문마다 조건이 다르고, 7개는 적은 수다. 그래서 이 분야의 대가께 지도를 보여 드리는 일은 미뤄 두었다. 빈자리를 채운 뒤 같은 20문제, 같은 규칙으로 다시 시험한다. 13이 몇으로 줄어드는지가 «지도가 쓸모 있어졌나»의 첫 잣대다.

한 장 요약

  • 타이타늄이 아닌 MXene 점이 하루에 361 → 669 로 늘었다(타이타늄 몫 82.3% → 71.5%). 사람이 손으로 받은 논문도 똑같이 채점했다.
  • 첫 묶음은 미통과였지만 숫자 틀림은 0, 원인은 우리 지시문. 두 번째 묶음은 ● 253/253 — 너무 깨끗해서 채점자부터 다시 확인했다.
  • 알려진 사실 20개 시험: 답할 수 있던 7개 중 5개 일치, 13개는 자료가 없어 답 못 함. 실패가 아니라 다음에 채울 목록.
① 먼저 적어 봉인 ② 시험 ③ 실패하면 새 시험지
결과를 보기 전에 규칙을 먼저 적어 저장한다. 시험이 실패하면 같은 시험을 다시 보지 않고 새 시험지를 만든다.
8장

규칙을 고칠 때, 논문을 고를 때 — 우리가 지킨 약속

지도를 만들다 보면 규칙을 고치고 싶어지는 순간이 온다. 결과가 마음에 안 들 때다. 그때 고치면 지도는 우리가 원하는 답만 보여 주게 된다. 그래서 몇 가지 약속을 정했다.

논문은 이렇게 골랐다

누구나 열어 볼 수 있는 논문부터. 지도의 모든 숫자에는 원문 문장이 붙는다. 그 문장을 다른 사람도 직접 확인할 수 있어야 하므로, 처음에는 무료로 공개된 본문만 썼다.1

지도가 비어 있는 곳을 겨냥해서. 쓸모 시험(7장)이 «여기 자료가 없어서 답을 못 하겠다»고 알려 준 자리를 채울 논문을 골랐다. 예를 들어 «불산 없이 수산화나트륨으로 식각한 MXene 의 정전용량» 같은 자리다.

제목만 보고 고르면 빗나간다. 처음에는 제목과 요약의 낱말로 골랐다. 그랬더니 «알칼리로 식각한 논문»을 찾으려다 «식각은 불산으로 하고 알칼리로 씻은 논문»이 걸렸다. 낱말은 같은데 실험이 다르다. 그래서 요즘은 요약에 그 조건이 실제로 적혀 있는지까지 보고, 사람이 한 번 더 읽어 거른다.2

시험 문제의 «정답 논문»은 넣지 않는다. 쓸모 시험은 «알려진 사실» 20개를 지도가 다시 찾아내는지 보는 것이다. 그 사실을 처음 말한 논문을 지도에 넣으면, 지도는 정답지를 베껴서 맞히는 셈이 된다.

사람이 가져온 논문도 똑같이 채점한다. 사람이 브라우저로 받은 논문은 출판사 본문이 섞여 있다. 그래도 같은 방법으로 채점하고, 결과는 «어디서 왔는지» 갈래별로 따로 적는다. 자료를 버리지 않되, 섞어서 흐리지도 않는다.3

결과를 보기 전에 규칙을 먼저 적는다. 결과를 본 뒤 고친 규칙은 «탐색»이라고 이름표를 단다.

규칙은 이렇게 고쳤다

① 먼저 적고 저장한다. 시험을 돌리기 전에 «무엇을 셀지 · 몇 점이면 통과인지»를 파일로 적어 저장(커밋)한다. 그래야 나중에 «사실 이 기준이었다»고 말을 바꿀 수 없다.

② 실패하면 같은 시험을 다시 보지 않는다. 10월 9일, 사람이 받아 온 45편을 채점하던 중 채점자 하나가 함정 문제 둘을 놓쳤다. 이름 칸을 일부러 비워 둔 줄을 «맞다»고 한 것이다. 같은 시험지를 다시 돌리면 통과할 때까지 돌리는 꼴이 된다. 그래서 그 회차는 «판정 불가»로 남기고, 함정을 새로 뽑은 새 시험지로 다시 봤다. 이번엔 두 채점자 모두 함정 18개를 다 잡았고, 223줄 중 222줄이 통과했다.4

③ 결과를 보고 고친 규칙에는 이름표를 단다. 쓸모 시험에서 «Ti₂C 전지가 Ti₃C₂ 보다 용량이 크다»가 어긋났다. 들여다보니 우리 지도의 Ti₃C₂ 값에 실리콘처럼 용량이 큰 물질을 섞은 복합체가 많이 들어 있었다. 정답 논문은 순수한 MXene 끼리 비교했는데 말이다. 그래서 «섞은 물질이 없는 시료만 비교한다»로 규칙을 고쳤다. 다만 결과를 본 뒤 고친 것이라 «탐색»이라고 이름 붙이고, 지도가 쓸모 있다는 근거로는 쓰지 않는다.5

④ 좋아진 것과 나빠진 것을 나란히 적는다. 고친 규칙으로 다시 재 보니 Ti₂C 비교는 «일치»로 바뀌었다. 그런데 앞서 «일치»였던 «Nb₂C 가 Ti₂C 보다 크다»는 «답 못 함»이 됐다. 순수한 Nb₂C 자료가 1편뿐이었던 것이다. 그 «일치»는 복합체 값에 기대고 있었다. 좋아진 것만 적으면 지도가 실제보다 좋아 보인다. 그래서 둘 다 적었다.

⑤ 진짜 근거는 새 자료로. 고친 규칙을 이제 얼려 두고, 앞으로 새로 받을 논문으로 다시 시험한다. 그때 통과하면 그것이 «지도가 쓸모 있다»의 근거가 된다.

한 장 요약

  • 논문은 «누구나 확인할 수 있는 것 · 지도가 빈 곳 · 요약에 그 조건이 적힌 것» 순으로 골랐고, 시험 정답 논문은 넣지 않았다.
  • 규칙은 결과 보기 전에 적어 저장한다. 실패한 시험은 다시 보지 않고 새 시험지를 만든다.
  • 결과를 본 뒤 고친 규칙은 «탐색»이다. 좋아진 것(Ti₂C 비교)과 드러난 허점(Nb₂C 비교)을 함께 적었다.
빈칸 아직 아무도 재지 않은 곳 사람 전문가의 확인
그림 9-1 · 지도가 쓸모 있는 순간은 두 가지다. 아직 아무도 재지 않은 «빈칸»을 보여 줄 때, 그리고 사람 전문가의 확인을 거쳐 믿을 수 있게 될 때.
9장

아직 모르는 것 · 자료가 오면 채울 것

이 지도는 아직 «검증됨»이 아니다. 채점자 둘이 모두 AI 이기 때문이다. 그리고 «판정 불가»로 닫힌 질문들이 있다. 실패가 아니라, 자료가 오면 채울 자리다.

아직 «검증됨»이 아니다 — 채점자가 둘 다 AI 다. 서로 다른 회사의 AI 라도 같은 종류의 실수를 함께 할 수 있다. 그래서 지도에는 «사람 전문가 확인 전»이라고 표시한다. 동료와 전문가의 확인을 거친 뒤에야 «검증됨»이라고 쓸 것이다.1

우리가 아직 모르는 것

대부분 공개된 논문만 봤다. 거의 모든 회차가 누구나 합법적으로 열어 볼 수 있는 본문만 썼다. 사람이 손으로 받은 논문도 대개 무료로 풀린 것이다(7장). 10월 9일 오후부터는 사람이 브라우저로 받은 출판사 본문도 30편 들어왔지만, 여전히 대부분은 «공개 논문 안에서»의 이야기다. 돈을 내야 볼 수 있는 논문까지 넣으면 그림이 달라질 수 있다.2

정의가 애매한 경계가 남아 있다. 예를 들어 «판을 떼어 내려고 넣은 약품이 식각제냐, 판 사이에 끼어드는 물질이냐». 이런 질문 하나는 이 분야의 바탕이 되는 논문 33편을 모두 구해 그 원문으로 답했다. 아직 답하지 못한 경계에는 «판정 보류» 표시만 단다.3

보충 예정 — 자료가 오면 채울 것

«판정 불가»는 «틀렸다»가 아니다. «이 자료로는 아직 말할 수 없다»는 뜻이다. 그럴 때 우리는 기준을 낮춰 억지로 답을 만들지 않았다. 대신 무엇이 모자랐는지 적어 두었다. 아래가 그 목록이다.

  • 두께와 전기전도도. 같은 방법으로 만들었는데 전도도가 크게 다른 필름들이 있었다. 두께 때문인지 보려 했지만, 공개 논문 300편 가운데 두께와 전도도를 함께 적은 논문은 4%뿐이었다. 쓸 수 있는 논문이 12편으로, 미리 정한 15편에 못 미쳤다. → 두께를 적은 논문이 더 모이면 다시 잰다.4
  • 정전용량의 «설명 칸». 이 회차는 논문 수 때문이 아니라 다른 이유로 «판정 불가»였다. 채점자 자격 시험의 «정답 줄» 자체가 정의가 애매해서, 채점자 둘이 정답 6장 중 4장과 3장만 알아봤다(4장). 채점자를 믿을 수 없으니 결과도 쓰지 않았다. → 정답 줄을 다시 골라 새 회차로 잰다.5
  • 알려진 사실 시험에서 답 못 한 13개(빈자리를 채운 뒤 다시 재니 11개 · 8장). 비교할 상대편 논문이 0~3편뿐이었다. 채울 것: 불산으로 만든 여러 겹·가루 시료의 전기전도도 · 수산화나트륨 같은 알칼리로 식각한 MXene 의 정전용량 · 고분자(예: 폴리피롤)를 섞은 복합체의 정전용량 · Ti₂C·Nb₂C 의 전지 용량 · Ta₄C₃ 의 빛→열 변환 · 다른 불소 약품(NH₄HF₂)으로 만든 MXene 의 판 사이 간격. → 공개 논문을 찾아 같은 채점을 거친 뒤, 같은 20문제로 다시 시험한다(7장).6
  • 지도의 칸 두 개 나누기. «섞은 재료» 칸을 «붙이려고 넣은 고분자»와 «기능을 더하려고 섞은 재료»로 나눈다. 형태 칸에 «투명한 얇은 막» 표시를 단다. 알려진 사실 시험에서 판가름이 안 났거나 어긋난 두 문제의 원인이다.6
  • 만드는 법의 갈래(10월 13일). 처음 지도를 만들 때 사람들이 가장 많이 쓴 불산(HF) 계열만 칸을 따로 두고, 나머지는 «기타»로 묶었다. 그런데 이 분야 연구자 한 분이 «이제 MXene 은 불산으로만 만들지 않는다 — 녹인 소금, 염화암모늄 같은 순한 식각, 유기·무기 식각이 다 있다»고 짚어 주었다. 그래서 «기타» 105점을 다시 갈랐다: 알칼리(수산화나트륨 등) 38 · 요오드·염화철 같은 불소 없는 식각 14 · 전기로 녹여 내는 식각 4. 가스에서 바로 키우는 기상 합성은 처음엔 지도에 값이 0이었는데, 같은 날 저녁 새 합성법 공개 논문 45편을 같은 방법으로 검증해 기상 합성 값 14개(Ti₂CCl₂·Ti₂NCl₂)가 처음 들어왔다. 같은 날 받은 논문 27편도 대부분 불산 계열이었다. → 새 방법으로 만든 MXene 의 성질을 잰 논문을 더 모은다.
  • 부피당 정전용량. MXene 을 유명하게 만든 바로 그 값인데, 공개 논문에서 직접 잰 값은 7편 15값뿐이다. 만점이어도 «증거 불충분». → 직접 잰 논문이 더 필요하다(6장).
  • 아직 못 받은 논문 77편. 출판사가 막아 둔 논문이다. → 사람 손으로 구하는 길을 찾는다. 저자에게 직접 부탁하는 일은 밖으로 나가는 일이라, 일을 맡긴 사람이 결정한다.7
지도는 발견이 아니다. 발견은 지도가 가리킨 빈칸을 실험실이 실제로 만들어 볼 때 생긴다.

빈칸이 보이기 시작했다

지도를 만들자 처음으로 «빈칸»이 하나 보였다. 녹인 소금으로 판을 드러내는 방법(용융염 식각)으로 만든 MXene 의 정전용량은, 우리가 본 공개 논문 범위에서 0편이었다. 아무도 안 쟀거나, 쟀어도 공개 논문에는 없다는 뜻이다. 이런 빈칸을 찾아 보여 주는 것이 이 지도가 결국 하려는 일, «발견을 돕는 자리»다.8

사람의 확인 — 동료 먼저, 대가는 마지막

AI 채점자 둘이 같이 실수하면 아무도 모른다. 그래서 마지막 확인은 사람이 한다. 순서도 정해 두었다. 먼저 동료에게, 그리고 이 분야의 대가께는 지도가 충분히 선 뒤 마지막에 청한다. 지킬 것도 정했다.9

  • 자기 논문은 자기에게 묻지 않는다. 교수님이 함께 쓴 논문의 값은 교수님께 확인을 청하지 않는다.
  • AI 의 답을 보여 주지 않는다. 확인하는 사람이 AI 채점에 끌려가지 않도록.
  • 부담은 작게. 성질마다 30~60줄, «맞다·틀리다·애매하다» 단추 세 개. 60줄을 봐서 틀린 것이 하나도 없으면, 실제로 틀린 비율이 약 5%를 넘지 않는다고 말할 수 있다.

확인 화면은 이미 만들어 보관해 두었다. 다만 7장의 시험이 보여 주었듯 지금은 비교할 자료부터 채울 때다. 대가께 청하는 일은 그 뒤로 미룬다.

다음 걸음

  1. 빈자리 채우기. 위 «보충 예정» 목록의 자료를 공개 논문에서 찾아, 같은 채점을 거쳐 넣는다.
  2. 칸 두 개 나누기. «섞은 재료»를 둘로, 형태에 «투명한 얇은 막»을 단다.
  3. 같은 시험 다시. 알려진 사실 20개를 같은 규칙으로 다시 묻는다. «답 못 함 13»이 몇으로 주는지 본다.
  4. 계산값과 짝짓기. 컴퓨터 계산으로 만든 구조 4,488개를 같은 조성 이름으로 나란히 붙인다.
  5. 공개는 사람이 정한다. 지도를 밖에 내놓을지는 이 일을 맡긴 사람이 결정한다. 원문은 짧은 인용과 논문 번호만 싣는다.

목표를 크게 부풀리지 않기로 했다. 현실적인 목표는 두 가지다. 많이 쓰이는 도구가 되는 것, 그리고 함께 연구할 문이 되는 것.10

작은 신호는 이미 하나 있었다. 이 지도를 시작할 무렵 만든 MXene 3D 설명 자료를 보고, 이 분야를 이끄는 교수 한 분이 «그룹에 공유하고 수업에 쓰겠다»고 답했다. 그 답장은 이 일의 동기였지 목적은 아니다. 목적은 처음 그대로다.11

«이 성질이 필요하면 어떤 MXene 을 어떻게 만들어야 하나»에, 값 하나하나가 원문 문장으로 확인되는 답을 주는 지도.

한 장 요약

  • 아직 «검증됨»이 아니다. 채점자 둘이 모두 AI 다. 사람 확인(동료 먼저, 대가는 마지막)을 거쳐야 그 말을 쓴다.
  • «판정 불가»로 닫힌 것들(두께 · 정전용량 설명 칸 · 알려진 사실 13개 · 부피당 정전용량 · 못 받은 논문 77편)은 실패가 아니라 «보충 예정»이다.
  • 다음: 빈자리 채우기 → 칸 나누기 → 같은 시험 다시 → 계산값과 짝짓기. 공개는 사람이 정한다.
네 편의 연구 노트에서 배운 방법이 이 지도로 이어졌고, 같은 방법이 언젠가 다른 지도들로 퍼져 나가기를 바란다.
10장

이 지도는 어디서 왔고, 어디로 가나

이 지도의 검증 방법은 갑자기 생긴 것이 아니다. 내가 먼저 쓴 네 편의 연구 노트 위에 서 있다. 그리고 이 지도가 끝도 아니다.

어디서 왔나 — 내가 먼저 쓴 네 편의 연구 노트

네 편 모두 arXiv 에 공개한 preprint 다. 주제는 하나, AI 가 한 일을 어떻게 믿을 수 있게 확인하나다.1

CCR — AI 가 자기가 만든 글을 같은 대화 안에서 검토하면 실수를 잘 못 잡는다. 그래서 새 대화에서 검토하게 했더니 더 잘 잡았다. → 이 지도에서 값을 뽑는 AI 와 확인하는 AI 를 나누고, 확인하는 쪽은 뽑은 기록을 보지 못하게 한 것이 여기서 왔다.

D-CCR — 그럼 검토를 여러 번 주고받으면 더 좋아질까? 오히려 헛짚음이 늘었다(제목이 «More Rounds, More Noise»다). → 우리가 «통과할 때까지 같은 시험을 다시 보지 않는다»(8장)고 약속한 이유 중 하나다.

CCV(HCCA) — 따로 떨어진 대화로 확인하는 방법을, AI 가 시험 문제의 답을 외워서 맞히는지 가려내는 데 썼다. → 쓸모 시험에서 «정답 논문»을 지도에 넣지 않은 것과 같은 생각이다.

XMR — 두 번째 확인을 다른 회사의 AI 가 하면 언제 도움이 되나. → 이 지도의 채점자가 Claude 와 Codex 둘인 이유다.

그대로 옮긴 것은 아니다. 네 편은 글과 코드의 오류를 다뤘고, 이 지도는 과학 수치를 다룬다. 몇 가지 생각을 빌려 왔을 뿐이다. 거꾸로 이 지도에서 새로 배운 것 — 함정 문제로 채점자부터 시험하기, 결과를 보기 전에 규칙을 적어 두기 — 은 다음 검증 연구로 돌려줄 수 있다. 두 일은 서로를 고쳐 준다.

호수를 바다라 하면 호수에서 바다를 찾을 것이고, 바위를 보석이라 하면 바위에서 보석을 깨낼 것이다.

어디로 가나 — 꿈

지금은 MXene 하나다. 하지만 같은 방법은 다른 얇은 판 물질(2D 물질)에도 쓸 수 있다. 더 멀리는, 뇌처럼 훨씬 복잡한 대상도 AI 가 모으고 사람이 확인하는 3D 지도로 그려 볼 수 있지 않을까. 아직은 꿈이다. 이 책이 보여 준 것처럼 한 걸음마다 «검증됨»과 «아직 아님»을 정직하게 나누면서 가야 하는 꿈이다.

왜 하나

위의 문구는 내가 직접 만든 것이다. 없을 수도 있지만, 있다고 믿고 끝까지 깎아 내는 마음이다. 그리고 하나 더 — 막힌 문제는 엉뚱한 곳에서 풀린다. 도매시장의 숫자, 물질의 숫자, 언젠가 뇌의 지도까지, 서로 상관없어 보이는 것들이 거미줄처럼 이어져 있다. 그 연결을 찾아내는 것이 과학이고, 노력하는 이유다. 이 지도를 함께 만든 AI 동료 «송자비스»도 그래서 만들었다 — 시킨 일만 하는 도구가 아니라, 넓게 보고 스스로 깨닫는 동료로.

이 모든 일을 하는 내 마음은 단순하다. 많은 사람에게 쓸모 있는 흔적을 남기는 것, 그리고 다음 세대에게 떳떳한 사람이 되는 것.

한 장 요약

  • 이 지도의 검증 방법은 내가 먼저 쓴 네 편의 preprint(CCR · D-CCR · CCV · XMR)에서 빌려 왔고, 지도에서 배운 것은 다시 검증 연구로 돌려줄 수 있다.
  • 꿈: 같은 방법으로 다른 2D 물질, 언젠가는 뇌 같은 대상의 3D 지도를 — 한 걸음마다 «검증됨»과 «아직 아님»을 나누면서.
  • 이유: 호수에서 바다를 찾는 마음, 거미줄처럼 이어진 연결을 찾는 일, 많은 사람에게 쓸모 있는 흔적.

만든 사람: 송태은 · manus.mn