데이터 센터의 야간 비상등
데이터 센터 엔지니어가 냉방 시스템이 생성형 AI 훈련 부하를 따라가기 어렵다는 것을 깨닫는다. 온도가 올라가고 장비가 고장 나면서 끝없는 성장이 정말 지속 가능한지 의문을 품는다.
새벽 두 시, 서울 외곽의 데이터 센터 B동.
이한솔은 모니터 배열 앞에 서서 숫자들을 읽었다. 41.3도. 42.1도. 그리고 A열 12번 랙, 42.9도.
경보는 아직 울리지 않았다. 임계치는 45도. 하지만 이 건물에서 10년을 보낸 그는 숫자가 어떻게 달리는지 알았다. 지금 속도라면 새벽 네 시 전에 임계치를 찍는다.
냉방 제어 콘솔을 열었다. CRAC 유닛 7번이 이미 최대 출력으로 돌고 있었다. 8번도. 9번도. 소리가 달랐다. 평소보다 반음 높은, 기계가 버티고 있다는 소리.
원인은 알고 있었다.
사흘 전, 클라이언트 P사가 A열 전체를 신규 GPU 클러스터로 채웠다. 72시간짜리 파운데이션 모델 훈련 작업이었다. 총 전력 소모 3.2메가와트. 이 동 설계 용량의 78퍼센트가 한 열에 집중됐다. 설계사가 예상한 부하 분산과는 전혀 다른 그림이었다.
그는 지난주 P사 담당 엔지니어에게 메일을 보냈다. 워크로드 분산을 요청하는 내용이었다. 답장은 왔다. “일정상 불가합니다. 훈련 완료는 수요일 오전으로 예정되어 있습니다.”
수요일 오전. 지금으로부터 스물두 시간 뒤.
NVDA — 이 건물 서버 상당수에 박힌 칩을 만드는 회사 — 의 최신 H100은 단일 GPU당 최대 700와트를 소모한다. A열에는 그것이 1,024개 들어가 있었다. 계산은 단순했다. 하지만 단순한 계산이 이 업계에서 실제로 받아들여지는 경우는 드물었다. 성능이 필요하고, 성능은 전기를 먹고, 전기는 열을 만든다. 이 순환을 멈추겠다고 나서는 사람이 없었다.
이한솔은 긴급 부하 제한 프로토콜 화면을 열었다. 클릭 두 번이면 A열 전력을 80퍼센트로 조이는 명령을 보낼 수 있었다. 훈련 작업이 느려지거나 중단될 것이다. P사 담당자에게 전화가 올 것이다. 아마 고함도 올 것이다.
하지만 하지 않으면.
그는 2022년 런던의 데이터 센터 화재 보고서를 읽은 적이 있었다. 냉방 장애 후 열폭주. 서버 수백 대 전소. 복구에 석 달. 그것은 GPU 클러스터 시대 이전의 이야기였다. 지금은 랙 하나에 들어가는 열이 그때의 두 배다.
42.6도. 42.8도.
모니터 왼쪽 하단에는 이 건물의 PUE 수치가 떠 있었다. 전력 사용 효율 지표. 1.4. 나쁘지 않은 숫자였다. 업계 평균보다 낮았다. 그는 이 수치를 낮추기 위해 3년 전 냉방 배관 전체를 재설계했다. 에너지부 장관상도 받았다.
지금 그 배관이 한계 속도로 돌고 있었다.
그는 의자에 앉지 않았다. 앉으면 결정이 늦어진다는 것을 알았다.
창밖은 보이지 않았다. 이 건물에 창문은 없다. 서버에게 빛은 필요 없으니까. 새벽 두 시인지 한낮인지, 여기서는 숫자가 말해줄 뿐이었다.
43.1도.
그는 P사 긴급연락 번호를 찾았다. 그리고 부하 제한 명령 창을 열어뒀다. 두 개의 화면이 나란히 펼쳐진 채로, 그는 잠시 서 있었다.
어느 쪽을 먼저 누를지는 아직 정하지 않았다.
열이 계속 올랐다.
본 글은 정보 제공 목적이며 투자 권유가 아닙니다.