[단독] 서울시 자체 AI 구축 제동 … GPU값 급등에 서버 확보 난항

서울시가 추진 중인 '자체 AI' 개발 사업이 서버 구축 문제로 차질을 빚고 있는 것으로 확인됐다. 

서버의 핵심 부품인 그래픽처리장치(GPU) 가격이 폭등한 데다 물량 확보마저 어려워진 영향이다. 

보안이 확보된 자체 AI 구축이 늦어지는 사이 공무원들의 범용 AI 사용은 늘고 있어 정보 유출에 대한 우려가 커지고 있다.

서울시는 지난 2024년 '인공지능(AI) 행정 추진계획'을 발표하며 시 내부에 자체 경량화 언어모델(sLLM)을 구축하고 이를 기반으로 한 AI를 개발·활용하겠다고 밝혔다.

공무원의 반복 업무를 자동화해 효율성을 높이겠다는 목적도 있었지만 보다 큰 이유는 챗GPT 등 외부 생성형 AI 사용에 따른 정보 유출 위험을 줄이겠다는 취지였다.

시는 당시 내부 sLLM을 2024년 안에 구축하고 2025년부터 자체 AI를 행정에 활용하겠다고 설명했다. 

하지만 19일 본지 취재를 종합하면 서울시의 자체 sLLM 구축 계획은 현재까지도 서버 확보에 있어 당초 목표의 3분의 1 수준에서 멈춰있는 상태다.

주된 이유는 핵심 부품인 GPU 가격이 가파르게 오른 데 있다. 서울시는 자체 AI 구동을 위한 서버 구축에 엔비디아의 H200을 적용하고 있는데 사업을 처음 설계하던 2024년 당시 H200 1개 가격은 4000만 원 수준이었지만 현재는 6000만 원 이상까지 뛴 것으로 알려졌다. 

서울시가 구축 중인 sLLM 서버 1대에는 H200 8개가 들어간다. GPU 가격 상승분만 반영해도 서버 1대당 1억 6000만 원가량 가격이 증가한 셈이다.

시 관계자는 "예상보다 가격이 급등하면서 당초 확보한 예산으로는 계획한 규모의 장비를 들이기 어려워졌다"고 밝혔다.

여기에 최근에는 미국 정부가 H200의 대중국 수출을 조건부로 허용하면서 중국 시장 수요까지 붙어 물량 확보조차 어려워졌다는 설명이다. 

시는 당초 안정적인 AI 운영을 위해 최소 3대의 서버를 구축할 계획이었으나 현재 확보된 것은 1대뿐이다.

서울시 내부에서는 부품 가격 상승 못지않게 예산 편성 방식도 자체 AI 구축 지연의 한 원인으로 거론된다.

서울시는 2024년 자체 AI 개발 계획을 발표하며 관련 예산 13억 6000만 원을 편성했지만 이후 예산은 전액 삭감됐다. 

또 지난해 추가경정예산에서 16억 8000만 원이 배정됐지만 서버는 1대 구축하는 데 그쳤다.

올해도 본예산에 서버 2대를 추가 도입할 수 있도록 19억 2000만 원을 편성했다. 그러나 그 사이 GPU 가격이 다시 오르면서 현재 기준으로는 최소 8억 원 가량이 부족한 상태인 것으로 전해졌다.

예산을 조금씩 나눠 투입하는 사이 핵심 부품 가격이 빠르게 올랐고 기존 가격을 기준으로 편성한 예산으로는 장비를 구매하지 못하는 상황이 반복됐다는 것이다.

이 같은 '찔끔 예산' 배경에는 오세훈 서울시장의 과거 메타버스 사업 실패 경험이 영향을 미쳤다는 이야기도 나온다. 

서울시의 한 고위 관계자는 "지난 2023년 메타버스에 대한 기대가 높을 때, 오 시장이 선제적으로 50억 원 가량을 투자해 사업을 진행했지만 열풍이 빠르게 꺼져 2024년 사업을 종료한 적이 있다"며 "당시 마주한 큰 비판으로 신기술 사업에는 처음부터 큰 예산을 투입하기보다 단계적으로 늘려가자는 분위기가 생겼다"고 말했다.

문제는 자체 AI 구축이 지연되는 사이 일선 행정에서는 외부 생성형 AI 활용이 빠르게 늘고 있다는 점이다.

서울시는 지난 1월 직원 63%가 보고서 작성과 자료 조사 등에 생성형 AI를 활용했고 업무 시간은 최대 80%까지 줄었다고 밝혔다. 

행정 효율 개선 효과를 강조한 발표였지만 당시 활용된 AI는 자체 서버를 활용한 시스템이 아닌 외부 범용 서비스를 기반으로 한 AI였다.

여기에 서울시는 직원들의 AI 사용을 장려하기 위해 챗GPT와 제미나이 등의 구독료도 지원하고 있다. 

서울시가 다루는 정보는 시민 개인정보부터 각종 사업 계약 내용, 내부 검토 자료까지 민감한 내용이 적지 않다. 이 같은 정보가 외부 생성형 AI에 입력될 경우 통제 범위를 벗어날 수 있다는 점에서 보안 우려가 제기된다.

실제 주요 기업과 공공기관들은 이미 생성형 AI 사용에 선을 긋고 있다. 

삼성전자와 SK하이닉스, 포스코, 우리은행 등에 더해 중앙선거관리위원회, 금융감독원, 국방부도 챗GPT와 딥시크 등 생성형 AI의 업무상 사용을 제한하거나 금지하고 있다. 

핵심 기술과 내부 기밀, 개인정보 같은 민감한 정보가 외부 AI로 넘어갈 수 있다는 우려 때문이다.

서울시는 직원들에게 민감정보와 비공개 정보를 외부 AI 사용에 입력하지 않도록 보안 수칙을 안내하고 있다고 설명했다. 다만 실제 이용 과정에서 이를 일일이 강제하거나 위반 여부를 제재할 뚜렷한 방법은 아직 없다는 점은 인정했다. 

AI 활용 과정에서 개인정보 차단 필터나 금칙어 입력 제한 기능 등을 시스템상 구현하는 방안이 추진 중이지만 관련 장치는 오는 8월에야 구축될 예정이다.