AI가 전기를 너무 많이 먹는다는 비판은 어제오늘의 이야기가 아니다. ChatGPT 하나 쿼리 하는데 구글 검색의 10배 전력이 소비된다는 추정치가 나왔을 때, AI 산업의 지속 가능성에 의문을 제기하는 목소리도 컸다. 그런데 최근 발표된 연구 결과는 이 판도를 뒤집을 수 있는 가능성을 보여준다.

AI 추론(inference) 모델의 에너지 효율이 이전 세대 대비 100배 향상됐다는 연구 결과다. 이것이 현실화된다면 AI는 데이터센터 서버에서만 돌아가는 것이 아니라 우리가 들고 다니는 스마트폰에서 직접 실행되는 세상이 된다.

에너지 효율 100배, 실제로 어떤 의미인가

숫자만 보면 와닿지 않을 수 있다. 구체적인 비유로 설명해보자.

현재 GPT-4 수준의 추론을 클라우드에서 처리하면 약 0.001~0.01 kWh 정도의 에너지가 소모된다. 100배 효율 개선이 실제 제품에 적용된다면 같은 추론을 스마트폰 배터리 소모 수준, 즉 수 mWh 단위로 처리할 수 있게 된다. 노트북을 켜지 않고 스마트폰에서 고성능 AI를 오프라인으로 돌리는 것이 가능해진다는 뜻이다.

기술적 배경 — 무엇이 달라졌나

이번 효율 혁신의 핵심은 크게 세 가지다.

1. 모델 경량화 (Quantization + Pruning)

AI 모델의 가중치(파라미터)를 32비트 부동소수점 대신 4비트, 심지어 2비트로 압축하는 양자화(quantization) 기술이 크게 발전했다. 동시에 추론에 불필요한 연결을 제거하는 가지치기(pruning) 기술이 더해지면서 모델 크기를 10분의 1 이하로 줄이면서도 성능 저하를 최소화할 수 있게 됐다.

2. 하드웨어 최적화 — NPU의 진화

스마트폰에 탑재되는 NPU(Neural Processing Unit)가 급격히 발전했다. 애플 A18 Pro, 퀄컴 스냅드래곤 8 Elite, 삼성 엑시노스 최신 칩 모두 AI 연산에 특화된 하드웨어 가속기를 내장하고 있다. 이들은 범용 CPU나 GPU 대비 AI 연산에서 전력 효율이 비교할 수 없을 정도로 높다.

3. 추론 최적화 알고리즘

모델이 답변을 생성할 때 전체 연산을 다 거치지 않고, 자주 쓰이는 패턴을 캐싱하거나 조기 종료(early exit) 기법을 쓰는 방식이 발전했다. 이를 통해 동일한 하드웨어에서 더 빠르고 적은 전력으로 추론이 가능해졌다.

온디바이스 AI가 바꾸는 것

에너지 효율 혁신이 가져오는 가장 큰 변화는 AI가 클라우드를 벗어나 디바이스 안에 들어온다는 것이다. 이를 '온디바이스 AI' 또는 '엣지 AI'라고 부른다.

프라이버시

현재 대부분의 AI 서비스는 사용자 데이터를 클라우드 서버로 보내서 처리한다. 온디바이스 AI는 데이터가 기기 밖으로 나가지 않는다. 의료 데이터, 금융 정보, 개인 메시지를 처리할 때 프라이버시가 근본적으로 달라진다.

인터넷 없이도 AI 사용 가능

오프라인 상황, 느린 네트워크 환경에서도 AI 기능을 사용할 수 있다. 이는 특히 교육, 의료, 재난 대응 분야에서 큰 의미를 갖는다.

지연 시간 제로

클라우드 서버와 통신하는 왕복 지연(latency)이 없어진다. 실시간 번역, 실시간 음성 인식, AR 렌즈 처리 같은 응용에서 체감 품질이 완전히 달라진다.

AI 산업 지형도 변화

에너지 효율 혁신은 투자자 입장에서도 주목할 만한 트렌드다. 지금까지 AI 인프라 투자는 대형 데이터센터, 서버용 GPU(엔비디아 중심)에 집중됐다. 온디바이스 AI 시대가 오면 모바일 반도체, 엣지 컴퓨팅, 저전력 AI 칩 설계 기업들이 부상한다.

퀄컴, ARM, 애플 실리콘팀, 그리고 삼성·SK하이닉스의 고대역폭 메모리(HBM) 관련 사업이 이 흐름에서 주목받는 이유다.

실생활에서 언제 체감하게 될까

이미 일부 경험 중이다. 애플 iOS 18의 'Apple Intelligence', 갤럭시 AI 기능들이 온디바이스 처리를 활용한다. 완전한 GPT-4 수준의 추론을 스마트폰에서 오프라인으로 처리하는 것은 아직 1~2년 더 필요하다는 게 업계 전망이다. 하지만 방향은 명확하다.

3년 안에 대부분의 일상적 AI 작업은 클라우드 없이 손 안의 기기에서 처리되는 세상이 올 것이다.