AI 경쟁의 무게중심이 대규모 데이터센터 중심의 중앙집중형 구조에서 지역과 단말에서 직접 처리하는 ‘온디바이스 AI(On-device AI)’로 이동하고 있다.

온디바이스 AI는 데이터 수집부터 분석·추론·의사결정까지의 전 과정을 클라우드가 아닌 기기 자체 또는 지역 단위에서 수행하는 AI 기술을 의미한다.

온디바이스 AI의 가장 큰 특징은 저지연·고신뢰·데이터 주권이다.

네트워크 연결 여부와 관계없이 실시간 판단이 가능하며, 민감한 개인정보와 산업 데이터를 외부 서버로 전송하지 않아도 돼 보안성과 안정성이 높다. 이로 인해 제조, 교통, 의료, 공공안전 등 현장성이 중요한 산업과 지역 기반 서비스에서 핵심 기술로 주목받고 있다.

최근 국회에서 열린 ‘G3 도약을 위한 AI 산업 경쟁력 강화 전략 토론회’에서도 온디바이스 AI는 한국형 AI 전략의 핵심 키워드로 제시됐다. 김정욱 딥엑스(DeepX) 부사장은 토론에서 “지역에서 처리 가능한 ‘똘똘한 온디바이스 AI’가 데이터센터와 협업한다면 인프라 확장 한계를 극복하고 한국형 소버린 AI의 실질적 해법이 될 수 있다”고 밝혔다.

온디바이스 AI가 단순히 ‘가벼운 AI’가 아니라는 점이 강조된다. 기존의 경량 추론 수준을 넘어, 현장에서 자율적으로 판단하고 행동까지 수행하는 고도화된 AI, 즉 중앙 AI와 역할을 분담하는 분산형·하이브리드 구조로 진화하고 있다는 설명이다. 필요한 경우에만 클라우드와 연동하고, 대부분의 판단은 지역에서 처리하는 방식이다.

이러한 구조는 AI 데이터센터와 전력 수요 급증이라는 현실적 제약을 완화하는 대안으로도 평가된다. 중앙 집중형 AI에만 의존할 경우 발생하는 전력·네트워크 병목 현상을 줄이고, 지역 단위에서 AI 활용 범위를 빠르게 확산시킬 수 있기 때문이다.

산업 현장에서도 온디바이스 AI의 활용 가능성은 빠르게 확대되고 있다.

제조 현장에서는 설비 이상 감지, 공정 최적화, 불량 예측 등에 활용되며, 통신 장애 상황에서도 독립적인 운영이 가능하다. 공공 영역에서는 교통·재난·치안 분야의 실시간 대응, 의료·헬스케어 분야에서는 개인정보 보호가 강화된 AI 서비스 구현이 가능하다는 평가다.

정부 역시 온디바이스 AI를 포함한 분산형 AI 전략에 주목하고 있다.

과학기술정보통신부는 AI 특별법 제정과 함께 지역 산업에 특화된 AI 비즈니스 모델을 육성하고, 현장의 생산성을 실질적으로 높이겠다는 방침을 밝혔다. 2026년도 예산 심의 과정에서 논의 중인 ‘지역 AX 대전환 사업’ 역시 지역 기반 AI 확산을 핵심 목표로 하고 있다.

이제는 “과거 전국 초고속 인터넷망 구축이 IT 강국의 출발점이었다면, AI 시대에는 지역에서 작동하는 온디바이스 AI 확보 여부가 국가 경쟁력을 좌우할 것”이며 “중앙과 지역이 유기적으로 연결된 AI 구조를 얼마나 빠르게 구축하느냐가 글로벌 AI 경쟁의 승부처가 될 것”이라고 강조된다.