[서울=뉴스핌] 이승우 기자 = 카카오가 카카오톡에 에이전틱 인공지능(AI)을 담겠다는 구상을 밝히면서 '가장 큰 AI'가 아닌 '가장 가까운 AI'라는 기술 방향성을 내세웠다. 요청 난이도에 따라 모델을 골라 쓰고, 스마트폰에서 처리할 수 있는 일은 서버로 보내지 않는 방식으로 그래픽처리장치(GPU) 부담을 줄여 5000만 카카오톡 이용자에게 AI를 제공하겠다는 전략이다.

노병석 카카오 파운데이션 모델 총괄 성과리더는 13일 경기 용인시 카카오 AI 캠퍼스에서 열린 '이프 카카오(if(kakao)26)' 컨퍼런스 키노트세션에서 자체 AI 모델 '카나나'에 대해 "모든 요청에 최고의 결과를 제공하되, 모든 요청에 가장 큰 모델을 사용하지는 않는다"고 말했다.

모델이 커질수록 요청 하나에 드는 연산이 늘어 같은 GPU로 응답할 수 있는 이용자 수가 줄어드는 만큼, 오타 수정과 여행 계획처럼 난이도가 다른 요청에 똑같은 연산을 쓸 필요가 없다는 설명이다.

◆ 난이도별 '모델 분업'..."사용자 많아도 GPU 늘릴 필요 없어"

노 리더가 밝힌 카나나 기술 방향성은 ▲경량화·연산·서빙 전 과정을 아우르는 AI 모델 풀스택(Full-Stack) 최적화 ▲텍스트·이미지·음성을 함께 이해하는 멀티모달(Multimodal) ▲이용자가 요청한 일을 실제로 완료하는 에이전틱 AI 등이 핵심이다.

카나나는 요청의 종류와 난이도에 따라 처리하는 모델을 달리하는 구조다. 가장 어려운 문제는 최상위(프런티어) 모델이 맡고, 서버 서비스 대부분은 중간 규모 모델이, 반복적이고 명확한 요청은 소형언어모델(SLM)이 처리한다.

특히 카카오는 온디바이스 우선 원칙을 강조했다. 스마트폰 안에서 끝낼 수 있는 일은 온디바이스 모델이 처리해 응답 속도를 높이고, 민감 정보가 외부로 나가는 범위도 줄일 수 있다. 노 리더는 "사용자가 많아지더라도 그만큼 서버 GPU를 늘릴 필요가 없다"고 말했다.

모델을 선택하고 일의 순서를 정하는 역할은 AI 컨덕터(Conductor)가 맡는다. 노 리더는 "이용자의 요청을 이해하고 적합한 모델과 도구, 실행 순서 등을 선택하고 조율하는 역할을 맡아 추론 비용을 줄여준다"고 밝혔다.

한국어에 최적화된 자체 개발 토크나이저(Tokenizer)는 효율적 처리를 돕는다. 한국어 문장을 글로벌 경쟁 모델보다 1.6배 효율적으로 처리한다. 답변 생성 속도는 평균 3.9배 높였고, 메모리 사용량을 약 70% 줄였다. 같은 GPU에서 처리할 수 있는 전체 처리량도 약 1.6배 끌어올렸다.

카카오는 텍스트·이미지·음성을 이해하고 음성으로 답하는 옴니 모델 '카나나-o'를 카나나 스페이스에 적용될 예정이다. 눈 역할의 비전 인코더, 귀 역할의 음성 인코더, 입 역할의 음성 디코더를 모두 자체 개발했다. 이 기술은 오픈소스로 공개한다. 전문 성우가 참여한 음성 데이터로 상황에 맞는 감정과 억양까지 표현하도록 학습시켰다.

듣기와 말하기를 동시에 하는 풀 듀플렉스 기술 '카나나 라이브'도 개발 중이다. 상대가 말하는 도중 맞장구를 치거나, 한국어를 듣는 동시에 영어 통역을 시작할 수 있다. 인터넷이 안 되는 비행기 안에서도 스마트폰에 저장된 정보로 대화할 수 있는 온디바이스 옴니 모델도 개발하고 있다.

노 리더는 "카나나는 거대한 모델 하나로 모든 문제를 풀려고 하지 않겠다"며 "필요한 지능을 필요한 만큼의 연산을 통해 성능을 넘어 서비스로 증명하겠다"고 말했다.

◆ "에이전트에겐 필요한 정보만"...프로젝트 모자이크 구조

이어 키노트 연사로 나선 송재하 카카오 최고기술책임자(CTO)는 AI가 이용자의 기억을 관리하는 '프로젝트 모자이크'의 구조를 소개했다. 이용자의 요청과 원하는 결과에 맞춰 각 에이전트에게 필요한 정보만 허용된 범위 안에서 안전하게 전달한다. 또 서로 다른 역할을 맡은 에이전트들이 공통의 맥락을 이해하며 협업하도록 하는 것이 핵심이다.

에이전트의 행동에는 제한을 둔다. 가령 주문 도중 '품절이니 다른 상품으로 바꾸라'는 지시가 끼어드는 등 이용자가 맡긴 범위를 벗어나면, AI는 주문을 진행하지 않고 멈춰서 이용자에게 확인한다. 카카오는 외부에 영향을 주지 않는 시험 환경에서 AI의 최종 답변뿐 아니라 실행 과정까지 검증하고 있다. 송 CTO는 "기억은 판단의 근거가 될 수 있지만 행동의 권한이 되지는 않는다"고 강조했다.

카카오는 대규모 이용자에게 안정적으로 AI 서비스를 제공할 수 있도록 지속 가능한 인프라 기반을 강화해 나간다는 방침이다. 송 CTO에 따르면, 평시 대비 7배, 많을 때는 18배까지 트래픽이 몰린다"며 "이런 상황에 대비해 사내 클라우드와 외부 클라우드를 하나로 묶는 하이브리드 클러스터를 준비하고 있다.

raul1649@newspim.com