OpenAI가 새 음성 모델 GPT-Live를 출시했습니다. 발표문의 핵심 문장을 하나만 꼽으면 이겁니다. “듣기와 말하기를 동시에 수행하는 풀 듀플렉스 아키텍처.” 지금까지의 음성 AI는 아무리 빨라져도 무전기였습니다. 한쪽이 말을 마쳐야 다른 쪽이 말할 수 있었죠. GPT-Live는 이 구조 자체를 전화기로 바꿨습니다. 무엇이 달라졌고 왜 중요한지, 발표 내용을 아키텍처 관점에서 정리해 봅니다.
먼저 새 음성 대화가 시작되는 모습부터 잠깐 보고 가죠.
▶ GPT-Live 음성 대화 시작 화면 (OpenAI 공식)
계단식에서 턴 기반으로, 그리고 풀 듀플렉스로
음성 AI의 구조는 세 단계를 거쳐 왔습니다.
초기 ChatGPT 음성 대화는 계단식(cascaded)이었습니다. 음성 인식 모델이 말을 텍스트로 바꾸고, 언어 모델이 답을 만들고, 텍스트 음성 변환 모델이 다시 소리로 바꾸는 세 모델 릴레이였죠. 프런티어 모델과 음성으로 대화한다는 것 자체가 처음이었지만, 모델 사이를 건널 때마다 정보가 새고 응답은 느렸습니다. 목소리에 담긴 뉘앙스가 텍스트로 변환되는 순간 사라지는 구조적 한계도 있었고요.
고급 음성 모드(Advanced Voice Mode)로 대표되는 턴 기반 모델은 이걸 하나의 모델로 합쳤습니다. 음성을 직접 처리하고 생성하니 지연이 줄고 표현도 자연스러워졌어요. 그런데 여전히 대화를 턴 단위로 처리했습니다. 사용자가 말을 마칠 때까지 기다렸다가 응답하는 방식인데, 문제는 “말을 마쳤다”를 침묵으로 판단한다는 점입니다. 생각을 정리하느라 잠깐 멈추면 끼어들고, 주변 소음을 대화 종료로 오인하는 어색한 순간이 여기서 나옵니다.
GPT-Live는 턴이라는 개념 자체를 버렸습니다. 응답을 생성하는 동시에 사용자의 입력을 계속 처리하면서, 말할지, 계속 들을지, 잠시 멈출지, 끼어들지, 도구를 쓸지를 초당 여러 번 판단합니다. 상대가 말하는 중에 “음”, “네” 하고 반응하는 백채널(backchannel)이 가능해진 것도, 실시간 통역이 가능해진 것도 이 구조 덕분입니다. 이 차이는 글보다 소리로 확인하는 쪽이 빠릅니다. OpenAI가 공개한 데모 영상 두 편을 같이 둘게요.
▶ 자연스러운 대화 데모 (OpenAI 공식)
▶ 듣기와 말하기를 동시에, 실시간 통역 데모 (OpenAI 공식)
두 번째 설계, 대화와 사고의 분리
풀 듀플렉스만큼 눈여겨볼 부분이 역할 분리입니다. GPT-Live는 끊김 없는 상호작용만 담당하고, 검색이나 깊은 추론이 필요한 질문은 백그라운드의 프런티어 모델에 넘깁니다. 출시 시점 기준으로는 GPT-5.5가 그 자리에 있고, 앞으로 새 프런티어 모델이 나오면 교체된다고 밝혔습니다.
이 구조가 영리한 이유는 두 가지입니다. 하나는 사용자 경험이에요. 무거운 작업이 백그라운드에서 도는 동안에도 GPT-Live는 대화를 계속 이어갑니다. 검색 결과를 기다리며 침묵이 흐르는 대신 대화의 흐름이 유지되는 거죠. 다른 하나는 업그레이드 경로입니다. 대화 담당과 사고 담당이 분리돼 있으니, 뒤쪽 모델만 갈아 끼우면 음성 경험은 그대로 두고 지능만 올릴 수 있습니다. 에이전트 시스템에서 오케스트레이터와 작업자를 분리하는 설계와 같은 발상입니다.
성능 수치도 이 구조를 뒷받침합니다. OpenAI 발표에 따르면 GPT-Live-1은 전문가 수준 과학 추론을 평가하는 GPQA, 에이전틱 웹 검색을 평가하는 BrowseComp, 통신 지원 환경의 다중 턴 음성 작업을 평가하는 τ³-Voice Telecom에서 모두 고급 음성 모드보다 나은 결과를 냈습니다. 5~10분 실사용 비교 평가에서도 턴 주고받기, 끼어들기, 대화 흐름 항목에서 더 높은 선호를 받았고요. 백그라운드 위임이 실제로 어떻게 동작하는지는 아래 데모에서 볼 수 있습니다.
▶ 더 똑똑해진 답변, 백그라운드 추론 데모 (OpenAI 공식)
무엇을 쓸 수 있고, 무엇은 아직인가
제공 방식은 이렇습니다. GPT-Live-1과 GPT-Live-1 mini 두 버전이 iOS, Android, ChatGPT.com에서 전 세계 사용자에게 순차 배포되고 있습니다. Go, Plus, Pro 요금제는 GPT-Live-1이, Free는 mini가 기본입니다. 추론 수준도 고를 수 있는데, 빠른 응답은 Instant, 깊은 답변은 Medium이나 High를 선택하면 백그라운드에서 GPT-5.5 Thinking이 돌아갑니다.
대화 중에 날씨, 주식, 스포츠 같은 주제는 시각적 카드로 함께 보여주고, 검색, 메모리, 이미지, 파일 업로드도 음성 대화 안에서 그대로 쓸 수 있습니다. 배경 소음 속에서 사용자 목소리에 집중하는 능력도 개선됐다고 하네요. 두 기능 모두 공식 데모가 올라와 있습니다.
▶ 대화 중 시각적 카드 데모 (OpenAI 공식)
▶ 배경 소음 속 대화 데모 (OpenAI 공식)
안전 장치도 음성에 맞게 다시 짰습니다. 음성 대화는 실시간이라 응답이 나가는 중에도 작동하는 보호 장치를 뒀고, 위험도가 높으면 대화를 종료할 수 있습니다. 자해 관련 대화에는 위기 상담 핫라인을 안내하고, 청소년 계정은 부모가 음성 대화 사용 여부를 설정할 수 있으며 고위험 상황에서는 부모에게 알림이 갈 수 있습니다. 실제 사람 목소리를 모방하지 못하도록 미리 정의된 9가지 음성만 제공한다는 점도 명시했고요.
아직 안 되는 것도 있습니다. 개발자용 API는 “곧 지원 예정”이고 현재는 출시 알림 신청만 받습니다. 동영상·화면 공유와 함께 쓰는 음성 대화도 출시 직후에는 빠져 있어서, 그 기능이 필요하면 기존 음성 모드를 써야 합니다. 언어 최적화도 주요 언어 중심이라 일부 언어에서는 억양이 어색할 수 있다고 밝혔습니다.
정리
- GPT-Live는 듣기와 말하기를 동시에 수행하는 풀 듀플렉스 음성 모델입니다. 침묵으로 턴을 판단하던 기존 방식의 어색함이 구조 차원에서 사라졌습니다.
- 대화는 GPT-Live가, 검색·추론은 백그라운드의 GPT-5.5가 맡는 분리 설계입니다. 대화 경험을 유지한 채 뒤쪽 지능만 계속 업그레이드할 수 있는 구조예요.
- ChatGPT에서는 지금부터 순차 적용되지만 API는 아직입니다. 음성 인터페이스를 준비 중인 개발자라면 계단식 파이프라인 대신 이 구조를 전제로 설계를 검토해 볼 만합니다.
매주 1억 5천만 명이 음성으로 ChatGPT와 대화한다고 합니다. 음성이 보조 입력이 아니라 기본 인터페이스가 되는 흐름에서, 턴의 소멸은 생각보다 큰 분기점이 될 것 같습니다.