Avatar interativo 3D para experiências presenciais
Conversar com a genteAvatar 3D interativo para totens em experiências presenciais: conversa por voz em tempo real com sincronização labial, pensado para uma operação B2B que precisa de uma atração sem operador humano por trás. O pipeline de voz tem como alvo responder entre 1,5 e 3 segundos após o fim da fala, o suficiente pra parecer uma conversa natural.
01
Problema mapeado
Uma empresa B2B que opera experiências presenciais precisava de uma atração que conversasse de verdade com o público: sem operador por trás, sem roteiro fixo. E com um requisito de negócio central: o mesmo sistema precisa ser reutilizado em contextos diferentes, trocando o personagem inteiro (visual, voz e personalidade) sem retrabalho de desenvolvimento.
02
Solução desenhada
Um avatar 3D que roda em totem, de ponta a ponta:
03
Método de execução
Documentação técnica aprovada antes de qualquer código: arquitetura, stack justificada e custo de operação mapeado. Desenvolvimento em milestones com o cliente acompanhando o progresso, e entrega final com código comentado e guia de operação pra equipe dele.
O contexto
Uma empresa B2B que opera experiências presenciais precisava de uma atração que conversasse de verdade com o público: sem operador por trás, sem roteiro fixo. E com um requisito de negócio central: o mesmo sistema precisa ser reutilizado em contextos diferentes, trocando o personagem inteiro (visual, voz e personalidade) sem retrabalho de desenvolvimento.
O que entregamos
Um avatar 3D que roda em totem, de ponta a ponta:
- Detecta presença pelo sensor do totem, cumprimenta com gesto e voz, e aplica cooldown pra não saudar a mesma pessoa repetidas vezes.
- Escuta, entende e responde por voz em tempo real: a fala captada vira texto e o modelo de linguagem gera a resposta na personalidade do personagem ativo.
- Fala com sincronização labial: o áudio sintetizado chega junto com a timeline de visemas que dirige a boca e os gestos do avatar.
O render e a orquestração rodam localmente no totem. Se a internet cair, o avatar segue em idle sem travar a operação.
O pipeline de voz em streaming
Latência é o que separa uma conversa natural de um brinquedo lento. O pipeline inteiro roda em streaming, estágio a estágio:
- A fala é transcrita em tempo real, com detecção automática de fim de frase.
- A resposta do modelo chega token a token e é enviada pra síntese de voz sentença por sentença.
- O avatar começa a falar antes de a resposta completa existir, com alvo de 1,5 a 3 segundos entre o fim da fala e o início da resposta.
Modelo de linguagem, voz e velocidade da fala são configuração por personagem, não código.
A arquitetura
- Sensorpresença + cooldown
- Microfonefala do visitante
- 01Orquestrador localmáquina de estados, carrega o personagem ativo
- 02APIs em streamingfala → texto → resposta → voz + visemas
- 03Avatar 3D na telafala, lip sync e gestos
personagem = pasta de config (zero código)
Decisões de arquitetura
Personagem como pacote de configuração
Cada personagem é uma pasta autocontida: modelo 3D, voz, prompt de personalidade e animações declarados num manifesto validado. Trocar de personagem é apontar pra outra pasta. Zero código.
Lip sync por visemas nativos da síntese de voz
A síntese de voz devolve a timeline exata de fonemas junto com o áudio. Isso elimina a necessidade de construir alinhamento labial do zero e funciona igual pra qualquer personagem que siga o padrão de blendshapes.
Web 3D empacotada como app de quiosque
Render em Three.js empacotado como app de tela cheia com auto-start. Roda em qualquer PC moderno, sem licença de engine, e opera offline-first: só o trio de APIs de voz e IA depende de rede.
Estado atual
- Pipeline de conversa por voz funcionando de ponta a ponta, com resposta em tempo de conversa natural.
- Troca de personagem validada: visual, voz e personalidade mudam por configuração, sem tocar em código.
- Pendente: personagem de exemplo e guia pra equipe do cliente criar os próximos sozinha.
Stack
Como executamos
Documentação técnica aprovada antes de qualquer código: arquitetura, stack justificada e custo de operação mapeado. Desenvolvimento em milestones com o cliente acompanhando o progresso, e entrega final com código comentado e guia de operação pra equipe dele.
Precisa de um agente de IA que converse com o seu público?
Conversar com a genteVamos entender o seu processo?
Conte onde a operação trava. Usamos esse contexto para avaliar se uma conversa faz sentido.