Avatar interativo 3D para shoppings e feiras
O contexto
Uma empresa de ativações de marca que atua em shoppings e feiras corporativas precisava de uma atração que conversasse de verdade com o público: sem operador por trás, sem roteiro fixo. E com um requisito de negócio central: o mesmo sistema precisa ser revendido pra clientes e eventos diferentes, trocando o personagem inteiro (visual, voz e personalidade) sem retrabalho de desenvolvimento.
O que estamos entregando
Um avatar 3D que roda em totem, de ponta a ponta:
- Detecta presença pelo sensor do totem, cumprimenta com gesto e voz, e aplica cooldown pra não saudar a mesma pessoa repetidas vezes.
- Escuta, entende e responde por voz em tempo real: a fala captada vira texto e o modelo de linguagem gera a resposta na personalidade do personagem ativo.
- Fala com sincronização labial: o áudio sintetizado chega junto com a timeline de visemas que dirige a boca e os gestos do avatar.
O render e a orquestração rodam localmente no totem. Se a internet cair, o avatar segue em idle sem travar a operação.
O pipeline de voz em streaming
Latência é o que separa uma conversa natural de um brinquedo lento. O pipeline inteiro roda em streaming, estágio a estágio:
- A fala é transcrita em tempo real, com detecção automática de fim de frase.
- A resposta do modelo chega token a token e é enviada pra síntese de voz sentença por sentença.
- O avatar começa a falar antes de a resposta completa existir, com alvo de 1,5 a 3 segundos entre o fim da fala e o início da resposta.
Modelo de linguagem, voz e velocidade da fala são configuração por personagem, não código.
A arquitetura
Decisões de arquitetura
Personagem como pacote de configuração
Cada personagem é uma pasta autocontida: modelo 3D, voz, prompt de personalidade e animações declarados num manifesto validado. Trocar de personagem é apontar pra outra pasta. Zero código.
Lip sync por visemas nativos da síntese de voz
A síntese de voz devolve a timeline exata de fonemas junto com o áudio. Isso elimina a necessidade de construir alinhamento labial do zero e funciona igual pra qualquer personagem que siga o padrão de blendshapes.
Web 3D empacotada como app de quiosque
Render em Three.js empacotado como app de tela cheia com auto-start. Roda em qualquer PC moderno, sem licença de engine, e opera offline-first: só o trio de APIs de voz e IA depende de rede.
Onde estamos
- Pipeline de conversa por voz funcionando de ponta a ponta, com resposta em tempo de conversa natural.
- Troca de personagem validada: visual, voz e personalidade mudam por configuração, sem tocar em código.
- Entrega prevista com personagem de exemplo e guia pra equipe do cliente criar os próximos sozinha.
Stack
Como executamos
Documentação técnica aprovada antes de qualquer código: arquitetura, stack justificada e custo de operação mapeado. Desenvolvimento em milestones com o cliente acompanhando o progresso, e entrega final com código comentado e guia de operação pra equipe dele.