Avatar interactivo 3D para shoppings y ferias
El contexto
Una empresa de activaciones de marca que trabaja en shoppings y ferias corporativas necesitaba una atracción que conversara de verdad con el público: sin operador detrás, sin guion fijo. Y con un requisito de negocio central: el mismo sistema debe revenderse a clientes y eventos distintos, cambiando el personaje completo (visual, voz y personalidad) sin retrabajo de desarrollo.
Qué estamos entregando
Un avatar 3D que corre en un tótem, de punta a punta:
- Detecta presencia con el sensor del tótem, saluda con gesto y voz, y aplica cooldown para no saludar a la misma persona repetidamente.
- Escucha, entiende y responde por voz en tiempo real: el habla captada se convierte en texto y el modelo de lenguaje genera la respuesta con la personalidad del personaje activo.
- Habla con sincronización labial: el audio sintetizado llega junto con la línea de tiempo de visemas que dirige la boca y los gestos del avatar.
El render y la orquestación corren localmente en el tótem. Si se cae internet, el avatar sigue en idle sin trabar la operación.
El pipeline de voz en streaming
La latencia es lo que separa una conversación natural de un juguete lento. Todo el pipeline corre en streaming, etapa por etapa:
- El habla se transcribe en tiempo real, con detección automática de fin de frase.
- La respuesta del modelo llega token a token y se envía a la síntesis de voz oración por oración.
- El avatar empieza a hablar antes de que exista la respuesta completa, con objetivo de 1,5 a 3 segundos entre el fin del habla y el inicio de la respuesta.
Modelo de lenguaje, voz y velocidad del habla son configuración por personaje, no código.
La arquitectura
Decisiones de arquitectura
Personaje como paquete de configuración
Cada personaje es una carpeta autocontenida: modelo 3D, voz, prompt de personalidad y animaciones declarados en un manifiesto validado. Cambiar de personaje es apuntar a otra carpeta. Cero código.
Lip sync con visemas nativos de la síntesis de voz
La síntesis de voz devuelve la línea de tiempo exacta de fonemas junto con el audio. Eso elimina la necesidad de construir alineación labial desde cero y funciona igual para cualquier personaje que siga el estándar de blendshapes.
Web 3D empaquetada como app de kiosco
Render en Three.js empaquetado como app de pantalla completa con auto-inicio. Corre en cualquier PC moderna, sin licencia de engine, y opera offline-first: solo el trío de APIs de voz e IA depende de la red.
Dónde estamos
- Pipeline de conversación por voz funcionando de punta a punta, con respuesta en tiempo de conversación natural.
- Cambio de personaje validado: visual, voz y personalidad cambian por configuración, sin tocar código.
- Entrega prevista con personaje de ejemplo y guía para que el equipo del cliente cree los próximos por su cuenta.
Stack
Cómo ejecutamos
Documentación técnica aprobada antes de cualquier código: arquitectura, stack justificado y costo de operación mapeado. Desarrollo en milestones con el cliente siguiendo el progreso, y entrega final con código comentado y guía de operación para su equipo.