Block, la empresa de Jack Dorsey, ha presentado Dessa, un modelo de voz que aprendió a conversar escuchando a personas, sin leer una sola línea de texto. Lo anunció su laboratorio de investigación el 24 de octubre: Dessa escucha y habla a la vez, se ríe a mitad de frase, baja la voz cuando toca y corre en local en un MacBook Pro con chip M4 Max.
De momento nadie fuera de Block puede usarlo. La compañía solo ha abierto acceso a un grupo pequeño de investigadores de seguridad. Pero el enfoque es distinto al de casi todo lo que hay en el mercado, y merece la pena entenderlo.
Puntos clave de Dessa, el modelo de voz de Block
- Entrenado solo con audio. Nada de texto ni modelos preentrenados: Dessa aprendió desde cero con conversaciones humanas grabadas.
- Full-duplex. Escucha y habla al mismo tiempo, como una persona al teléfono. Sabe cuándo interrumpir y cuándo soltar un "ya" o un "vale" para que notes que te sigue.
- Un solo rack de Nvidia. Block dice que lo entrenó en un único NVIDIA GB200 NVL72, el armario de 72 GPUs que Nvidia vende como unidad.
- Corre en un portátil. La inferencia va más rápida que el tiempo real en un MacBook Pro M4 Max o superior.
- Sin acceso público. Solo un grupo reducido de investigadores de seguridad de IA lo está probando.
Qué cambia técnicamente
Casi todos los asistentes de voz que usas hoy funcionan en cadena. Tu voz se convierte en texto, un modelo de lenguaje decide la respuesta en texto y otro modelo la vuelve a convertir en voz. En cada paso se pierde información. Block lo dice sin rodeos en su anuncio: la voz actual "convierte lo que dices en texto y tira una cantidad increíble de información que el texto no puede llevar".
Esa información es el tono. Un suspiro de frustración, una ironía, la voz que se quiebra. En una transcripción, "no he dicho que me robara el código" significa lo mismo pongas el acento donde lo pongas. Dicho en voz alta, cambia de sentido según la palabra que subrayes. Es el ejemplo que usa el propio equipo de Block.
Dessa es un modelo de voz a voz puro: entra audio, sale audio. Y según Block, todo lo que sabe lo sacó del sonido. Eso incluye datos sobre el mundo. En una de las demos, la persona no se acuerda del título de una película y Dessa termina la frase por ella.
Los modelos que ya conocemos resuelven la emoción de otra forma. ElevenLabs v4 o Fish Audio usan etiquetas de voz: el texto lleva marcas que le dicen al modelo "aquí, triste" o "aquí, ríete". Block asegura que en Dessa la emoción viene de serie, aprendida de escuchar. TechCrunch apunta que no está claro si hay algún tipo de etiqueta guiando la emoción por detrás. Es una duda razonable mientras nadie de fuera pueda probarlo.
El dato que más me llama la atención: la eficiencia
Block afirma que Dessa aprendió el idioma con cientos de veces menos palabras de las que necesita un modelo de lenguaje normal. Con su propia broma incluida: los modelos de texto también tienen que aprender C++ y Angular.
Y lo entrenó en un solo rack. Para que te hagas una idea, los laboratorios grandes entrenan sus modelos punteros en clústeres de decenas de miles de GPUs. Un GB200 NVL72 son 72. Si la cifra se sostiene cuando lo revisen terceros, entrenar un modelo de voz competitivo deja de ser cosa de cuatro empresas en el mundo.
Hay que poner esto en su sitio. Es un anuncio de la propia Block, con demos elegidas por Block. No hay benchmarks públicos ni modelo descargable. Los clips que ha colgado son grabaciones en directo de personas hablando con Dessa, sin guion según la empresa, pero son los clips que la empresa ha querido enseñar.
Quién está detrás
El laboratorio es pequeño (ellos mismos dicen "muy pequeño") y lo fundaron antiguos miembros de Dessa, una startup de deep learning de Toronto. Square, el antiguo nombre de Block, compró esa startup en 2020. El nombre del modelo es un guiño a sus orígenes.
Llevan construyendo modelos de aprendizaje profundo desde 2012 y modelos generativos de voz desde hace más de ocho años. Reportan directamente a Jack Dorsey. Firman el trabajo Louay Hazami, Hashiam Kadhim, Qi (Alex) Liu, Rayhane Mama, Aydin Polat y Marc Tyndel.
En una de las demos, Dessa conversa con GPT-Live-1, el modelo de voz full-duplex que OpenAI lanzó en julio. Las dos voces son IA. Block aclara que OpenAI no ha revisado ni respaldado nada.
¿Se puede probar Dessa ya?
No. A 25 de octubre no hay app, ni API, ni pesos descargables. Block pide a investigadores de seguridad que se pongan en contacto si quieren acceso anticipado, porque un modelo que aprendió a hablar solo del sonido es "territorio nuevo" y quieren ojos de fuera buscando riesgos que no han previsto.
El riesgo evidente es el fraude. Una voz que suena cansada cuando dice que está cansada, que se ríe a tiempo y que corre en un portátil sin pasar por ningún servidor es una herramienta muy buena para estafas telefónicas. Ya hemos visto estafas con deepfakes de voz con modelos bastante peores que este. Tiene sentido que Block lo enseñe primero a gente de seguridad.
Block también lo plantea al revés: como un tema de seguridad que Dessa ayuda a resolver. Su argumento es que una IA cada vez más autónoma que no oye el dolor en tu voz es un problema. Imagina hablar con un asistente en un momento malo y que siga a lo suyo como si nada.
Por qué importa
Block vive de vender a pequeños negocios. Square ya usa voz con IA para tomar pedidos por teléfono en restaurantes. Un modelo propio que corre en el dispositivo le permite meter voz en sus productos sin pagar por cada minuto a un proveedor externo. Eso es lo que hay detrás del anuncio, más allá de la investigación.
Para una empresa española que esté valorando agentes de voz (atención al cliente, reservas, cobros), la lectura práctica es esta. Hoy el mercado se mueve en precio por minuto: Voxtral 3 de Mistral está en 0,04 dólares y Grok Voice 3.0 compite en lo mismo. Si los modelos de voz a voz que corren en local maduran, el coste por llamada tiende a cero y la conversación deja de salir de tu red, que para datos de clientes no es poca cosa.
Yo no tomaría ninguna decisión con Dessa todavía. No se puede contratar. Pero sí miraría con lupa a los proveedores que siguen montando voz sobre texto en cadena, porque ese diseño tiene fecha de caducidad. Y antes de firmar un contrato de agente de voz a dos o tres años, preguntaría qué plan tienen para cuando lo de Block, o algo parecido, esté en abierto.
Fuente original: block.xyz
Relacionado
