Los médicos enfrentan tremendas expectativas diariamente. La Startup Juvoly tiene como objetivo permitirles centrarse más en los pacientes utilizando la IA de reconocimiento de voz. Sin embargo, la compañía se topó con un obstáculo significativo: los modelos de IA existentes funcionan mal cuando se transcribe conversaciones médicas no inglesas. Con el soporte de centros de datos de Northc y el último hardware Nvidia Blackwell, Juvoly logró superar este obstáculo. ¿Cómo lograron esto y qué desafíos quedan?
Hablamos con el cofundador y CEO de Juvoly Thomas Kluuiters para aprender más. Antes de sumergirse más en la solución más amplia de la startup, es crucial comprender los orígenes de Juvoly V2, su modelo avanzado de reconocimiento de voz. Juvoly V2 fue creado específicamente para abordar las deficiencias de OpenAi’s Whisper cuando se trata de documentar conversaciones holandesas en el campo de la medicina. Mientras que modelos como GPT-4 y GPT-4O cautivaron la atención global a través de ChatGPT, Whisper había sido considerado el punto de referencia para el reconocimiento de voz desde su lanzamiento en septiembre de 2022.
Aunque Operai afirmó que Whisper apoyaba múltiples idiomas, en realidad, su manejo de otro idioma, particularmente cuando se despliega para transcribir la terminología médica, inadecuado. En este caso, nos referimos a sus malas capacidades en holandés, aunque Kluuiters señala conclusiones similares que hablan de otros idiomas han extraído conclusiones similares, aparte del inglés. Los menos representados en los datos de capacitación, los peores salidas de Whisper se vuelven.
Punto de partida de Juvoly
Según Kluiters, este defecto permaneció en gran medida inadvertido: “Muchos suponen que el reconocimiento del habla es un problema resuelto, pero eso simplemente no es cierto”. Si bien Whisper puede funcionar razonablemente bien en los contextos médicos ingleses, se queda corto en otro lugar. “Si desea un modelo confiable en idioma holandés, necesita desarrolladores que comprendan el lenguaje a fondo”, explica, destacando que los modelos menos especializados a menudo pasan por alto los errores sutiles.
Además, los puntos de referencia rara vez reflejan el rendimiento de IA del mundo real con precisión. Whisper, con sus 3.300 millones de parámetros, tiende a ser demasiado “creativo”, lo que a menudo resulta en inexactitudes o “alucinaciones”, que son particularmente perjudiciales para registrar con precisión las conversaciones de médico-paciente. Además, los servicios de reconocimiento de voz basados en la nube son notoriamente costosos debido a sus precios por hora.
Juvoly V2 aborda estos problemas al simplificar el modelo en comparación con Whisper y capacitarlo específicamente en conversaciones médicas holandesas. El resultado es una solución significativamente más barata, menos propensa a las alucinaciones, y aproximadamente un 10% más precisa que susurros, mientras que es 40 veces más rápido. Esta velocidad permite aplicaciones en tiempo real. Juvoly V2 también reduce en gran medida el consumo de energía, utilizando solo 350 WH por cada 100 usuarios, comparados con los 11,000 WH estándar (11 kWh). Un uso de un año completo para un cliente de Juvoly equivale a emitir solo 200 gramos de CO2, similar a conducir un automóvil de gasolina durante dos kilómetros.
En las próximas dos semanas, Juvoly lanzará un modelo actualizado, Juvoly V3, que promete un rendimiento aún mejor, el reconocimiento automático del lenguaje y la identificación del altavoz.
“Todos piensan que estás loco si construyes tu propio modelo de habla”, dice Kluuiters. “Pero lo hicimos, y ahora está dando sus frutos significativamente”. A diferencia de los modelos multimodales como Gemini de Google, Juvoly garantiza la seguridad de los datos al mantener la información de los pacientes dentro de Europa y predominantemente dentro de los centros de datos de Northc. Si los clientes hubieran elegido a Gemini en su lugar, las conversaciones confidenciales podrían permanecer sin cifrar en la nube durante hasta 55 días para fines de “monitoreo de abuso”, un riesgo significativo para los proveedores de atención médica.
Alejarse de la nube
El objetivo final de Juvoly es la independencia de los servicios en la nube por completo. La reciente adquisición del nuevo sistema B200 de Nvidia, un paso adelante significativo, pronto será inaugurado por Constantijn van Oranje. La “B” representa la nueva arquitectura de GPU de Blackwell, Nvidia. Juvoly actualmente posee dos nodos B200, con el objetivo de ocho por fin de año. Cada nodo contiene ocho GPU, lo que significa que Juvoly planea tener 64 GPU de Blackwell operativos a fines de 2025. Actualmente también utilizan arquitecturas NVIDIA anteriores como H100 (Hopper) y L40 (ADA Lovelace), que siguen siendo efectivas, aunque menos eficientes que sus primas de GPU más jóvenes.
Curiosamente, las GPU a veces superan a las CPU en las tareas que Juvoly se les propone, creando cuellos de botella. Kluuiters señala escenarios donde las GPU terminan las tareas en 12 milisegundos, mientras que las CPU toman alrededor de 60 milisegundos, lo que lleva a un precioso tiempo de inactividad para los chips Nvidia.
Juvoly también aprovecha las nuevas capacidades de GPU para modelos de idiomas grandes (LLMS), formando la columna vertebral de los resúmenes en tiempo real en la rápida de Juvoly. Los médicos pueden rastrear instantáneamente los síntomas discutidos durante las consultas, reduciendo la confianza únicamente en las transcripciones. Para los resúmenes posteriores a la consultación, Juvoly todavía utiliza el GPT-4O de Azure, pero durante las conversaciones, modelos de código abierto como Gemma o Llama identifican y clasifican los síntomas.
El objetivo de la compañía es claro: ejecutar todas las cargas de trabajo localmente dentro de los centros de datos NORTHC. Aunque comprar hardware de forma independiente puede parecer desalentador, Kluuiters elogia a Northc por hacer que la transición sea directa. En lugar de pagar miles mensuales por nodos en la nube, Juvoly ahora gasta solo unos pocos cientos de euros por mes con hardware dedicado y amplio espacio para el crecimiento.
Más difícil de lo que parece
Piet Sjoukes, directora de ventas de los centros de datos Northc, explica la facilitación de nuevas empresas como Juvoly. Él enfatiza la continuidad: “Nuestro servicio principal es la confiabilidad. Los clientes no pueden pagar el tiempo de inactividad de las fallas de enfriamiento o energía “. Él describe con humor su verdadero producto como “una buena noche de descanso”, por la mente para los clientes que dependen en gran medida en el tiempo de actividad.
Alrededor de la mitad de la clientela de Northc, incluida la Juvoly, son innovadores de alta tecnología, a menudo empujando los límites de hardware. “Operan a la vanguardia de la tecnología”, dice Sjoukes, destacando las inmensas demandas informáticas de AI. Los centros de datos enfrentan desafíos que acomodan la densidad de potencia ampliamente mayor requerida hoy, a veces superior a 40kW por bastidor, en comparación con los 3KW tradicionales.
Northc emplea la construcción de centros de datos modulares para gestionar estas diferentes demandas de manera eficiente, combinando métodos de enfriamiento tradicionales y avanzados como inmersión, enfriamiento en chip y contención de pasillos calientes. La transparencia y la comunicación proactiva del cliente son esenciales para planificar el crecimiento y los ajustes de infraestructura de manera efectiva.
Northc también ofrece un sistema Ecosense impulsado por IA para el monitoreo en tiempo real de los requisitos de energía y enfriamiento, optimizando las operaciones continuamente. La interacción personal sigue siendo crítica, con gerentes de éxito de clientes dedicados que ayudan a los clientes a expandirse con éxito dentro del ecosistema NORTHC.
Conclusión: necesidades en evolución
A medida que la atención médica busca cada vez más eficiencia en medio de limitaciones de recursos, los proveedores de tecnología como Juvoly se convierten en socios invaluables. Juvoly demuestra cómo el software innovador combinado con un hardware eficiente y potente puede mejorar significativamente la prestación de atención médica. Si bien el software impulsa mejoras significativas, sigue dependiendo de una infraestructura robusta y eficiente en energía. La comunicación clara y la planificación colaborativa entre nuevas empresas y centros de datos como Northc resultan esenciales para lograr un crecimiento e innovación sostenidos.
En última instancia, el enfoque de Juvoly destaca el valor de la innovación dirigida, que atiende eficientemente nichos específicos, como profesionales médicos holandeses, con soluciones a medida. Esta cuidadosa integración de tecnología, infraestructura y diseño centrado en el ser humano promete beneficios sustanciales tanto para los médicos como para los pacientes.
Lea también: Sostenibilidad en centros de datos: ¿Dónde están las cosas?
Inside the OpenAI-DeepSeek Distillation Saga & Alibaba’s Most Powerful AI Model Qwen2.5-Max
De ChatGPT a mil millones de agentes
