Opadai anunció el lanzamiento de nuevos modelos Para el reconocimiento automático de voz (ASR) y el texto a la voz (TTS), marcando otra evolución en la tecnología de voz impulsada por la IA. Sus nuevos modelos prometen no solo una precisión superior, sino también a mejorar la asequibilidad, lo que los convierte en una opción atractiva para las empresas que buscan desplegar agentes de voz con AI.

Capacidades mejoradas de reconocimiento de voz

Los nuevos modelos ASR, GPT-4O-Transcribe y GPT-4O-Mini-Transcribe, representan un salto notable más allá de Whisper, el modelo de transcripción de última generación de OpenAi. Estos modelos ofrecen tasas de error de palabras mejoradas y un mejor manejo de idiomas, acentos y ruido de fondo. La introducción de la versión “mini” es particularmente notable, ya que tiene un precio competitivo para hacer que la transcripción de alta calidad sea más accesible para las empresas que requieren soluciones escalables.

Tecnología avanzada de texto a voz

Operai también ha mejorado significativamente sus capacidades TTS. Los nuevos modelos pueden generar voces altamente realistas, con entonaciones y expresividad de sonido natural. Una característica destacada es la capacidad de dar forma al tono, la emoción y la entrega de una voz utilizando indicaciones de lenguaje natural. Esto significa que las empresas pueden crear voces de IA adaptadas a escenarios específicos, ya sea un representante de servicio al cliente amigable y empático, una voz formal y autorizada para llamadas relacionadas con el cumplimiento, o un narrador dinámico para demostraciones de productos. Esta flexibilidad hace que los modelos TTS de OpenAI sean algunas de las herramientas más versátiles disponibles para construir interacciones de voz atractivas.

Arquitectura del agente de voz: dos enfoques

Otro aspecto interesante de Anuncio de Openai es su enfoque para la arquitectura de agente de voz impulsada por la IA. Actualmente, ha habido dos enfoques principales:

• Modelo de voz a voz (S2S): Traduce directamente la entrada hablada en discurso generado con una latencia mínima
• Enfoque encadenado: Divide el proceso en pasos discretos:
  • ASR transcribe el discurso al texto
  • Un modelo de lenguaje grande (LLM) procesa el texto para generar una respuesta
  • TTS convierte la respuesta nuevamente en discurso

Operai está distinguiendo entre estos enfoques, reconociendo que, si bien S2S ofrece una latencia más baja, proporciona menos control. El enfoque encadenado, que ahora es compatible con OpenAI, es más robusto para los casos de uso empresarial, como el servicio al cliente, donde el control, la precisión y el cumplimiento son críticos.

Implicaciones del mercado para plataformas sin código

Con este lanzamiento, Operai ahora ofrece una pila completa de modelos para apoyar el desarrollo de sofisticados agentes de voz de Genai. Esto tiene implicaciones para el mercado, particularmente para las empresas que construyen soluciones sin código para la IA de voz empresarial. Estas plataformas, que permiten a las empresas crear e implementar agentes de voz impulsados ​​por la IA sin una programación extensa, ahora tienen un nuevo conjunto de modelos de alta calidad para integrarse en sus ofertas.

Sin embargo, esto también plantea la cuestión de la diferenciación: si la mayoría de los proveedores sin código terminan utilizando los modelos de OpenAI, el principal factor competitivo cambia de la calidad de la IA subyacente a la usabilidad de la plataforma misma.

Para los proveedores de agentes de voz sin código, esto podría significar que la diferenciación debe venir en otras áreas, como la amplitud de las integraciones, la intuición del diseño y la fuerza de las características críticas como las pruebas, la evaluación y el monitoreo.

La usabilidad, el cumplimiento y el análisis robusto probablemente se convertirán en las características definitorias que distinguen las plataformas en un paisaje donde los modelos de IA fundamentales son en gran medida las mismas. Por supuesto, los modelos de audio competitivos de las compañías rivales también podrían proporcionar diferenciación si ofrecen un rendimiento significativamente mejor a un costo comparable o menor.

Estrategia empresarial de Openai

Este anuncio también señala el movimiento continuo de OpenAi hacia la infraestructura de IA empresarial. Al ofrecer modelos ASR, LLM y TTS de alta calidad, OpenAi se está posicionando como el proveedor fundamental de las interacciones de voz impulsadas por la IA. La compañía no ofrece un constructor de agentes de voz sin código, sino que proporciona los componentes del desarrollador necesarios para construir dichos sistemas.

Este enfoque es similar a cómo los LLM de OpenAI se han convertido en la columna vertebral para varias aplicaciones con IA en todas las industrias. Sugiere que OpenAI ve a la voz de voz de grado empresarial como un área creciente de demanda y quiere establecerse como el proveedor de referencia para organizaciones que buscan modelos de IA robustos para las interacciones con los clientes.

Impacto en las soluciones del centro de contacto

Para los proveedores de CCAA, los nuevos modelos Operai crean oportunidades y desafíos. Los proveedores de soluciones ahora tienen modelos de vanguardia nuevos y asequibles para proporcionar habilidades de automatización de voz mejoradas en sus productos. Sin embargo, la competencia intensificada entre los proveedores que utilizan capacidades de IA similares medias Es posible que las compañías de CCAA necesiten encontrar nuevas formas de diferenciar sus ofertas de agentes de voz. Por lo menos, el conjunto de modelos de OpenAI ejerce presión sobre los proveedores de CCAA para garantizar que ofrezcan plataformas de agentes de voz sin código al menos tan robustos y capaces como aquellas que pueden ser fácilmente creadas por programadores novatos que utilizan modelos y herramientas de desarrolladores de OpenAI.

La experiencia del cliente y los proveedores de CCAA también pueden agregar un valor estratégico mucho más allá de la conexión de modelos ASR, LLM y TTS. Por ejemplo, en campañas salientes, el éxito depende de los datos del cliente, los objetivos comerciales y el cumplimiento. Las plataformas CX pueden ofrecer herramientas para el diseño de la campaña, la ejecución y el análisis.

Para el apoyo, incluso los grandes agentes virtuales necesitan un conocimiento fresco y preciso. Los proveedores pueden ayudar a administrar y actualizar bases de conocimiento para garantizar respuestas confiables alineadas en políticas.

El monitoreo del rendimiento también es vital. Análisis en tiempo real, seguimiento de sentimientos y herramientas de retroalimentación ayudan a ajustar las conversaciones. Las ideas de ROI también son esenciales: los líderes quieren rastrear los ahorros, los impulso de CSAT y el rendimiento en los equipos.

El futuro de la adopción de la voz de la voz de la empresa

En última instancia, el anuncio de OpenAI representa un cambio en cómo las empresas construirán e implementarán agentes de voz impulsados ​​por la IA. Con mejores modelos, menores costos y más flexibilidad, es probable que veamos una aceleración en la adopción de agentes de voz de IA en el servicio al cliente y más allá. Las compañías que tienen éxito en este nuevo panorama probablemente serán las que van más allá de los modelos de IA y se centrarán en ofrecer soluciones perfectas, escalables y diferenciadas a los clientes empresariales.

Relacionado

Categorías: artículos

MidJourney es mejor conocido como uno de los principales generadores de imágenes de IA, con casi 20 millones de usuarios en su canal de discordia, según los rastreadores de terceros, y presumiblemente más sobre eso en su sitio web, pero sus ambiciones están comenzando a expandirse.

Después de la noticia a fines del verano de 2024 de que estaba construyendo su propia informática y hardware de IA, la compañía lanzó esta semana un nuevo trabajo de investigación junto con expertos en aprendizaje automático en la Universidad de Nueva York (NYU) sobre la capacitación de modelos de idiomas grandes basados ​​en texto (LLM) como Meta’s Open Source Llama y los modelos de fuentes homónimos de MITRAL para escribir de manera más creativa.

La colaboración, documentada en un nuevo trabajo de investigación publicado en AI Code Community Hugging Face, presenta dos nuevas Technieques: Optimización de preferencias directas diversificadas (DDPO) y Optimización de preferencias de odds ratios de odds (DORPO) diversificadas, diseñadas para expandir el rango de posibles resultados mientras se mantiene la coherencia y la lectura.

Para una compañía mejor conocida por sus modelos de generación de imágenes de IA de difusión, el nuevo enfoque de MidJourney para repensar la creatividad en LLM basados ​​en texto muestra que no está limitando sus ambiciones a las imágenes, y que una imagen puede no valer mil palabras.

¿Podría una LLM-Native MidJourney o una versión ajustada de un LLM existente estar en las tarjetas de la pequeña startup de arranque? Me puse en contacto con el fundador de MidJourney, David Holz, pero aún no he recibido respuesta.

Independientemente de una oferta de LLM de Midjourney LLM de primera parte, las implicaciones de su nueva investigación van más allá de los ejercicios académicos y podrían usarse para ayudar a alimentar una nueva ola de capacitación de LLM entre equipos de IA empresariales, desarrolladores de productos y creadores de contenido que buscan mejorar el texto generado por IA.

También muestra que, a pesar de los recientes intereses e inversiones entre los proveedores de modelos de IA en nuevos modelos de lenguaje multimodal y de razonamiento, todavía queda mucho jugo por exprimirse, cognitivamente y en cuanto a rendimiento, a partir de LLM basados ​​en texto clásicos basados ​​en transformadores.

El problema: la escritura generada por IA se derrumba alrededor de salidas homogéneas

En dominios como la asistencia de codificación o asistencia de codificación basada en hechos, se espera que los LLM generen una sola mejor respuesta.

Sin embargo, la escritura creativa es inherentemente abierta, lo que significa que hay muchas respuestas válidas a un solo mensaje.

Para un ejemplo proporcionado por los investigadores de la mediana edad, dado un aviso como “Escribe una historia sobre un perro en la luna”el LLM podría explorar múltiples caminos diversos como:

• El perro mascota de un astronauta se fue accidentalmente después de una misión lunar.
• Un perro que se encuentra en una colonia espacial canina futurista.
• Un perro varado que se hace amigo de una especie alienígena.

A pesar de esta gama de posibilidades, las LLM ajustadas a las instrucciones a menudo convergen en historias y temas similares. Esto sucede porque:

1. Las técnicas posteriores a la capacitación priorizan la preferencia del usuario sobre la originalidad, reforzando las respuestas populares pero repetitivas.
2. La sintonización de instrucciones a menudo suaviza la variación, haciendo que los modelos favorecen las respuestas “seguras” sobre las únicas.
3. Las técnicas de promoción de la diversidad existentes (como el ajuste de la temperatura) funcionan solo en el momento de la inferencia, en lugar de ser horneados en el proceso de aprendizaje del modelo.

Esto lleva a la narración homogeneizada, donde la escritura creativa generada por IA se siente repetitiva y carece de sorpresa o profundidad.

La solución: modificar los métodos posteriores a la capacitación para priorizar la diversidad

Para superar estas limitaciones, los investigadores introdujeron DDPO y DORPO, dos extensiones de los métodos de optimización de preferencias existentes. La innovación central en estos enfoques es el uso de la desviación, una medida de cuánto difiere una respuesta de los demás, para guiar la capacitación.

Así es como funciona:

1. Durante el entrenamiento, el modelo recibe un mensaje de escritura y múltiples respuestas posibles.
2. Cada respuesta se compara con otras para el mismo aviso, y se calcula una puntuación de desviación.
3. Las respuestas raras pero de alta calidad se ponderan más en el entrenamiento, alentando al modelo a aprender de diversos ejemplos.

Al incorporar la desviación en la optimización de preferencia directa (DPO) y la optimización de preferencias de odds ratio (ORPO), el modelo aprende a producir respuestas de alta calidad pero más variadas.

Este método asegura que las historias generadas por IA no converjan en una sola estructura predecible, sino que exploran una gama más amplia de personajes, configuraciones y temas, tal como lo haría un escritor humano.

Lo que hicieron los investigadores de MidJourney para lograr esto

El estudio involucró a la capacitación de LLM en tareas de escritura creativa utilizando un conjunto de datos del Subreddit R/WritingPrompts, una comunidad de Reddit donde los usuarios publican y responden con historias cortas.

Los investigadores utilizaron dos modelos base para su entrenamiento:

• Meta’s Llama-3.1-8b (Un modelo de 8 mil millones de parámetros de la serie Llama 3).
• Mistral-7B-V0.3 (Un modelo de 7 mil millones de parámetros de la IA Mistral).

Luego, tomaron estos modelos a través de los siguientes procesos:

1. Autorización supervisada (SFT): Los modelos se ajustaron primero con LORA (adaptación de bajo rango) para ajustar los parámetros de manera eficiente.
2. Optimización de preferencias:
   • DPO y ORPO se usaron como líneas de base—Estos métodos estándar se centran en mejorar la calidad de la respuesta en función de las señales de preferencia del usuario.
   • DDPO y DORPO se aplicaron luegoIntroducción de ponderación basada en la desviación para fomentar más respuestas únicas.
3. Evaluación:
   • Evaluación automática: diversidad semántica y estilística medida utilizando técnicas basadas en la incrustación.
   • Evaluación humana: los jueces evaluaron si los resultados eran diversos y atractivos en comparación con GPT-4O y Claude 3.5.

Hallazgos clave del entrenamiento:

• DDPO superó significativamente a DPO estándar en términos de diversidad de producción mientras mantiene la calidad.
• Llama-3.1-8b con DDPO logró el mejor equilibrio de calidad y diversidad, produciendo respuestas que fueron más variado que GPT-4O mientras mantiene la coherencia.
• Cuando se redujo el tamaño del conjunto de datosLos modelos DDPO aún mantenían la diversidad, aunque requerían que un cierto número de muestras de capacitación diversas fuera completamente efectiva.

Implicaciones empresariales: ¿Qué significa para aquellos que usan AI para producir respuestas creativas, como en la redacción de marketing, la narración corporativa y las secuencias de comandos de cine/televisión/videojuegos?

Para los equipos de IA que administran la implementación de LLM, mejorar la diversidad de la producción mientras mantiene la calidad es un desafío crítico. Estos hallazgos tienen implicaciones significativas para las organizaciones que dependen del contenido generado por IA en aplicaciones como:

• IA conversacional y chatbots (asegurando respuestas variadas y atractivas).
• Herramientas de marketing de contenidos y narración de cuentos (evitando una copia repetitiva generada por IA).
• Desarrollo de juegos y diseño narrativo (creando diversos diálogo y historias de ramificación).

Para los profesionales responsables de ajustar e implementar modelos en un entorno empresarial, esta investigación proporciona:

• Un nuevo enfoque para el entrenamiento de LLM que mejora la creatividad sin sacrificar la calidad.
• Una alternativa práctica al ajuste de diversidad de tiempo de inferencia (como los ajustes de temperatura) al integrar la diversidad en el proceso de aprendizaje en sí.
• El potencial para desarrollar aplicaciones de IA más atractivas, desde herramientas de escritura asistidas por AI-AI hasta asistentes virtuales que pueden adaptar dinámicamente sus respuestas.

Para aquellos que manejan la orquestación y la automatización del modelo de IA, esta investigación destaca:

• La importancia de ajustar los modelos en la etapa de entrenamiento, reduciendo la necesidad de ajustes posteriores al procesamiento en el despliegue.
• Una forma de introducir la narración adaptativa en las aplicaciones impulsadas por la IA, asegurando la variabilidad al tiempo que mantiene alta la calidad del contenido.
• Un método para hacer que las salidas de LLM sean más humanas, lo cual es crucial para aplicaciones que requieren narración interactiva, participación del cliente o creación de contenido dinámico.

El futuro de los proyectos creativos generados por IA se ve brillante

El éxito de DDPO y DORPO demuestra que la capacitación de LLM con objetivos centrados en la diversidad puede producir mejoras significativas en la escritura creativa. Algunas ideas incluyen:

1. Integrar el aprendizaje basado en la desviación en los modelos de IA empresariales Para mejorar la diversidad de respuesta en aplicaciones orientadas al cliente.
2. Explorando cómo se aplican estos métodos a otras tareas generativascomo poesía con IA, escritura de guiones o narración de cuentos.
3. Desarrollo de enfoques de entrenamiento híbrido Ese equilibrio Capacidades de diversidad e instrucciones de seguimiento para asistentes de IA.

Para aquellos interesados ​​en aplicar estas técnicas, los investigadores planean que su código esté disponible en público en este repositorio de GitHub

Ya sea que esté ajustando las LLM para aplicaciones comerciales u optimización de la orquestación de IA a gran escala, este estudio proporciona información procesable sobre cómo los modelos pueden ser más dinámicos, atractivos y receptivos a las tareas creativas.

Al adoptar estas técnicas, los equipos de IA pueden ir más allá de los resultados rígidos y formulados, construyendo sistemas de IA que no solo son inteligentes sino que también son realmente imaginativos.

Dos fuerzas principales en inteligencia artificial (IA) incluyen Gemini 2.0 Flash de Google junto con ChatGPT O1-Pro de Opensei. Los modelos demuestran un progreso excepcional en el procesamiento del lenguaje natural y las habilidades de programación, aunque sirven funciones distintas en diferentes áreas de aplicación. Exploremos las diferentes fortalezas y deficiencias de estos modelos junto con evaluaciones comparativas detalladas.

Descripción general de los modelos

Gemini 2.0 Flash de Google: A medida que Google continúa la búsqueda del avance de IA Gemini 2.0 Flash Functions como su versión más nueva que ofrece respuestas sofisticadas a un conjunto diverso de tareas desde la codificación a través de la escritura creativa y las tareas de investigación. Dentro de su mecanismo de entorno, proporciona este programa de depuración excepcional y habilidades de codificación a través de comentarios directos. Google lanzó múltiples mejoras importantes del sistema junto con una nueva funcionalidad. El último modelo de razonamiento Flash Gemini 2.0 fortalece las características de investigación y personalización profundas. El software Gemini ahora integra una función de lienzo que coincide con las capacidades de la interfaz de ChatGPT. El sistema integra la capacidad de resumen de audio de NotebookLM que permite a los usuarios convertir resúmenes de texto en forma de podcast de audio. El sistema AI conocido como CHATGPT de OpenAI no tiene la funcionalidad del modelo de razonamiento que Gemini 2.0 Flash habilita.

Chatgpt O1-pro de Openai: La nueva versión de ChatGPT incluye habilidades mejoradas para el razonamiento lógico junto con características de razonamiento superiores de su predecesor. El sistema demuestra una excelente capacidad para crear textos que fluyen lógicamente y se mantienen relevantes para el contexto que cumple con los requisitos para explicaciones estructuradas en respuestas detalladas. La optimización del código a través de este modelo requiere indicaciones específicas de los usuarios para alcanzar su mejor potencial. Operai mejoró el chatgpt lanzando el modelo O1-Pro junto con versiones O1 y O3-Mini y O3-Mini-High. La versión O1-Pro de ChatGPT se destaca en las habilidades de razonamiento, pero tiene el precio más costoso en comparación con sus contrapartes. La versión del modelo avanzado requiere que los usuarios paguen una tarifa adicional por el acceso.

Rendimiento en la codificación

La creación de códigos presenta fortalezas distintas para cada modelo en tareas de programación:

• Géminis 2.0 flash: El modelo demuestra un rendimiento superior al crear código de pitón operativo a partir de tareas básicas. El modelo combina las mejores prácticas de la industria al mismo tiempo que ofrece respuestas adecuadas a las instrucciones de programación básicas. El sistema muestra limitaciones al enfrentar problemas inesperados complejos, ya que necesita múltiples pruebas antes de lograr soluciones exitosas.
• Chatgpt o1-pro: El sistema genera principalmente código de pitón preciso a través de sus habilidades de razonamiento lógico al tiempo que muestra resultados operativos inconsistentes. Los usuarios observan mejoras de rendimiento limitadas de O1-Pro en comparación con el modelo O1 base porque esta versión a veces puede quedarse atrás de los modelos hechos para codificar específicamente. A pesar de las limitaciones, O1-Pro sirve como una solución de programación efectiva para problemas específicos al tiempo que muestra explicaciones claras de sus enfoques de programación.

Capacidades de depuración

El proceso de depuración requiere métodos distintos de acuerdo con cada modelo de codificación, ya que esta práctica sigue siendo esencial para una programación exitosa:

• Géminis 2.0 flash: Su principal ventaja permite a los usuarios ejecutar el código y luego revisar los resultados de los resultados. La función de prueba iterativa permite a Gemini descubrir errores y resolverlos, ya que realiza pruebas sucesivas que resultan adecuadas para detectar errores de sintaxis y excepciones. La utilidad de depuración de ambos modelos mejora gracias a su amigable interfaz por mostrar tanto errores como correcciones.
• Chatgpt o1-pro: El principal beneficio de este modelo surge de su capacidad para proporcionar un razonamiento secuencial que ayuda a la depuración de trabajo. La capacidad de análisis de este sistema verifica el código del programa para detectar errores lógicos cuando genera explicaciones detalladas. Este enfoque detallado para la depuración causa tiempos de respuesta que a veces retrasan las sesiones de inspección en tiempo real para programadores.

Escritura e investigación creativa

En tareas de escritura creativa e investigación, ambos modelos demuestran sus fortalezas:

• Géminis 2.0 flash: La herramienta demuestra una creatividad efectiva, pero brilla mejor como una ayuda de investigación porque utiliza capacidades de investigación en Internet en tiempo real para ofrecer información moderna. La herramienta demuestra un rendimiento potente en las tareas que necesitan información actual junto con complejos complejos conceptuales.
• Chatgpt o1-pro: ChatGPT ofrece habilidades de conversación excepcionales junto con respuestas organizadas que le permiten ofrecer soluciones de escritura creativa excepcionales. El modelo ofrece historias convincentes junto con explicaciones exhaustivas que lo establecen como la preferencia del usuario por el desarrollo de contenido de alta calidad. El sistema está restringido de adquirir datos nuevos ya que su información de capacitación finaliza en una fecha particular.

Leer más | Explorando la nueva IA de razonamiento de Google: ¿Qué es Gemini 2.0 Flash pensando?

ChatGPT O1-Pro de OpenAI ocupa una de las posiciones más altas con respecto a los precios entre los modelos de IA existentes. Los gastos relacionados con este modelo siguen esta estructura en particular:

Estructura de precios para chatgpt o1-pro

1. Costo de suscripción:
   • El plan ChatGPT Pro, que incluye acceso a O1-Pro, cuesta $ 200 por mes. Esta suscripción proporciona a los usuarios acceso ilimitado al modelo de razonamiento O1, junto con otros modelos como O1-Mini y GPT-4O.
2. Costos de uso de tokens:
   • Para los desarrolladores que usan la API, el precio es el siguiente:
     • Tokens de entrada: $ 150 por millón de tokens.
     • Tokens de salida: $ 600 por millón de tokens.
   • Este precio indica que O1-Pro es significativamente más costoso que sus predecesores, siendo 10 veces más costoso que ChatGPT O1 y 136 veces más que O3-Mini.

Comparación con otros modelos

• En comparación con otros modelos, los costos de O1-Pro son bastante elevados. Por ejemplo, es el doble de costoso para los tokens de entrada y cuatro veces más caros para los tokens de salida que el próximo modelo GPT-4.5, que actualmente se encuentra en modo de vista previa.

Palabra final

Tanto Gemini 2.0 Flash de Google como ChatGPT O1-Pro de OpenAI ofrecen características valiosas adaptadas a diferentes necesidades de los usuarios. Las características de ejecución y depuración de codificación de Gemini 2.0 Flash lo distinguen de ChatGpt O1-Pro que se especializa en respuestas estructuradas y tareas de escritura creativa. Los usuarios deben decidir entre Gemini 2.0 Flash y ChatGPT O1-Pro en función de su preferencia entre la ayuda de codificación en tiempo real o los resultados excepcionales de calidad de contenido.