Anunciando las respuestas API y agente de uso de la computadora en Azure Ai Foundry

Estamos entusiasmados de presentar dos poderosas innovaciones en Azure Ai Foundry.

Los agentes de IA están transformando las industrias automatizando los flujos de trabajo, mejorando la productividad y permitiendo la toma de decisiones inteligentes. Las empresas están aprovechando a los agentes de IA para procesar reclamos de seguro, administrar escritorios de servicios de TI, optimizar la logística de la cadena de suministro e incluso ayudar a los profesionales de la salud a analizar los registros médicos. El potencial es vasto, y estamos entusiasmados de introducir dos innovaciones poderosas en Azure Ai Foundry:

• Respuestas API: Una potente API que permite aplicaciones con IA para recuperar información, procesar datos y tomar medidas sin problemas.
• Agente de uso de la computadora (CUA): Un modelo AI innovador que navega por las interfaces de software, ejecuta tareas y automatiza los flujos de trabajo.

Juntas, estas capacidades capacitan a las empresas para reinventar la IA no solo como asistente, sino como una fuerza laboral digital activa. Los clientes empresariales pronto obtendrán acceso a estas innovaciones que impulsan la automatización, la eficiencia y la inteligencia a escala.

Mejora de los agentes de IA con la API de respuestas

La API de las respuestas es la clave para desbloquear la IA agente en la fundición de Azure Ai, transformando cómo las empresas aprovechan la IA para el impacto del mundo real. Es la nueva base para aprovechar las potentes herramientas incorporadas del Servicio OpenAi, que combina la simplicidad de la API de finalización de chat con las capacidades avanzadas disponibles a través de la API de asistentes y el servicio de agentes de AI Azure. La API de respuestas permite una interacción perfecta con herramientas como CUA, intérprete de código, llamadas de funciones y búsqueda de archivos, todo en una sola llamada API. Esta API permite a los sistemas de IA recuperar datos, información del proceso y tomar medidas, conectando a la corriente AI de agente con flujos de trabajo empresariales.

Cómo funcionan las respuestas API

La API de respuestas proporciona un formato de respuesta estructurado que permite a la IA interactuar con múltiples herramientas mientras mantiene el contexto a través de las interacciones. Es compatible:

• Llamadas de herramientas en una simple llamada de API: Ahora, los desarrolladores pueden integrar sin problemas las herramientas de IA, haciendo que la ejecución sea más eficiente.

• Uso de la computadora: Use la herramienta de uso de la computadora dentro de la API de respuestas para impulsar la automatización y ejecutar interacciones de software.

• Búsqueda de archivos: Interactuar con los datos empresariales dinámicamente y extraer información relevante.

• Intérprete de código: Cree y ejecute el código Python sin esfuerzo dentro de las aplicaciones con AI.

• Funciones llamadas: Desarrollar e invocar funciones personalizadas para mejorar las capacidades de IA.

• Encadenamiento de respuestas en conversaciones: Realice un seguimiento de las interacciones vinculando las respuestas juntas utilizando ID de respuesta únicos, asegurando la continuidad en los diálogos impulsados ​​por la IA.

• Privacidad de datos de grado empresarial: Construido con los estándares de seguridad y cumplimiento confiables de Azure, asegurando la protección de datos para las organizaciones.

Al consolidar la recuperación, el razonamiento y la ejecución de la acción en una sola API, la API de respuestas simplifica el desarrollo del agente de IA, reduciendo la complejidad de orquestar múltiples herramientas de IA dentro de una tubería de automatización.

Esta escalabilidad lo hace bien adecuado para los casos de uso empresarial en todas las industrias, como el servicio al cliente, las operaciones de TI, las finanzas y la gestión de la cadena de suministro, donde la automatización con IA puede optimizar los flujos de trabajo y mejorar la eficiencia. Para una flexibilidad y control aún mayor, las organizaciones pueden explorar el servicio de agentes de AI Azure, que ofrece herramientas y modelos adicionales para desarrollar y escalar agentes de IA. El servicio de agente Azure AI se integra con el núcleo semántico y el autógeno, lo que permite una orquestación múltiple sin problemas para escenarios más complejos que requieren múltiples agentes que colaboren en las tareas.

Empoderar a los agentes de IA con el agente que usa la computadora

El agente de uso de la computadora (CUA) es un modelo de IA especializado en el servicio Azure OpenAI que permite a la IA interactuar con interfaces gráficas de usuario (GUI), navegar aplicaciones y automatizar tareas de varios pasos, todo a través de instrucciones de lenguaje natural. A diferencia de las herramientas de automatización tradicionales que se basan en scripts predefinidos o integraciones basadas en API, CUA puede interpretar elementos visuales, adaptarse dinámicamente y tomar medidas basadas en el contenido en pantalla.

¿Qué hace que el agente de uso de la computadora sea único?

• Navegación de interfaz de usuario autónoma: Puede abrir aplicaciones, hacer clic en botones, completar formularios y navegar en flujos de trabajo de varias páginas.
• Adaptación dinámica: Interpreta los cambios en la interfaz de usuario y ajusta las acciones en consecuencia, reduciendo la dependencia de los scripts rígidos de automatización.
• Ejecución de tareas de aplicación cruzada: Opera en aplicaciones basadas en la web y de escritorio, integrando sistemas dispares sin dependencias de API.
• Interfaz de comando del lenguaje natural: Los usuarios pueden describir una tarea en lenguaje sencillo, y el CUA determina las interacciones de interfaz de usuario correctas para ejecutar.

Con el anuncio de hoy, los desarrolladores pueden comenzar a construir capacidades de agente adicionales de inmediato con CUA. A medida que las empresas buscan implementar esta tecnología a escala, estamos evaluando la integración con Windows 365 y el escritorio virtual de Azure para permitir que la automatización de CUA se ejecute perfectamente en un entorno de host administrado en PC en la nube o máquinas virtuales (VM), asegurando un rendimiento constante mientras mantiene el cumplimiento empresarial y los estándares de seguridad.

Garantizar la automatización de IA segura y confiable

A medida que los sistemas de IA se vuelven más autónomos, garantizar la seguridad, la confiabilidad y la alineación con la intención humana es fundamental. El modelo CUA es uno de los primeros modelos de IA de agentes capaces de interactuar directamente con entornos de software, trayendo nuevos desafíos en la prevención de uso indebido, acciones no deseadas y riesgos adversos. Para abordarlos, Microsoft y OpenAI han implementado un enfoque de seguridad de varias capas que abarca el modelo, el sistema y los niveles de implementación.

El modelo CUA se desarrolla con salvaguardas para rechazar tareas dañinas, rechazar acciones no autorizadas y evitar el mal uso. A nivel del sistema, Microsoft implementa el filtrado de contenido de grado empresarial y el monitoreo de la ejecución para ayudar a detectar y prevenir violaciones de políticas. Para minimizar las acciones no deseadas, CUA está diseñado para solicitar confirmaciones del usuario antes de ejecutar tareas irreversibles y restringir acciones de alto riesgo, como transacciones financieras.

El confiable marco de IA de Microsoft garantiza aún más la observabilidad en tiempo real, la registro y la auditoría de cumplimiento para las implementaciones empresariales. Los sistemas de detección automatizados y humanos en el bucle controlan patrones de ejecución, identificando comportamientos anómalos y aplicando políticas de gobernanza. Estas salvaguardas se refinan continuamente en función de la marcha roja interna, las auditorías externas y las pruebas del mundo real para fortalecer la protección contra inyecciones inmediatas, manipulaciones adversas y acceso no autorizado. Dado el nivel de confiabilidad actual del modelo CUA, particularmente en entornos no artificiales, la supervisión humana sigue siendo muy recomendable para operaciones sensibles.

A medida que evolucionan los agentes de IA, Microsoft está comprometido con la transparencia, la seguridad y la mitigación continua de riesgos. Al combinar las salvaguardas incorporadas de CUA con las herramientas empresariales de cumplimiento y gobierno de Azure, las organizaciones pueden implementar la automatización con confianza con confianza, asegurando la adopción de IA segura y responsable a escala.

Comenzando con CUA y respuestas API

Azure Ai Foundry continúa empujando los límites de la automatización con AI. Los clientes empresariales obtendrán acceso a las respuestas API y CUA en el servicio Azure OpenAI en las próximas semanas.

Estamos emocionados de ver cómo los desarrolladores y las empresas innovan con estas nuevas capacidades.