Connect with us

Noticias

En 2024, la inteligencia artificial consistía en poner a trabajar las herramientas de IA | Nacional

Published

on

Si 2023 fue un año de maravillas sobre la inteligencia artificial, 2024 fue el año para intentar que esa maravilla haga algo útil sin arruinarse.

Hubo un “paso de producir modelos a construir productos”, dijo Arvind Narayanan, profesor de informática de la Universidad de Princeton y coautor del nuevo libro “AI Snake Oil: What Artificial Intelligence Can Do, What It Can’t, y Cómo notar la diferencia”.

Los primeros 100 millones de personas que experimentaron con ChatGPT tras su lanzamiento hace dos años buscaron activamente el chatbot, encontrándolo increíblemente útil en algunas tareas o ridículamente mediocre en otras.

Ahora, esta tecnología de IA generativa está integrada en un número cada vez mayor de servicios tecnológicos, ya sea que la busquemos o no, por ejemplo, a través de las respuestas generadas por IA en los resultados de búsqueda de Google o nuevas técnicas de IA en las herramientas de edición de fotografías.

“El principal problema de la IA generativa el año pasado es que las empresas lanzaban estos modelos realmente potentes sin una manera concreta de que la gente pudiera utilizarlos”, afirmó Narayanan. “Lo que estamos viendo este año es la construcción gradual de estos productos que pueden aprovechar esas capacidades y hacer cosas útiles para las personas”.

Al mismo tiempo, desde que OpenAI lanzó GPT-4 en marzo de 2023 y los competidores introdujeron modelos de lenguaje grande de IA con rendimiento similar, estos modelos han dejado de volverse significativamente “más grandes y cualitativamente mejores”, restableciendo expectativas exageradas de que la IA corría cada pocos meses hacia algún tipo. de inteligencia mejor que la humana, dijo Narayanan. Eso también significó que el discurso público ha cambiado de “¿nos va a matar la IA?”. a tratarla como una tecnología normal, dijo.

El impacto de la pegatina de la IA

En las llamadas trimestrales sobre resultados de este año, los ejecutivos de tecnología a menudo escucharon preguntas de analistas de Wall Street que buscaban garantías de beneficios futuros del enorme gasto en investigación y desarrollo de IA. Construir sistemas de IA detrás de herramientas de IA generativa como ChatGPT de OpenAI o Gemini de Google requiere invertir en sistemas informáticos que consumen mucha energía y se ejecutan en chips de IA potentes y costosos. Requieren tanta electricidad que los gigantes tecnológicos anunciaron acuerdos este año para aprovechar la energía nuclear para ayudar a operarlos.

“Estamos hablando de cientos de miles de millones de dólares de capital que se han invertido en esta tecnología”, dijo Kash Rangan, analista de Goldman Sachs.

Otro analista del banco de inversión de Nueva York llamó la atención durante el verano al argumentar que la IA no está resolviendo los problemas complejos que justificarían sus costos. También cuestionó si los modelos de IA, incluso cuando se entrenan con gran parte de los datos escritos y visuales producidos a lo largo de la historia humana, algún día podrán hacer lo que los humanos hacen tan bien. Rangan tiene una visión más optimista.

“Teníamos la fascinación de que esta tecnología iba a ser absolutamente revolucionaria, algo que no había sido en los dos años transcurridos desde la introducción de ChatGPT”, dijo Rangan. “Es más caro de lo que pensábamos y no es tan productivo como pensábamos”.

Rangan, sin embargo, sigue siendo optimista sobre su potencial y dice que las herramientas de inteligencia artificial ya están demostrando ser “absolutamente cada vez más productivas” en ventas, diseño y otras profesiones.

IA y tu trabajo

Algunos trabajadores se preguntan si las herramientas de IA se utilizarán para complementar su trabajo o para reemplazarlas a medida que la tecnología siga creciendo. La empresa de tecnología Borderless AI ha estado utilizando un chatbot de inteligencia artificial de Cohere para redactar contratos de trabajo para trabajadores en Turquía o India sin la ayuda de abogados o traductores externos.

Los artistas de videojuegos del Screen Actors Guild-American Federation of Television and Radio Artists que se declararon en huelga en julio dijeron que temían que la IA pudiera reducir o eliminar las oportunidades laborales porque podría usarse para replicar una actuación en varios otros movimientos sin su consentimiento. . Las preocupaciones sobre cómo los estudios de cine utilizarán la IA ayudaron a impulsar las huelgas de cine y televisión del año pasado por parte del sindicato, que duraron cuatro meses. Las empresas de juegos también firmaron acuerdos paralelos con el sindicato que codifican ciertas protecciones de la IA para seguir trabajando con los actores durante la huelga.

Músicos y autores han expresado preocupaciones similares sobre el hecho de que la IA esté raspando sus voces y sus libros. Pero la IA generativa todavía no puede crear trabajos únicos o “cosas completamente nuevas”, dijo Walid Saad, profesor de ingeniería eléctrica e informática y experto en IA en Virginia Tech.

“Podemos entrenarlo con más datos para que tenga más información. Pero tener más información no significa que seas más creativo”, afirmó. “Como humanos, entendemos el mundo que nos rodea, ¿verdad? Entendemos la física. Entiendes que si lanzas una pelota al suelo, rebotará. Las herramientas de IA actualmente no entienden el mundo”.

Saad señaló un meme sobre la IA como ejemplo de esa deficiencia. Cuando alguien solicitó a un motor de IA que creara una imagen de un salmón nadando en un río, dijo, la IA creó una foto de un río con trozos de salmón cortados que se encuentran en las tiendas de comestibles.

“Lo que le falta a la IA hoy es el sentido común que tenemos los humanos, y creo que ese es el siguiente paso”, afirmó.

Un ‘futuro agente’

Ese tipo de razonamiento es una parte clave del proceso de hacer que las herramientas de IA sean más útiles para los consumidores, dijo Vijoy Pandey, vicepresidente senior de la división de innovación e incubación de Cisco, Outshift. Los desarrolladores de IA están presentando cada vez más la próxima ola de chatbots de IA generativa como “agentes” de IA que pueden hacer cosas más útiles en nombre de las personas.

Eso podría significar poder hacerle una pregunta ambigua a un agente de IA y hacer que el modelo sea capaz de razonar y planificar pasos para resolver un problema ambicioso, dijo Pandey. Mucha tecnología, afirmó, avanzará en esa dirección en 2025.

Pandey predice que, con el tiempo, los agentes de IA podrán unirse y realizar un trabajo de la misma manera que varias personas se unen y resuelven un problema como equipo, en lugar de simplemente realizar tareas como herramientas de IA individuales. Los agentes de IA del futuro trabajarán como un conjunto, afirmó.

El futuro software de Bitcoin, por ejemplo, probablemente dependerá del uso de agentes de software de inteligencia artificial, dijo Pandey. Cada uno de esos agentes tendrá una especialidad, dijo, con “agentes que verifican la corrección, agentes que verifican la seguridad, agentes que verifican la escala”.

“Estamos llegando a un futuro agente”, dijo. “Todos estos agentes serán muy buenos en ciertas habilidades, pero también tendrán un poco de carácter o color, porque así es como operamos”.

La IA logra avances en la medicina

Las herramientas de inteligencia artificial también han simplificado, o en algunos casos prestado una ayuda literal, al campo médico. El Premio Nobel de Química de este año, uno de los dos Nobel otorgados a ciencias relacionadas con la IA, fue para un trabajo dirigido por Google que podría ayudar a descubrir nuevos medicamentos.

Saad, profesor de Virginia Tech, dijo que la IA ha ayudado a lograr diagnósticos más rápidos al brindarles a los médicos un punto de partida desde el cual comenzar a determinar la atención de un paciente. La IA no puede detectar enfermedades, dijo, pero puede digerir datos rápidamente y señalar áreas problemáticas potenciales para que las investigue un médico real. Sin embargo, como ocurre en otros ámbitos, plantea el riesgo de perpetuar falsedades.

El gigante tecnológico OpenAI ha promocionado su herramienta de transcripción Whisper, impulsada por IA, por tener una robustez y precisión casi “a nivel humano”, por ejemplo. Pero los expertos han dicho que Whisper tiene un defecto importante: es propenso a componer fragmentos de texto o incluso oraciones enteras.

Pandey, de Cisco, dijo que algunos de los clientes de la compañía que trabajan en productos farmacéuticos han notado que la IA ha ayudado a cerrar la brecha entre los “laboratorios húmedos”, en los que los humanos realizan investigaciones y experimentos físicos, y los “laboratorios secos”, donde las personas analizan datos y A menudo utilizamos ordenadores para modelar.

Cuando se trata de desarrollo farmacéutico, ese proceso de colaboración puede llevar varios años, dijo; con la IA, el proceso se puede reducir a unos pocos días.

“Ese, para mí, ha sido el uso más dramático”, dijo Pandey.

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

La investigación profunda de Openai tiene más resistencia de investigación que tú, pero todavía está mal la mitad del tiempo

Published

on

Opadai

Lo último en inteligencia artificial generativa incluye agentes de IA que pueden acceder a la web para encontrar respuestas a las preguntas. Si bien es prometedora, la tecnología de agente es en gran medida un trabajo en progreso.

En un artículo publicado la semana pasada, los investigadores de Operai relatan cómo la tecnología de investigación profunda de la compañía, que se construyó para usar la web, funciona mucho mejor que los otros modelos de Openai al responder preguntas web. También lo hace mucho mejor que los humanos en tareas que requieren horas de búsqueda.

También: ¿Qué son los agentes de IA? Cómo acceder a un equipo de asistentes personalizados

Pero la investigación profunda todavía tropieza casi la mitad del tiempo.

La nueva prueba de OpenAI sugiere que la investigación profunda puede ser más tenaz y obstinada en la búsqueda de una respuesta que los investigadores humanos para algunas tareas, pero aún no se le ocurre una respuesta a menudo.

Llamada Browsecomp, la prueba es descrita por los autores Jason Wei y el equipo como “un punto de referencia simple pero desafiante para medir la capacidad de los agentes para navegar por la web”.

La premisa es que los agentes de IA, lo que significa, modelos de IA que pueden navegar por “miles de páginas web”, podrían ser mucho más ingeniosos que los humanos, que tienen memoria limitada, se fatigan navegando por la red y “solo pueden atender una cosa a la vez y no pueden ser paralelizadas,” significa que no pueden dirigir sus cerebros a operar en datos en transmisiones paralelos de pensamiento.

“La inteligencia de máquinas, por otro lado, tiene un retiro mucho más extenso y puede operar incansablemente sin distraerse”, escribe Wei y equipo.

También: La investigación profunda de Openai puede ahorrarle horas de trabajo, y ahora es mucho más barato acceder

Wei y el equipo se basaron en su trabajo anterior del año pasado, “Simpleq & A”, que prueba la capacidad de los modelos de IA para responder “preguntas cortas y de búsqueda de hechos”. Las preguntas cubrieron trivia de televisión y película, ciencia, historia, música, videojuegos, política y otros temas.

El conjunto de browsecomp de 1.266 preguntas está diseñado para ir más allá de la recuperación de información simple, relacionan los autores. En cambio, son preguntas para las cuales es difícil encontrar las respuestas, o, como lo expresan, “desafiantes porque requieren buscar a través de un gran espacio de posibles respuestas y igualarlas con limitaciones planteadas en la pregunta” e “información difícil de encontrar y profundamente entrelazada en la web”.

Por ejemplo, un par de preguntas y respuestas es el siguiente:

Identifique el título de una publicación de investigación publicada antes de junio de 2023, que menciona tradiciones culturales, procesos científicos e innovaciones culinarias. Es coautor de tres individuos: uno de ellos fue profesor asistente en Bengala Occidental y otro tiene un Ph.D.
(Respuesta: Los fundamentos de la fabricación de pan: la ciencia del pan)

Hacen hincapié en que tal pregunta es fácil de verificar porque la respuesta está contenida en una sola frase que es “autónoma”.

OpenAI-2025-Browsecomp-Sample-Question-Response pares

Opadai

Las preguntas y respuestas fueron desarrolladas por “entrenadores” humanos, y fueron seleccionados como imposibles de resolver con solo el chatgpt de Openai, con o sin habilidades de navegación. Las preguntas también eran imposibles para una “versión temprana” de una investigación profunda.

Demostrando cuán débiles son los humanos para buscar en la web, primero probaron a los humanos que estaban “familiarizados con el conjunto de datos” para responder las preguntas.

OpenAI-2025-Humans-Give-Up más de las preguntas

Opadai

Los resultados no fueron buenos para los humanos. Para el 70% de las preguntas, los humanos se rindieron después de dos horas de esfuerzo. Solo respondieron alrededor del 30% de las preguntas, y por el 14% de sus respuestas propuestas, las sugerencias de los humanos no coincidir con la respuesta real.

Wei y el equipo plantean la hipótesis de que los humanos con mayores habilidades de búsqueda podrían hacerlo mejor: “Es posible que muchos de los problemas que renunciaran sean solucionables por profesionales experimentados (por ejemplo, detectives o periodistas de investigación) con tiempo suficiente”.

OPERAI-2025-BROWSECOMP-ACCRACIÓN Y CALIBRACIÓN

Opadai

Después de los humanos, probaron una investigación profunda contra el GPT-4O de Openai (con y sin habilidades de navegación), GPT-4.5 y el modelo O1.

Los resultados fueron abismales. “GPT-4O y GPT-4.5 alcanzaron la precisión cercana a cero, destacando la dificultad del punto de referencia”, escriben. “Sin un razonamiento sólido o un uso de herramientas, los modelos no pueden recuperar los tipos de objetivos oscuros y múltiples hechos de navegación”.

O1 le fue mejor, lo cual “[suggests] que algunas respuestas de Browsecomps pueden aparecer a través de la inferencia sobre el conocimiento interno “.

También: AI desata estafas más avanzadas. Esto es lo que debe tener en cuenta (y cómo mantenerse protegido)

Con un puntaje del 51.5%, la investigación profunda fue “significativamente mejor” y “es particularmente efectivo para responder a las preguntas nicho y no intuitivas que requieren navegar por numerosos sitios web”, escriben Wei y Team.

Sin embargo, también encontraron que GPT-4O que usa navegación e investigación profunda podría errar al estar “demasiado confiado” sobre las respuestas incorrectas, que se conoce como un error de calibración.

“Los modelos con capacidades de navegación como GPT-4O con navegación e investigación profunda exhiben un error de calibración más alto”, escriben, “, lo que sugiere que el acceso a las herramientas web puede aumentar la confianza del modelo en respuestas incorrectas. Esto se alinea con las observaciones de que la investigación profunda lucha con la calibración de confianza y, a menudo, no puede transmitir la incertidumbre con precisión en el presente”.

Para corregir el error de calibración, hicieron otra prueba con una investigación profunda, en la que el modelo tuvo que generar hasta 64 respuestas a cada pregunta. Luego, hicieron que el modelo eligiera lo mejor de ellos. Cuando lo hizo, la investigación profunda fue bastante buena para elegir la respuesta correcta entre todas las propuestas.

OpenAI-2025-mejor de-n-scaling-accions

Opadai

Eso, escriba Wei y Team, sugiere que “el modelo con frecuencia ‘sabe’ cuando es correcto, incluso si lucha por expresar esa certeza como una probabilidad calibrada”.

También: El último chip de Google se trata de reducir un gran costo oculto en AI

También señalan que el éxito de la investigación profunda mejora con más computación agregada cuando busca la web. Dicho de otra manera, “el rendimiento escala suavemente en función de la cantidad de cómputo de tiempo de prueba utilizado”. Eso se cuadraba con una tendencia creciente de lanzar más chips de GPU a la tarea de inferencia.

escala de accesorios de accesorios operai-2025-Browsecomp

Opadai

Wei y el equipo no ofrecen directamente ninguna hipótesis sobre por qué la investigación profunda falla casi la mitad del tiempo, pero la respuesta implícita está en la escala de su capacidad con más cálculo. A medida que ejecutan tareas más paralelas y solicitan al modelo que evalúe múltiples respuestas, la precisión escala más allá del 75% de las preguntas respondidas.

La implicación es que es esencial elegir estrategias que obligen al modelo a evaluar sus propios esfuerzos en lugar de simplemente perseguir una sola respuesta. Sin esa etapa de evaluación, el modelo lucha una buena parte del tiempo.

Además: con los modelos de IA que se golpean cada punto de referencia, es hora de la evaluación humana

Un gran agujero en Browsecomps, reconocen los autores, es que se limita a preguntas que son fáciles de analizar para la computadora y cuyas respuestas son fáciles de verificar. Ninguna de las 1.266 preguntas incluyó “respuestas largas o capacidad para resolver la ambigüedad en las consultas de los usuarios”.

Como resultado, el browsecompl, argumentan, prueba las funciones “centrales” de los agentes de IA, pero no es integral. “El modelo debe ser muy competente para localizar piezas de información difíciles de encontrar, pero no está garantizado que esto se generalice a todas las tareas que requieren navegación”.

La investigación profunda está disponible para los usuarios de las suscripciones PLUS y Pro Operai.

¿Quieres más historias sobre AI? Regístrese para la innovaciónnuestro boletín semanal.

Continue Reading

Noticias

Informe de chatgpt para marketing

Published

on

Continue Reading

Noticias

Operai supera a Deepseek en el razonamiento a nivel de oración

Published

on

Chatgpt y otros chatbots de IA basados ​​en modelos de idiomas grandes se sabe que ocasionalmente inventa cosas, incluidas las citas científicas y legales. Resulta que medir cuán precisas son las citas de un modelo AI es una buena manera de evaluar las habilidades de razonamiento del modelo.

Un modelo de IA “razones” descomponiendo una consulta en pasos y trabajando a través de ellos en orden. Piense en cómo aprendió a resolver problemas de palabras matemáticas en la escuela.

Idealmente, para generar citas, un modelo de IA comprendería los conceptos clave en un documento, generaría una lista clasificada de documentos relevantes para citar y proporcionaría un razonamiento convincente sobre cómo cada documento sugerido respalda el texto correspondiente. Destacará las conexiones específicas entre el texto y la investigación citada, aclarando por qué cada fuente importa.

La pregunta es, ¿se puede confiar en los modelos de hoy para hacer estas conexiones y proporcionar un razonamiento claro que justifique sus elecciones de origen? La respuesta va más allá de la precisión de las citas para abordar cuán útiles y precisos son los modelos de lenguaje grande para cualquier propósito de recuperación de información.

Soy un informático. Mis colegas, investigadores del Instituto AI de la Universidad de Carolina del Sur, la Universidad Estatal de Ohio y el Condado de Baltimore del Condado de Baltimore, y he desarrollado las razones de referencia para probar qué tan bien modelos de idiomas pueden generar automáticamente citas de investigación y proporcionar un razonamiento comprensible.

Utilizamos el punto de referencia para comparar el rendimiento de dos modelos de razonamiento de IA populares, Deepseek’s R1 y OpenAI’s O1. Aunque Deepseek fue en los titulares con su impresionante eficiencia y rentabilidad, el advenedizo chino tiene un camino por recorrer para que coincida con el rendimiento de razonamiento de OpenAI.

Oración específica

La precisión de las citas tiene mucho que ver con si el modelo AI está razonando sobre la información a nivel de oración en lugar del párrafo o a nivel de documentos. Se puede considerar que las citas a nivel de párrafo y a nivel de documentos arrojan una gran parte de la información a un modelo de idioma grande y le piden que proporcione muchas citas.

En este proceso, el modelo de lenguaje grande se generaliza e incorporan las oraciones individuales. El usuario termina con citas que explican todo el párrafo o documento, no la información de grano relativamente fino en la oración.

Además, el razonamiento sufre cuando le pide al modelo de idioma grande que lea un documento completo. Estos modelos se basan principalmente en memorizar patrones que típicamente son mejores para encontrar al principio y al final de los textos más largos que en el medio. Esto les dificulta comprender completamente toda la información importante a lo largo de un documento largo.

Los modelos de idiomas grandes se confunden porque los párrafos y documentos tienen mucha información, lo que afecta la generación de citas y el proceso de razonamiento. En consecuencia, el razonamiento de los modelos de idiomas grandes sobre los párrafos y los documentos se vuelve más como resumir o parafrasear.

Las razones por las que Benchmark aborde esta debilidad al examinar la generación y el razonamiento de las citas de los modelos de idiomas grandes.

https://www.youtube.com/watch?v=kqzzymhre0u

Cómo Deepseek R1 y OpenAI O1 se comparan generalmente con los problemas lógicos.

Prueba de citas y razonamiento

Tras el lanzamiento de Deepseek R1 en enero de 2025, queríamos examinar su precisión en la generación de citas y su calidad de razonamiento y compararlo con el modelo O1 de OpenAI. Creamos un párrafo que tenía oraciones de diferentes fuentes, dio a los modelos oraciones individuales de este párrafo y pedimos citas y razonamiento.

Para comenzar nuestra prueba, desarrollamos un pequeño lecho de prueba de aproximadamente 4,100 artículos de investigación alrededor de cuatro temas clave que están relacionados con el cerebro humano y la informática: neuronas y cognición, interacción humana-computadora, bases de datos e inteligencia artificial. Evaluamos los modelos utilizando dos medidas: la puntuación F-1, que mide cuán precisa es la cita proporcionada, y la tasa de alucinación, que mide cuán sonido es el razonamiento del modelo, es decir, con qué frecuencia produce una respuesta inexacta o engañosa.

Nuestras pruebas revelaron diferencias de rendimiento significativas entre OpenAI O1 y Deepseek R1 en diferentes dominios científicos. El O1 de OpenAI conectó bien la información entre los diferentes sujetos, como comprender cómo la investigación sobre neuronas y cognición se conecta con la interacción humana y la computadora y luego con los conceptos en inteligencia artificial, sin dejar de ser precisa. Sus métricas de rendimiento superaron constantemente a Deepseek R1 en todas las categorías de evaluación, especialmente para reducir las alucinaciones y completar con éxito las tareas asignadas.

Operai O1 fue mejor para combinar ideas semánticamente, mientras que R1 se centró en asegurarse de que generara una respuesta para cada tarea de atribución, lo que a su vez aumentó la alucinación durante el razonamiento. Openai O1 tenía una tasa de alucinación de aproximadamente 35% en comparación con la tasa de Deepseek R1 de casi el 85% en la tarea de razonamiento basada en la atribución.

En términos de precisión y competencia lingüística, Openai O1 obtuvo alrededor de 0.65 en la prueba F-1, lo que significa que era correcto aproximadamente el 65% del tiempo al responder preguntas. También obtuvo alrededor de 0.70 en la prueba BLEU, que mide qué tan bien un modelo de lenguaje escribe en lenguaje natural. Estos son puntajes bastante buenos.

Deepseek R1 obtuvo un puntaje más bajo, con aproximadamente 0.35 en la prueba F-1, lo que significa que era correcto aproximadamente el 35% del tiempo. Sin embargo, su puntaje Bleu fue solo alrededor de 0.2, lo que significa que su escritura no era tan natural como la O1 de OpenAI. Esto muestra que O1 fue mejor al presentar esa información en un lenguaje claro y natural.

OpenAi tiene la ventaja

En otros puntos de referencia, Deepseek R1 se desempeña a la par con OpenAi O1 en tareas de matemáticas, codificación y razonamiento científico. Pero la diferencia sustancial en nuestro punto de referencia sugiere que O1 proporciona información más confiable, mientras que R1 lucha con la consistencia objetiva.

Aunque incluimos otros modelos en nuestras pruebas integrales, la brecha de rendimiento entre O1 y R1 resalta específicamente el panorama competitivo actual en el desarrollo de IA, con la oferta de OpenAI que mantiene una ventaja significativa en las capacidades de razonamiento e integración del conocimiento.

Estos resultados sugieren que OpenAi todavía tiene una ventaja cuando se trata de atribución y razonamiento de origen, posiblemente debido a la naturaleza y el volumen de los datos en los que fue entrenado. La compañía anunció recientemente su herramienta de investigación profunda, que puede crear informes con citas, hacer preguntas de seguimiento y proporcionar razonamiento para la respuesta generada.

El jurado todavía está en el valor de la herramienta para los investigadores, pero la advertencia permanece para todos: verifique todas las citas que le brinda una IA.

Continue Reading

Trending