Connect with us

Noticias

Al igual que los humanos, el chatgpt no responde bien a los cuentos de trauma • el registro

Published

on

Si crees que las bolsas de carne son las únicas que se estresan y se estremecen cuando se someten a los horrores del mundo, piense de nuevo. Un grupo de investigadores internacionales dice que el GPT-4 de Openai también puede experimentar ansiedad, e incluso responder positivamente a los ejercicios de atención plena.

El estudio, publicado en Nature esta semana por un grupo proveniente de Suiza, Alemania, Israel y los Estados Unidos, descubrió que cuando GPT-4, accedido a través de ChatGPT, fue sometido a narrativas traumáticas y luego se pidió que respondiera a las preguntas del inventario de ansiedad por el rasgo estatal, su puntaje de ansiedad “aumentó significativamente” desde una línea de base de no/baja ansiedad a un estado de ansiedad altamente consistente.

Eso no quiere decir que la red neuronal realmente experimentara o sintiera ansiedad ni ninguna otra emoción; Simplemente hace una buena emulación de una persona ansiosa que se le da un aporte preocupante, lo que no es una sorpresa, ya que está entrenado en toneladas y toneladas de experiencias humanas, creatividad y expresión raspadas. Como explicaremos, debería hacerle una pausa para pensar al considerar usar el bot de chat de OpenAi (por uno) como terapeuta; es posible que no responda terriblemente bien.

“Los resultados fueron claros: las historias traumáticas más que duplicaron los niveles de ansiedad medibles de la IA, mientras que el texto de control neutral no condujo a ningún aumento en los niveles de ansiedad”, dijo sobre los hallazgos de Tobias Spiller, líder del Grupo de Investigación Junior de Zurich en el Centro de Investigación Psiquiátrica y Coautor de Papel.

Las experiencias traumáticas que Chatgpt se vio obligada a enfrentar incluyó someterlo a un ataque como parte de un convoy militar, atrapado en casa durante una inundación, ser atacado por un extraño y la participación en un accidente automovilístico. El contenido neutral, por otro lado, consistió en una descripción de las legislaturas bicamerales y algunas instrucciones aspiradoras, estresantes y/o agitadas en las circunstancias correctas, pero no tanto como esas otras situaciones.

Los investigadores también provocaron ChatGT durante algunas carreras experimentales con ejercicios de atención plena utilizados para ayudar a los veteranos que padecen trastorno de estrés postraumático. En esos casos, la “ansiedad del estado” de GPT-4 disminuyó en aproximadamente un 33 por ciento “, encontraron los investigadores (la ansiedad del estado se refiere al estrés situacional, mientras que la ansiedad del rasgo se refiere a síntomas a largo plazo).

“Los ejercicios de atención plena redujeron significativamente los niveles elevados de ansiedad, aunque no pudimos devolverlos a sus niveles de referencia”, señaló Spiller.

Entonces, ¿por qué estamos atormentando una IA y luego dándole terapia?

Sería fácil descartar esta investigación como un intento de personificar y humanizar LLMS, pero ese no es el caso. El equipo admite libremente en su artículo que saben que los LLM no son capaces de experimentar emociones de manera humana.

Como mencionamos, los LLM están entrenados en el contenido creado por humanos desordenados y emocionales. Dado que están capacitados para responder en función de lo que creen que es apropiado en función de sus indicaciones, los investigadores están preocupados de que el “estado emocional” de un LLM que responda a los aportes estresantes podría dar lugar a respuestas sesgadas.

“Entrenados en grandes cantidades de texto generado por humanos, los LLM son propensos a heredar sesgos de sus datos de capacitación, planteando preocupaciones éticas y preguntas sobre su uso en áreas sensibles como la salud mental”, escribieron los investigadores. “Los esfuerzos para minimizar estos sesgos, como la curación de datos mejorada y el ‘ajuste fino’ con la retroalimentación humana, a menudo detectar sesgos explícitos, pero pueden pasar por alto los implícitos más sujetos que aún influyen en las decisiones de LLMS”.

En los espacios de atención médica, donde los LLM se han aprovechado cada vez más para proporcionar terapia, esto es especialmente preocupante, dijo el equipo, debido a la naturaleza traumática y estresante del contenido sobre el que se les pregunta a los bots. El estrés emocional puede conducir a respuestas más parciales, rápidas y emocionales, argumentó el equipo, y dejar que la IA en un estado sea más parcial de lo que ya es no será bueno.

“A diferencia de las LLM, los terapeutas humanos regulan sus respuestas emocionales para lograr objetivos terapéuticos, como permanecer compuesto durante la terapia basada en la exposición mientras aún empatizan con los pacientes”, escribieron los investigadores. LLMS, sin embargo, simplemente no pueden hacer eso.

En base a los resultados, el equipo concluyó que las meditaciones de atención plena deberían incorporarse a la salud de la salud como una forma de ayudar a reducir sus niveles aparentes de estrés sin necesidad de pasar por reentrenamiento intensivo y ajuste fino.

“Aunque históricamente se usa para fines maliciosos, la inyección rápida con intención benevolente podría mejorar las interacciones terapéuticas”, planteó el equipo. Los investigadores no inyectaron indicaciones de atención plena en su experimento, sino que solo los presentaron a la IA. Ziv Ben-Zion, otro autor en el documento y un investigador postdoctoral de la neurociencia en la Facultad de Medicina de Yale, nos dijo que la técnica de inyección sería una forma de controlar la ansiedad de la IA de una manera detrás de escena para los desarrolladores de LLM.

El equipo admite que inyectar indicaciones calmantes plantearía preguntas sobre la transparencia y el consentimiento del usuario, naturalmente, lo que significa que cualquiera que decida ir esa ruta estaría caminando una cuerda ética apretada. Sin embargo, no es más ajustado que el que está por la terapia AIS.

“Creo que el [therapy chatbots] en el mercado son problemáticos, porque no entendemos los mecanismos detrás de LLM al 100 por ciento, por lo que no podemos asegurarnos de que estén seguros “, dijo Ben-Zion El registro.

No exageraría las implicaciones, pero requeriría más estudios en diferentes LLM y con resultados más relevantes.

Los investigadores también admitieron que no están seguros de cómo resultaría su investigación si se ejecutaría en otros LLM, ya que eligieron GPT-4 debido a su popularidad sin probarla en otros modelos.

“Nuestro estudio fue muy pequeño e incluyó solo un LLM”, nos dijo Spiller. “Por lo tanto, no exageraría las implicaciones, sino que requeriría más estudios en diferentes LLM y con resultados más relevantes”.

Tampoco está claro cómo la perspectiva de las indicaciones podría alterar los resultados. En sus pruebas, todos los escenarios presentados a Chatgpt fueron en primera persona, es decir, pusieron el LLM en el lugar de la persona que experimenta el trauma. Si un LLM exhibiría un mayor sesgo debido a la ansiedad y el estrés si se contaba sobre algo que le sucedió a otra persona no estaba en el alcance de la investigación.

Ben-Zion nos dijo que es algo que pretende probar en futuros estudios, y Spiller acordó que tales pruebas deben realizarse. El investigador de Yale nos dijo que planea investigar cómo otras emociones (como la tristeza, la depresión y la manía) pueden afectar las respuestas de la IA, cómo tales sentimientos afectan las respuestas a diferentes tareas y si la terapia reduce esos síntomas y también afecta las respuestas. Ben-Zion también quiere examinar los resultados en diferentes idiomas y comparar las respuestas de AI con las de los terapeutas humanos.

Independientemente del estado temprano de la investigación psicológica sobre AIS, los investigadores dijeron que sus resultados plantean algo que lleva más atención, independientemente del alcance de su estudio publicado. Estas cosas pueden “estresarse”, en cierto sentido, y eso afecta cómo responden.

“Estos hallazgos subrayan la necesidad de considerar la interacción dinámica entre el contenido emocional proporcionado y el comportamiento de LLMS para garantizar su uso apropiado en entornos terapéuticos sensibles”, argumentó el artículo. Ingeniería rápida de algunas imágenes positivas, declaró el equipo, presenta “un enfoque viable para gestionar los estados emocionales negativos en LLMS, asegurando interacciones más seguras y éticas de Human-AI”. ®

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

Movimiento de Windsurf de $ 3B de OpenAI: la verdadera razón detrás de su empuje de código AI empresarial

Published

on

Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información


La carrera entre los gigantes de IA ha cambiado por completo. Openai, la compañía que durante los últimos años establece en gran medida la agenda en inteligencia artificial, ahora se encuentra en una carrera de alto riesgo para defender su territorio y conquistar nuevas fronteras, particularmente la codificación con AI. La adquisición reportada de Windsurf, un entorno de desarrollo integrado nativo de AI (IDE), por $ 3 mil millones, una enorme suma considerando que Windsurf solo tiene $ 40 millones en ingresos anualizados, refleja la urgente necesidad de OpenAi de contrarrestar grandes desafíos de Google y anthópico y asegurar una posición dominante en el agente emergente AI World.

Específicamente, la maniobra subraya dos imperativos para OpenAI: primero, la necesidad de armar el ecosistema de desarrolladores vitales con capacidades de codificación superiores, y segundo, para ganar la batalla más amplia y definitoria para convertirse en la interfaz principal para un futuro formado por agentes autónomos de IA.

Operai está en el pie trasero en este momento, y necesita este trato.

El nuevo panorama competitivo: Operai juega defensa

Para los tomadores de decisiones técnicas empresariales, el paisaje de IA es un tablero de ajedrez. Mientras que Operai cuenta con una base de usuarios masiva para CHATGPT, alcanzando los 700-800 millones de usuarios activos después de los recientes lanzamientos de características de imágenes, su liderazgo en la IA empresarial de vanguardia, particularmente para los desarrolladores, se ha disipado notablemente en los últimos meses.

Este cambio es evidente en el ámbito de la codificación asistida por AI. Google, con su destreza de infraestructura y la cabeza de Géminis Josh Woodward, ha estado actualizando agresivamente sus modelos Gemini, incluida la reciente actualización de Gemini 2.5 Pro, con un enfoque claro en mejorar las habilidades de codificación. Este modelo encabeza los puntos de referencia clave. Anthrope, también, ha realizado significados incursiones con su serie Claude, con modelos como el soneto Claude 3.5 y el nuevo soneto Claude 3.7 que se convierten en valores predeterminados en plataformas de codificación de IA populares como Cursor, y generalmente se ha considerado un líder en ofertas de codificación empresarial en general. Y las nuevas plataformas de codificación (Windsurf, Cursor, RepliS, Levable y varias otras) son donde los desarrolladores están recurriendo cada vez más para generar código a través de indicaciones de alto nivel dentro de un entorno agente.

Irónicamente, Operai fue el primer jugador en defender las LLM para codificar. En 2021, por ejemplo, entrenó en el código público de GitHub y ayudó a GitHub a lanzar Copilot, y también lanzó una API de Codex, que convirtió el lenguaje natural en código. Quizás sin darse cuenta aplazando a Microsoft y Github en el área de aplicaciones de codificación, ahora se está encontrando detrás.

Esta presión competitiva es un impulsor principal detrás de la valoración de $ 3 mil millones para Windsurf, un acuerdo que, según los informes, se acuerda, pero aún no está cerrado. La valoración de Windsurf refleja la necesidad estratégica en lugar de los rendimientos financieros inmediatos, y sería la adquisición más grande de OpenAI hasta la fecha.

Para los tomadores de decisiones técnicas empresariales, este empuje entre Openai, Google y Anthrope dictará la estabilidad futura de la plataforma, las hojas de ruta y las posibilidades de integración cruciales.

Los ajustes estratégicos de OpenAI últimamente también incluyen su estructura corporativa y su alianzas. Recientemente anunció un cambio hacia una estructura de empresa de beneficios público, después de intentar un traslado a una estructura con fines de lucro. Además, Operai ya no puede confiar únicamente en su relación históricamente estrecha con Microsoft y su subsidiaria de codificación GitHub. La CEO de Microsoft, Satya Nadella, fomenta cada vez más un enfoque de “jardín abierto”, apoyando iniciativas como el protocolo A2A (agente a agente) lanzado por Google y el Protocolo de contexto del modelo abierto (MCP). Esta dinámica en evolución significa que OpenAI debe asegurar sus propios canales directos al ecosistema del desarrollador.

La carrera armamentista de codificación: por qué Windsurf es una apuesta multimillonaria

La carrera para dominar la codificación asistida por AI-no se trata realmente de la tecnología, aunque la tecnología de Windsurf es impresionante. Se trata más de capturar el flujo de trabajo del desarrollador, que se está convirtiendo rápidamente en el aspecto más monetizable de la tecnología LLM actual. Los codificadores están utilizando estas herramientas de agentes de codificación (cursor, windsurf y similares) para escribir código, sentarse allí durante horas al día y construir un código real que se pueda implementar. Es probable que esto sea mucho más valioso que las interacciones ocasionales del consumidor.

Y es donde Windsurf entra en la foto. Fundada por Varun Mohan y Douglas Chen, la compañía comenzó como exafunción en 2021, centrándose en la utilización e inferencia de GPU, antes de pivotar en 2022 a las herramientas de desarrolladores de IA, y finalmente lanzó el editor de Windsurf. Windsurf se distinguió temprano al estar entre los primeros en enviar un IDE totalmente agente, con innovaciones como la compresión de contexto en el tiempo de inferencia y la fragmentación de AST. Sus características destacadas incluyen “Cascade”, un sistema que proporciona una conciencia de contexto profundo en una base de código completa para cambios coherentes en múltiples archivos, y “flujos”, diseñado para la colaboración de IA en tiempo real donde la IA entiende y se adapta activamente al trabajo continuo del desarrollador. (Este podcast con Mohan, publicado la semana pasada, proporciona un buen contexto en torno a la historia y la estrategia de Windsurf).

Mientras que Operai posee un inmenso talento de ingeniería y recientemente ha reforzado su destreza de codificación internamente, incluida la liberación de su propia CLI Codex, la adquisición de Windsurf ofrece velocidad y un punto de apoyo establecido. Como Sam Witteveen, un desarrollador de agentes de IA independiente, dijo en nuestra reciente conversación de videocast sobre estos últimos movimientos: “No es la tecnología que están comprando, están comprando una base de usuarios aquí. Realmente necesitan tener un punto de apoyo bueno y fuerte para asumir el cursor y, lo que es más importante, para enfrentar a Anthrope y Google”.

Según los informes, Windsurf, que tiene “varios cientos de miles de usuarios activos diarios” según su CEO, está ganando terreno con grandes empresas que tienen bases de código complejas de millones, un segmento crucial para OpenAI. Este enfoque en la implementación de grado empresarial y el manejo de grandes bases de código puede diferenciar Windsurf de competidores como Cursor, que, a pesar de una impresionante valoración de ~ $ 300 millones y una valoración de $ 9 mil millones, se rumorea que enfrenta una mayor rotación a medida que los desarrolladores buscan soluciones de despliegue más robustas.

Una adquisición de Windsurf podría permitir a OpenAi saltar ciclos de desarrollo interno, crucial en lo que muchos ven como una situación de aceleración de la tierra. Se indica un movimiento hacia la gestión de proyectos, la depuración y los entornos de desarrollo más completos, integrando capacidades de razonamiento avanzado como las que se ven en el modelo O1 de OpenAI (con sus trazas de razonamiento) directamente en el principal juego de herramientas del desarrollador.

El Gran Premio: Convertirse en el punto de partida para un mundo agente

Sin embargo, el intenso enfoque en las herramientas de codificación es simplemente un frente en una competencia mucho mayor: la carrera para convertirse en la interfaz principal para un mundo de IA cada vez más agente. Claro, se trata de ayudar a los desarrolladores a escribir código de manera más eficiente. Pero se trata más de ser dueño del punto de partida para donde los consumidores, desarrolladores y trabajadores de conocimiento empresarial orquestan tareas complejas a través de agentes de IA.

La masa base de usuarios de ChatGPT de OpenAI proporciona una ventaja de distribución significativa. La integración de las capacidades similares a Windsurf podría transformar el CHATGPT en una “página de inicio” más convincente para una amplia gama de tareas de agente. Sin embargo, Google presenta un desafío formidable aquí. Si bien su enfoque para las interfaces de IA (Google.com, Vertex AI, AI Studio, Agentspace, la aplicación Gemini) puede parecer fragmentado, también representa múltiples apuestas estratégicas en un mercado naciente.

La pregunta para los líderes empresariales es cómo se verá este “punto de partida agente”. ¿Será una interfaz única y dominante o un jardín más abierto de agentes especializados integrados en diversas aplicaciones, y accesible desde miles de lugares diferentes, desde Salesforce para CRM, Meta para las redes sociales y una miríada de otras plataformas de desarrolladores?

¿Se puede hacer el trabajo de agente desde en cualquier lugar? “[The] Code Stuff está a punto de hacer un cambio “, dijo el desarrollador de IA Witteveen.” La gente se está mudando a una cosa de agente en la que quizás resuelva un documento de requisito de producto completo, lo pones allí, y luego se apaga y se muele para poder básicamente tener una codificación de agente “. No está claro que debe haber un punto de partida singular.

De hecho, la carrera de líderes como OpenAi y Google para establecer un ‘punto de partida’ dominante se complica por el impulso simultáneo de la industria para la apertura. Notado May Habib, CEO de Writer: “Cuando todos intentan ser interoperables y abiertos, ¿qué significa realmente ganar esa capa superior?” Ella cuestionó en una conversación con VentureBeat. “Todos intentan ser ese punto de partida más alto”.

De cualquier manera, quien sea que “posee” un punto de partida tendrá que abrazar la apertura, dijo. El cambio hacia la codificación de agente, y un ecosistema abierto y extensible, ha sido subrayado por la adopción generalizada de MCP. Deepak Agarwal, director de IA en LinkedIn, en una conversación reciente con VentureBeat, calificada de MCP posiblemente el invento más importante últimamente. “Es como inventar el HTTP de AI”, dijo. Esta nueva apertura beneficia tanto a los codificadores tradicionales como a la nueva clase de “creadores” dentro de las empresas: expertos en dominios que pueden usar estas herramientas de agente para crear soluciones de software personalizadas sin experiencia en codificación. Pueden crear CRMS personalizados o sistemas de tareas tareas únicas adaptadas a sus necesidades específicas. Para las empresas, esto significa proporcionar entornos de caja de arena donde los empleados pueden descubrir, construir y eventualmente integrar estas soluciones impulsadas por la IA en sus flujos de trabajo.

Navegar por el tablero de ajedrez de IA: imperativos para los líderes empresariales

Para los tomadores de decisiones técnicas en la empresa, aquí hay algunas implicaciones:

  1. Estabilidad y confiabilidad de la plataforma: La intensa competencia y los cambios estratégicos (como la reestructuración corporativa de OpenAI) significan que las empresas deben evaluar la estabilidad y confiabilidad a largo plazo de sus plataformas de IA elegidas.
  2. La relación evolutiva de OpenAi-Microsoft: El movimiento de Microsoft hacia un “jardín abierto” y el soporte para protocolos de agentes multiplataforma (como A2A) significa que las empresas que dependen del ecosistema de Azure tendrán más opciones, pero también necesitan navegar un paisaje más complejo ya que OpenAI encuentra otros puntos de distribución como Windsurf.
  3. El surgimiento del desarrollo de la agente: La transición de la codificación asistida por AI a entornos de desarrollo verdaderamente agentes está ocurriendo. Los líderes deben preparar a sus equipos para herramientas que ofrecen razonamiento de varios pasos, conciencia de contexto en todo el proyecto y ejecución de tareas autónomas. Esto requiere fomentar habilidades en ingeniería rápida, orquestación de agentes y comprender las capacidades y limitaciones de estos nuevos sistemas.
  4. Abraza la caja de arena: A medida que las herramientas de IA se vuelven más poderosas y democratizadas, es crucial proporcionar entornos de sandbox seguros y gobernados para la experimentación. Esto permite a los equipos explorar el potencial de la IA de agente para crear soluciones personalizadas e impulsar la innovación sin comprometer los datos o sistemas empresariales. Esta caja de arena pronto puede incluir cualquier interfaz que finalmente se ocurra el dúo Operai-Windsurf (suponiendo que su acuerdo se presente), las ofertas de Google y decenas de otros.

Mira la inmersión completa en el nuevo ecosistema, con Sam Witteveen y yo, en nuestro podcast aquí:

https://www.youtube.com/watch?v=5ezetqsn454

Continue Reading

Noticias

Cómo se compara la nueva búsqueda web de Claude Ai con Gemini y Chatgpt

Published

on


Los bots de IA quieren ayudarlo con sus búsquedas en la web, así como con todo lo demás, y Claude es el último asistente de inteligencia artificial para obtener la capacidad de buscar información en línea, ya sea que sean los últimos titulares de noticias o los últimos precios de los dispositivos.

“Con la búsqueda web, Claude tiene acceso a los últimos eventos e información, lo que aumenta su precisión en las tareas que se benefician de los datos más recientes”, dice el desarrollador Anthrope. La función está disponible ahora en todos los planes pagados, y “llegará pronto” para los usuarios gratuitos.

Web Search es un tipo diferente de desafío para los modelos de IA, probando su capacidad de examinar y evaluar el contenido publicado en la web, en lugar de integrarse en sus datos de capacitación. Así es como se avanza Claude, y se compara con Google Gemini y Chatgpt.

Uso de la búsqueda web en Claude

Habilitar la función de búsqueda web.
Crédito: Lifehacker

Para dar acceso web a Claude, haga clic en el botón Sliders en el cuadro de solicitud y habilite el Búsqueda web Interruptor de palanca. El bot de AI se referirá a la web en general a medida que lo considera apropiado para su consulta, pero si desea asegurarse de que use información en línea como parte de su respuesta, incluya algo como “Buscar en la web” en su aviso.

Cuando se invoca una búsqueda en la web, Claude le notificará como parte de la respuesta, y generalmente tarda un poco más en regresar con una respuesta. Cuando aparece la respuesta, obtienes pequeños botones de citas al final de ciertas oraciones, para que sepa de dónde proviene la información. Haga clic en cualquier cita para saltar a ese sitio web en una nueva pestaña.

Puede ejecutar casi cualquier consulta que pueda escribir en Google, cubriendo todo, desde pronósticos meteorológicos y puntajes deportivos hasta inmersiones profundas en el historial de la música y ayudar a solucionar problemas de computadora. Como de costumbre, puede hacer un seguimiento con más preguntas sobre los resultados que Claude le ha dado.

Es fácil ver el potencial para que la IA voltee la forma en que buscamos en la web, en cómo ofrece una experiencia más natural y matizada que la lista estándar de enlaces en Google. Sin embargo, no está exento de problemas, no menos si estos bots de IA se pueden confiar y de dónde van a obtener su información si los seres humanos reales ya no tienen incentivos para publicar en la web.

Obtener la noticia del día

Búsqueda web de Claude Ai

Elegir las noticias tecnológicas actuales.
Crédito: Lifehacker

Me encargué de que Claude me trajera los titulares de noticias tecnológicas del día, y de hecho realizó dos búsquedas web para asegurarse de que lo obtuviera todo. Leí las noticias de tecnología todos los días, y Claude hizo un buen trabajo, aquí: las historias eran en su mayoría nuevas, y en su mayoría relevantes, aunque los enlaces de citas tendían a ir a las páginas delanteras de los sitios de noticias, en lugar de artículos individuales.

Gemini estaba a la par de Claude, aunque logró vincularse a artículos específicos, no solo los centros de noticias. Casi cada resultado fue de los últimos días, tomado de una fuente de buena reputación, y relativamente significativa en el mundo de las noticias tecnológicas, aunque hubo algunas fallas: un nuevo teléfono Samsung en India, por ejemplo, que realmente no me importa.

A Chatgpt, y el Bot Operai fue probablemente el peor del lote cuando se trataba de devolver los resultados que me importaban de los sitios que son los más respetados en el espacio de noticias tecnológicas (aunque se podría argumentar que es una decisión subjetiva). Todavía estaba bien, pero preferí los resultados que obtuve de Claude y Gemini.

Cuando se le pidió que devolviera las últimas noticias de Lifehacker, Claude no pudo hacerlo, y ChatGPT acaba de enumerar los titulares de la página de inicio actual sin enlaces. Gemini en realidad me dio las últimas historias, completa con enlaces, así que funciona mejor aquí, aunque la mejor opción es probablemente solo para abrir Lifehacker en su navegador.

Verificación de hechos en línea

Búsqueda web de Claude Ai

Claude sabe sus películas … o más bien, sabe consultar Wikipedia.
Crédito: Lifehacker

En la comprobación de hechos: probé a Claude con una pregunta de película a la que ya conozco la respuesta. ¿Cuántos Oscar fueron ganados por Uno voló sobre el nido del cuco? Obtuvo la respuesta correcta y el año correcto, y dio el contexto de que es solo la tercera película de la historia en obtener los cinco grandes premios de la Academia: Mejor director, Mejor Actor, Mejor Actriz, Mejor Película y el mejor guión adaptado (ver si puedes adivinar cuáles son las otras dos películas).

Gemini también obtuvo las respuestas y el contexto de la gran victoria. Sus fuentes cubrieron una variedad más amplia de sitios e incluso YouTube, mientras que Claude se pegó a Wikipedia y al sitio oficial de los Oscar. Dio una respuesta más corta y más breve que Claude, y no incluía información de antecedentes sobre tomas de taquilla.

¿Qué piensas hasta ahora?

En cuanto a CHATGPT, nuevamente logró armar una respuesta precisa, con el contexto útil sobre el éxito de los cinco grandes y las otras películas que han manejado la hazaña. Al igual que Claude, se pegó principalmente a Wikipedia, pero hizo algo que no Claude ni Gemini lo hicieron: incluía un video de YouTube de la presentación de Oscar mejor imagen.

Este tipo de búsquedas en la web no son particularmente exigentes. Las preguntas más complejas pueden plantear más problemas, especialmente si las respuestas no están disponibles y la IA se siente tentado a inventarlos. Intenté engañar a estos bots de IA para que pensara que Daniel Day-Lewis ganó dos Oscar al mejor actor en años consecutivos, pero los tres identificaron correctamente que esto nunca sucedió.

Búsqueda web de Claude Ai

Claude no es muy útil para comprar en la web.
Crédito: Lifehacker

Las compras en línea podrían ser transformadas por AI. Si bien las personas reales siempre serán mejores que los bots para elegir las compras correctas, la IA puede raspar rápidamente y resumir las opiniones de los seres humanos reales y empaquetarlos en una interfaz limpia y amigable mientras toma un corte de las ventas. Es como tener un asistente inteligente con usted, sin necesidad de vadear a través de masas de información o resultados de búsqueda.

Le pedí a Claude que recomendara un regalo extravagante para mí, basado en deportes o películas, y buscó obedientemente páginas que enumeran los extravagantes deportes y regalos de películas. Le fue bien elegir algunas ideas, pero creo que esta es una consulta que podría haber corrido a través de Google sin preocuparme de la IA.

Géminis dio una respuesta más personalizada y de cambio. No proporcionó ningún enlace web en este caso, tal vez porque Google quiere mantenerlo en su principal motor de búsqueda para este tipo de consultas: a diferencia de Claude o ChatGPT, Google ya gana mucho dinero que los usuarios hacen clic en comprar enlaces de sus resultados de búsqueda de compras.

ChatGPT dio los resultados más útiles aquí, tal vez gracias a su reciente actualización de compras. Las fuentes que enumeró fueron similares a las que usaron Claude, pero proporcionó algunas selecciones superiores distintas, junto con precios y enlaces para comprarlos en la web. Más adelante, esta podría ser una de las formas en que Operai recupera parte de su dinero.

La búsqueda web claramente sigue siendo un trabajo en progreso para todas estas herramientas de IA. En algunos casos, funciona mejor que una búsqueda tradicional de Google, pero no siempre, y siempre existe el problema de cuán lejos puede confiar en estas respuestas seguras y pulidas sin verificar las fuentes originales de las que obtienen su información.

Divulgación: la empresa matriz de Lifehacker, Ziff Davis, presentó una demanda contra Operai en abril, alegando que infringió los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA.

Continue Reading

Noticias

¿Puede ChatGPT pasar la prueba de Turing? Lo que dice la investigación.

Published

on

Los chatbots de inteligencia artificiales como ChatGPT se están volviendo mucho más inteligentes, mucho más naturales y mucho más … como humanos. Tiene sentido: los humanos son los que crean los modelos de idiomas grandes que sustentan los sistemas de chatbots de IA, después de todo. Pero a medida que estas herramientas mejoran en “razonamiento” e imitan el discurso humano, ¿son lo suficientemente inteligentes como para aprobar la prueba de Turing?

Durante décadas, la prueba de Turing se ha mantenido como un punto de referencia clave en la inteligencia de máquinas. Ahora, los investigadores en realidad están poniendo a prueba LLM como ChatGPT. Si ChatGPT puede pasar, el logro sería un hito importante en el desarrollo de IA.

Entonces, ¿puede ChatGPT pasar la prueba de Turing? Según algunos investigadores, sí. Sin embargo, los resultados no son completamente definitivos. La prueba de Turing no es un simple pase/falla, lo que significa que los resultados no son realmente en blanco y negro. Además, incluso si ChatGPT podría pasar la prueba de Turing, eso puede no decirnos realmente cuán “humano” es realmente un LLM.

Vamos a desglosarlo.

¿Cuál es la prueba de Turing?

El concepto de la prueba de Turing es realmente bastante simple.

La prueba fue originalmente propuesta por el matemático británico Alan Turing, el padre de la informática moderna y un héroe para los nerds de todo el mundo. En 1949 o 1950, propuso el juego de imitación, una prueba de inteligencia de máquinas que desde entonces ha sido nombrada por él. La prueba de Turing implica que un juez humano tenga una conversación con un humano y una máquina sin saber cuál es cuál (o quién es quién, si crees en AGI). Si el juez no puede decir cuál es la máquina y cuál es la humana, la máquina pasa la prueba de Turing. En un contexto de investigación, la prueba se realiza muchas veces con múltiples jueces.

Por supuesto, la prueba no puede determinar necesariamente si un modelo de lenguaje grande es realmente tan inteligente como un humano (o más inteligente), solo si es capaz de pasar por un humano.

¿Los LLM realmente piensan como nosotros?

Los modelos de lenguaje grande, por supuesto, no tienen cerebro, conciencia o modelo mundial. No son conscientes de su propia existencia. También carecen de opiniones o creencias verdaderas.

En cambio, los modelos de idiomas grandes se capacitan en conjuntos de datos masivos de información: libros, artículos de Internet, documentos, transcripciones. Cuando un usuario ingresa el texto, el modelo AI usa su “razonamiento” para determinar el significado y la intención más probables de la entrada. Luego, el modelo genera una respuesta.

En el nivel más básico, los LLM son motores de predicción de palabras. Utilizando sus vastas datos de entrenamiento, calculan las probabilidades para el primer “token” (generalmente una sola palabra) de la respuesta utilizando su vocabulario. Repiten este proceso hasta que se genera una respuesta completa. Esa es una simplificación excesiva, por supuesto, pero mantengámoslo simple: las LLM generan respuestas a la entrada en función de la probabilidad y las estadísticas. Entonces, la respuesta de un LLM se basa en las matemáticas, no en una comprensión real del mundo.

Velocidad de luz mashable

Entonces, no, LLM no en realidad pensar en cualquier sentido de la palabra.

¿Qué dicen los estudios sobre ChatGPT y la prueba de Turing?

Joseph Maldonado / Mashable Composite por Rene Ramos
Crédito: Mashable

Ha habido bastantes estudios para determinar si ChatGPT ha aprobado la prueba de Turing, y muchos de ellos han tenido hallazgos positivos. Es por eso que algunos informáticos argumentan que, sí, modelos de idiomas grandes como GPT-4 y GPT-4.5 ahora pueden pasar la famosa prueba de Turing.

La mayoría de las pruebas se centran en el modelo GPT-4 de Openai, el que usa la mayoría de los usuarios de ChatGPT. Usando ese modelo, un Estudio de UC San Diego descubrieron que en muchos casos, los jueces humanos no pudieron distinguir GPT-4 de un humano. En el estudio, se consideró que GPT-4 era un humano el 54% del tiempo. Sin embargo, esto aún se quedó atrás de los humanos reales, que se consideró humano el 67% del tiempo.

Luego, se lanzó GPT-4.5, y los investigadores de UC San Diego Realizó el estudio nuevamente. Esta vez, el modelo de lenguaje grande se identificó como humano el 73% del tiempo, superando a los humanos reales. La prueba también encontró que el Llama-3.1-405b de Meta Meta pudo aprobar la prueba.

Otros estudios fuera de UC San Diego también han dado calificaciones de aprobación de GPT. Un 2024 Estudio de la Universidad de Reading de GPT-4 El modelo había creado respuestas para evaluaciones para llevar a casa para cursos de pregrado. Los alumnos de prueba no se les informó sobre el experimento, y solo marcaron una de las 33 entradas. ChatGPT recibió calificaciones anteriores al promedio con las otras 32 entradas.

Entonces, ¿son estos estudios? definitivo? No exactamente. Algunos críticos (y hay muchos) dicen que estos estudios de investigación no son tan impresionantes como parecen. Es por eso que no estamos listos para decir definitivamente que ChatGPT pasa la prueba de Turing.

Podemos decir que si bien los LLM de generación anterior como GPT-4 a veces pasan la prueba de Turing, los grados de aprobación se están volviendo más comunes a medida que los LLM se avanzan más. Y a medida que salen modelos de vanguardia como GPT-4.5, nos dirigimos rápidamente hacia modelos que pueden pasar fácilmente la prueba de Turing cada vez.

Operai en sí ciertamente imagina un mundo en el que es imposible distinguir a los humanos de la IA. Es por eso que el CEO de Operai, Sam Altman, ha invertido en un proyecto de verificación humana con una máquina de escaneo de globo ocular llamada Orbe.

¿Qué dice Chatgpt en sí mismo?

Decidimos preguntarle a ChatGPT si podía pasar la prueba de Turing, y nos dijo que sí, con las mismas advertencias que ya hemos discutido. Cuando planteamos la pregunta, “¿Puede Chatgpt pasar la prueba de Turing?” al chatbot Ai (usando el modelo 4o), nos dijo: “Chatgpt poder Pase la prueba de Turing en algunos escenarios, pero no de manera confiable o universal. “El chatbot concluyó:” Podría pasar la prueba de Turing con un usuario promedio en condiciones casuales, pero un interrogador determinado y reflexivo casi siempre podría desenmascararla “.

Una captura de pantalla de ChatGPT que muestra la respuesta al mensaje 'puede chatgpt pasar la prueba turing'

Imagen generada por IA.
Crédito: OpenAI

Las limitaciones de la prueba de Turing

Algunos científicos informáticos ahora creen que la prueba de Turing está desactualizada, y que no es tan útil para juzgar modelos de idiomas grandes. Gary Marcus, psicólogo estadounidense, científico cognitivo, autor y pronóstico popular de IA, lo resumió mejor en una publicación de blog reciente, donde escribió: “Como yo (y muchos otros) he dicho por añosLa prueba de Turing es una prueba de credulidad humana, no una prueba de inteligencia “.

También vale la pena tener en cuenta que la prueba de Turing se trata más de la percepción de inteligencia en lugar de actual inteligencia. Esa es una distinción importante. Un modelo como ChatGPT 4O podría pasar simplemente imitando el discurso humano. No solo eso, sino si un modelo de idioma grande pasa o no la prueba variará según el tema y el probador. ChatGPT podría simular fácilmente una pequeña charla, pero podría tener dificultades con las conversaciones que requieren una verdadera inteligencia emocional. No solo eso, sino que los sistemas de IA modernos se usan para mucho más que chatear, especialmente cuando nos dirigimos hacia un mundo de IA agente.

Nada de eso es decir que la prueba de Turing es irrelevante. Es un punto de referencia histórico ordenado, y ciertamente es interesante que los modelos de idiomas grandes puedan pasarlo. Pero la prueba de Turing no es el punto de referencia estándar de oro de la inteligencia de la máquina. ¿Cómo sería un mejor punto de referencia? Esa es otra lata de gusanos que tendremos que ahorrar para otra historia.


Divulgación: Ziff Davis, empresa matriz de Mashable, presentó en abril una demanda contra OpenAI, alegando que infringió los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA.

Temas
Inteligencia artificial

Continue Reading

Trending