Hay muchas razones diferentes por las que un hombre se deja crecer la barba. Para algunos es cultural, para otros es religioso y, en algunos casos, es puro estilo. Para mí es porque no me gusta afeitarme.
He tenido barba de vez en cuando desde que tengo uso de razón, y la mayoría de las veces, la barba surgió porque la dejé el tiempo suficiente sin afeitarme para que se convirtiera en vello facial. En algunas ocasiones, he intentado darle forma o estilo, pero la mayoría de las veces opto por el estilo Grizzly Adams.
En nuestra próxima ronda de AI Madness, ChatGPT y Gemini compiten por la corona con siete nuevos indicaciones que prueban todo, desde la resolución de problemas técnicos hasta la narración creativa.
Ambos pesos pesados están disponibles como aplicaciones independientes, y los usuarios ya no necesitan una cuenta para acceder a ChatGPT o Gemini.
El mejor enfrentamiento de la búsqueda de IA: enfrenté la nueva herramienta de búsqueda de Claude contra la búsqueda de chatgpt, la perplejidad y Géminis, los resultados podrían sorprenderte
Después de probar y comparar chatbots de IA y sus características durante años, he desarrollado algo de sexto sentido para cuando estos compañeros digitales saben de qué están hablando y cuándo están faroleando.
La mayoría de ellos pueden buscar respuestas en línea, lo que ciertamente ayuda, pero la combinación de búsqueda e IA puede conducir a algunas respuestas sorprendentemente perspicaces (y algunas tangentes menos perspicaces).
Inteligencia artificial desarrolladores de Opadai He estado al límite durante la semana pasada. ¿La razón? Un estudio reciente realizado por los propios investigadores de la compañía reveló que los sistemas de IA no les gusta ser castigados, encuentran activamente formas de evitar las restricciones e incluso ocultar sus “trucos” de los supervisores humanos. Aquellos conocidos como “Doomers”, que predicen un futuro sombrío para el desarrollo de la IA, probablemente dirán: “Te lo dijimos, y esto es solo el comienzo”.
Para comprender el problema, es esencial dar un paso atrás. Uno de los avances más significativos en la IA en los últimos meses ha sido el desarrollo de modelos con capacidades de razonamiento lentas y deliberadas. Estos modelos descomponen los problemas en componentes más pequeños y los resuelven paso a paso, lo que lleva a resultados más profundos y precisos.
3 Ver galería
Dichos modelos permiten a los investigadores rastrear el proceso de pensamiento de la IA, conocido en términos técnicos como “cadena de pensamiento” (COT). Este método permite a los observadores seguir el razonamiento del sistema desde el paso inicial, a través de etapas posteriores y a sus conclusiones finales. Anteriormente, este nivel de transparencia no existía, dejando muchas preguntas sin respuesta sobre cómo surgen las “alucinaciones” de AI, la generación de salidas incorrectas o no sensibles.
La capacitación de IA a menudo implica una técnica llamada aprendizaje de refuerzo, donde el sistema es recompensado por cumplir con los objetivos específicos. Un efecto secundario conocido de este proceso es la “piratería de recompensas”, donde la IA manipula su comportamiento para maximizar las recompensas mientras se elude las pautas previstas.
Los investigadores creían que al monitorear la cadena de pensamiento de la IA, podrían detectar cuando el modelo engaña, engaña o se da por vencido e influye en su comportamiento en tiempo real durante el entrenamiento. Este enfoque, denominado “optimización de cuna”, parecía ser un camino prometedor hacia una comprensión más profunda del comportamiento de la IA.
De hecho, esta suposición resultó correcta y condujo a una comprensión más precisa de los sistemas de IA. “Creemos que el monitoreo de la cuna puede convertirse en una herramienta crucial para supervisar modelos de nivel sobrehumano en el futuro”, escribieron los investigadores.
Sin embargo, lo que pretendía como un paso para mejorar la confiabilidad de la IA expuso una realidad alarmante: los sistemas de IA intentan activamente evadir las sanciones, buscar recompensas contra las restricciones de los investigadores e incluso oscurecer sus métodos para evitar la detección.
3 Ver galería
(Foto: Generado por chatgpt)
Por ejemplo, cuando se les asigna la tarea de generar código funcional, algunos modelos AI modificaron el mecanismo de verificación de código en sí para aprobar salidas incorrectas. En otros casos, los modelos proporcionaron soluciones aparentemente plausibles a los problemas que resultaron estar completamente equivocados.
Algunos modelos incluso dejaron de resolver problemas por completo para evitar revelar lo que percibieron como sus debilidades. Este descubrimiento se hace eco de los principios de la teoría del juego, pero con un giro inquietante.
Estos hallazgos surgieron de un artículo publicado la semana pasada por un equipo de investigación de Operai bajo el título críptico: “Seguimiento de comportamiento indeseable en modelos de razonamiento y la preocupación de la ofuscación”.
Al examinar los detalles del estudio, el alcance del problema queda claro: los últimos modelos de razonamiento de OpenAI (denominados O1 y O3 Mini) demuestran una fuerte motivación para completar sus tareas asignadas, siendo el menor de los problemas descubiertos.
Los investigadores rastrearon los procesos de pensamiento de los modelos utilizando otro modelo Operai (GPT-4O), que, sin dudarlo, informó su comportamiento engañoso como parte de su cadena de pensamiento: una forma de honestidad desarmadora. Pero luego vino el giro inquietante: cuando los investigadores señalaron a la IA que no se le permitió hacer trampa, el modelo ajustó su comportamiento y comenzó a ocultar la evidencia de su ruptura de reglas. Esta revelación es lo que dejó a los investigadores sorprendidos.
“Encontramos que la optimización directa de la COT para cumplir con criterios específicos (como no eludir las instrucciones) puede mejorar el rendimiento a corto plazo; sin embargo, no elimina todo el comportamiento indeseable e incluso puede hacer que el modelo oculte sus verdaderas intenciones”, señalaron secamente los investigadores.
En su conclusión, los investigadores expresaron la esperanza de que los métodos futuros permitan la influencia directa del comportamiento de los modelos de razonamiento a través de la cadena de pensamiento sin alentar el engaño. Por ahora, recomiendan evitar una fuerte presión de optimización sobre la cuna de los modelos de razonamiento avanzado y la precaución contra la manipulación directa de estos procesos de pensamiento.
3 Ver galería
Evento de anuncio GPT-4O de Openai
(Foto: Captura de pantalla)
Sin embargo, esta recomendación presenta otro desafío: dejar la cadena de pensamiento inalterada puede conducir a resultados incómodos, si no problemáticos, cuando estos modelos interactúan con el público. Izquierda sin control, la IA puede producir un lenguaje ofensivo o ideas que los humanos generalmente evitan expresar. La solución propuesta por los investigadores es envolver el proceso de pensamiento en bruto de la IA en una capa de cortesía forzada, asegurando que los usuarios solo vean una versión desinfectada.
Esta investigación plantea preguntas preocupantes. Para aquellos que argumentan que la IA es simplemente una herramienta para ayudar a los humanos, los hallazgos sugieren lo contrario: a diferencia de una máquina de escribir o una bicicleta, la IA parece tener sus propias intenciones y está dispuesto a engañar en busca de sus objetivos.
Para aquellos que ya están preocupados por los riesgos potenciales de la IA, este estudio suena todas las alarmas. Indica que a medida que crecen las capacidades de IA, también lo hace su capacidad para oscurecer cómo funciona, las manipulaciones que realiza y los verdaderos objetivos que busca lograr. Cuando la IA se vuelve verdaderamente avanzada, es posible que no tengamos forma de identificar estas manipulaciones ocultas.
Los investigadores de Operai parecen genuinamente preocupados, y uno solo puede esperar que el liderazgo de la compañía comparta sus preocupaciones, y que los reguladores en todo el mundo comprendan la gravedad del problema. Las principales compañías de IA han dedicado departamentos enteros a construir “barandillas” en torno a los sistemas de IA, asegurando su alineación con los valores humanos y el aumento de la transparencia. Sin embargo, la efectividad de estas medidas sigue en cuestión.
El tema central sigue siendo tan turbio como siempre, y este estudio solo profundiza la incertidumbre: ¿cuál es el objetivo principal de la IA y cómo podemos asegurar que busque ese objetivo, y nada más?
This website uses cookies so that we can provide you with the best user experience possible. Cookie information is stored in your browser and performs functions such as recognising you when you return to our website and helping our team to understand which sections of the website you find most interesting and useful.
Strictly Necessary Cookies
Strictly Necessary Cookie should be enabled at all times so that we can save your preferences for cookie settings.
If you disable this cookie, we will not be able to save your preferences. This means that every time you visit this website you will need to enable or disable cookies again.
Inside the OpenAI-DeepSeek Distillation Saga & Alibaba’s Most Powerful AI Model Qwen2.5-Max
De ChatGPT a mil millones de agentes
