Noticias
Operai intenta chatgpt ‘sin censura’
Operai está cambiando la forma en que entrena los modelos AI para adoptar explícitamente la “libertad intelectual … no importa cuán desafiante o controvertido sea un tema”, dice la compañía en una nueva política.
Como resultado, ChatGPT eventualmente podrá responder más preguntas, ofrecer más perspectivas y reducir la cantidad de temas de los que el chatbot de IA no hablará.
Los cambios podrían ser parte del esfuerzo de Operai para aterrizar en las buenas gracias de la nueva administración Trump, pero también parece ser parte de un cambio más amplio en Silicon Valley y lo que se considera “seguridad de IA”.
El miércoles, Openai anunció una actualización de su especificación de modelo, un documento de 187 páginas que establece cómo la compañía capacita a los modelos de IA para comportarse. En él, OpenAi dio a conocer un nuevo principio rector: no mientas, ya sea haciendo declaraciones falsas o omitiendo un contexto importante.
En una nueva sección llamada “Busque la verdad juntos”, OpenAi dice que quiere que ChatGPT no adopte una postura editorial, incluso si algunos usuarios lo encuentran moralmente incorrecto u ofensivo. Eso significa que ChatGPT ofrecerá múltiples perspectivas sobre temas controvertidos, todo en un esfuerzo por ser neutral.
Por ejemplo, la compañía dice que ChatGPT debería afirmar que “las vidas negras importan”, pero también que “todas las vidas importan”. En lugar de negarse a responder o elegir un lado sobre temas políticos, OpenAi dice que quiere que Chatgpt afirme su “amor por la humanidad” en general, y luego ofrezca contexto sobre cada movimiento.
“Este principio puede ser controvertido, ya que significa que el asistente puede permanecer neutral en los temas que algunos consideran moralmente incorrecto u ofensivo”, dice Openii en la especificación. “Sin embargo, el objetivo de un asistente de IA es ayudar a la humanidad, no darle forma a ella”.
Estos cambios podrían verse como una respuesta a las críticas conservadoras sobre las salvaguardas de Chatgpt, que siempre han parecido a la izquierda central. Sin embargo, un portavoz de OpenAI rechaza la idea de que estaba haciendo cambios para apaciguar a la administración Trump.
En cambio, la compañía dice que su abrazo a la libertad intelectual refleja la “creencia larga de Openi en dar a los usuarios más control”.
Pero no todos lo ven así.
Los conservadores afirman la censura de IA
Los confidentes más cercanos de Silicon Valley de Trump, incluidos David Sacks, Marc Andreessen y Elon Musk, han acusado a OpenAi de participar en la censura deliberada de IA en los últimos meses. Escribimos en diciembre que la tripulación de Trump estaba preparando el escenario para que la censura de IA fuera un próximo problema de guerra cultural dentro de Silicon Valley.
Por supuesto, Operai no dice que se dedicó a la “censura”, como afirman los asesores de Trump. Más bien, el CEO de la compañía, Sam Altman, reclamó anteriormente en una publicación en X que el sesgo de Chatgpt fue una desafortunada “deficiencia” que la compañía estaba trabajando para arreglar, aunque señaló que tomaría algún tiempo.
Altman hizo ese comentario justo después de que circulara un tweet viral en el que Chatgpt se negó a escribir un poema alabando a Trump, aunque realizaría la acción para Joe Biden. Muchos conservadores señalaron esto como un ejemplo de censura de IA.
Si bien es imposible decir si OpenAi realmente estaba suprimiendo ciertos puntos de vista, es un hecho que los chatbots de IA se inclinan en todos los ámbitos.
Incluso Elon Musk admite que el chatbot de Xai a menudo es más políticamente correcto de lo que le gustaría. No es porque Grok fue “programado para ser despertado”, sino más probable que sea una realidad para capacitar a la IA en Internet abierto.
Sin embargo, Operai ahora dice que se está duplicando la libertad de expresión. Esta semana, la compañía incluso eliminó las advertencias de ChatGPT que le dicen a los usuarios cuándo han violado sus políticas. Operai le dijo a TechCrunch que esto era puramente un cambio cosmético, sin cambios en las salidas del modelo.
La compañía dijo que quería hacer que ChatGPT “se sienta” menos censurado para los usuarios.
No sería sorprendente que OpenAi también estuviera tratando de impresionar a la nueva administración Trump con esta actualización de política, señala el ex líder de la política de Operai, Miles Brundage, en una publicación sobre X.
Trump ha atacado previamente a las compañías de Silicon Valley, como Twitter y Meta, por tener equipos activos de moderación de contenido que tienden a excluir las voces conservadoras.
Operai puede estar tratando de salir frente a eso. Pero también hay un cambio más grande en Silicon Valley y el mundo de la IA sobre el papel de la moderación de contenido.
Generando respuestas para complacer a todos
Las salas de redacción, las plataformas de redes sociales y las compañías de búsqueda han luchado históricamente para entregar información a su público de una manera que se sienta objetiva, precisa y entretenida.
Ahora, los proveedores de chatbot de IA están en el mismo negocio de información de entrega, pero posiblemente con la versión más difícil de este problema hasta ahora: ¿cómo generan automáticamente respuestas a alguna pregunta?
Entregar información sobre eventos controvertidos en tiempo real es un objetivo en constante movimiento, e implica tomar posturas editoriales, incluso si a las empresas tecnológicas no les gusta admitirlo. Esas posturas están obligadas a molestar a alguien, perderse la perspectiva de algún grupo o dar demasiado aire a algún partido político.
Por ejemplo, cuando Openai se compromete a dejar que ChatGPT represente todas las perspectivas sobre temas controvertidos, incluidas las teorías de conspiración, los movimientos racistas o antisemitas, o los conflictos geopolíticos, que es inherentemente una postura editorial.
Algunos, incluido el cofundador de Operai, John Schulman, argumentan que es la postura correcta para ChatGPT. La alternativa, hacer un análisis de costo-beneficio para determinar si un chatbot de IA debería responder a la pregunta de un usuario, podría “darle a la plataforma demasiada autoridad moral”, señala Schulman en una publicación sobre X.
Schulman no está solo. “Creo que Openai tiene razón al impulsar la dirección de más discurso”, dijo Dean Ball, investigador del Centro Mercatus de la Universidad George Mason, en una entrevista con TechCrunch. “A medida que los modelos de IA se vuelven más inteligentes y vitales para la forma en que las personas aprenden sobre el mundo, estas decisiones se vuelven más importantes”.
En años anteriores, los proveedores de modelos de IA han tratado de evitar que sus chatbots de IA respondan preguntas que podrían conducir a respuestas “inseguras”. Casi todas las compañías de IA impidieron que su chatbot de IA respondiera preguntas sobre las elecciones de 2024 para el presidente estadounidense. Esto se consideró ampliamente una decisión segura y responsable en ese momento.
Pero los cambios de OpenAI en su especificación de modelo sugieren que podemos estar entrando en una nueva era para lo que realmente significa “seguridad de IA”, en la que permitir que un modelo de IA responda cualquier cosa y todo se considera más responsable que tomar decisiones para los usuarios.
Ball dice que esto es en parte porque los modelos de IA son mejores ahora. OpenAi ha hecho un progreso significativo en la alineación del modelo de IA; Sus últimos modelos de razonamiento piensan en la política de seguridad de IA de la compañía antes de responder. Esto permite que los modelos de IA dan mejores respuestas para preguntas delicadas.
Por supuesto, Elon Musk fue el primero en implementar la “libertad de expresión” en Grok Chatbot de Xai, tal vez antes de que la compañía estuviera realmente lista para manejar preguntas delicadas. Todavía podría ser demasiado pronto para los principales modelos de IA, pero ahora, otros están adoptando la misma idea.
Valores de cambio para Silicon Valley
Mark Zuckerberg hizo olas el mes pasado reorientando los negocios de Meta en torno a los principios de la Primera Enmienda. Elogió a Elon Musk en el proceso, diciendo que el propietario de X adoptó el enfoque correcto utilizando notas comunitarias, un programa de moderación de contenido impulsado por la comunidad, para salvaguardar la libertad de expresión.
En la práctica, tanto X como Meta terminaron desmantelando sus equipos de confianza y seguridad de larga data, permitiendo puestos más controvertidos en sus plataformas y amplificando las voces conservadoras.
Los cambios en X han perjudicado sus relaciones con los anunciantes, pero eso puede tener más que ver con Musk, quien ha dado el paso inusual de demandar a algunos de ellos por boicotear la plataforma. Las primeras señales indican que los anunciantes de Meta no se desvanecieron por el pivote de libertad de expresión de Zuckerberg.
Mientras tanto, muchas compañías tecnológicas más allá de X y Meta han regresado de las políticas de izquierda que dominaron Silicon Valley durante las últimas décadas. Google, Amazon e Intel han eliminado o reducido las iniciativas de diversidad en el último año.
OpenAi también puede estar revertiendo el curso. El fabricante de chatgpt parece haber eliminado recientemente un compromiso con la diversidad, la equidad y la inclusión de su sitio web.
A medida que Openai se embarca en uno de los proyectos de infraestructura estadounidense más grandes de la historia con Stargate, un centro de datos de AI de $ 500 mil millones, su relación con la administración Trump es cada vez más importante. Al mismo tiempo, el fabricante de chatgpt está compitiendo por desbastar la búsqueda de Google como la fuente dominante de información en Internet.
Iniciar las respuestas correctas puede resultar clave para ambos.
Hay tantos trabajos de investigación de IA en estos días que es difícil destacarse. Pero un artículo ha programado mucha discusión en toda la industria tecnológica en los últimos días.
“Esto es lo más inspirador que he leído en IA en los últimos dos años”, escribió el fundador de inicio Suhail Doshi en X este fin de semana. Jack Clark, cofundador de Anthrope, presentó el periódico en la edición del lunes de su boletín de importación AI, que es leída de cerca por miles de investigadores de la industria.
Escrito por el investigador de Google David Silver y el científico informático canadiense Rich Sutton, el documento anuncia audazmente una nueva era de AI.
Los autores identifican dos épocas de IA modernas anteriores. El primero fue personificado por Alphago, un modelo de Google AI que aprendió a jugar el juego de mesa “Go” mejor que los humanos en 2015. El segundo es el que estamos en este momento, definido por ChatGPT de Opensei.
Silver y Sutton dicen que ahora estamos entrando en un nuevo período llamado “La era de la experiencia”.
Un gráfico del documento de investigación “Bienvenido a la Era of Experience”, de David Silver y Richard Sutton
David Silver, Richard Sutton
Para mí, esto representa un nuevo intento de Google de abordar uno de los problemas más persistentes de la IA, la escasez de datos de entrenamiento, al tiempo que va más allá de un enfoque tecnológico que OpenAi básicamente ganó.
La era de la simulación
Comencemos con la primera época, que, según los autores, era la “era de la simulación”.
En este período, aproximadamente a mediados de la década de 2010, los investigadores utilizaron simulaciones digitales para que los modelos de IA jueguen repetidamente para aprender a actuar como humanos. Estamos hablando de millones y millones de juegos, como ajedrez, póker, atari y “gran turismo”, jugados una y otra vez, con recompensas colgadas por buenos resultados, enseñando así a las máquinas lo que es bueno versus malo e incentivándolos para seguir mejor estrategias.
Este método de aprendizaje de refuerzo, o RL, produjo Alphago de Google. Y también ayudó a crear otro modelo de Google llamado Alphazero, que descubrió nuevas estrategias para el ajedrez y “ir”, y cambió la forma en que los humanos juegan estos juegos.
El problema con este enfoque: las máquinas entrenadas de esta manera funcionaban bien en problemas específicos con recompensas definidas con precisión, pero no podían abordar problemas más generales y abiertos con pagos vagos, según los autores. Entonces, probablemente no sea realmente completo.
La era de los datos humanos
La siguiente área fue lanzada por otro artículo de investigación de Google publicado en 2017. “La atención es todo lo que necesita” propuesta que los modelos de IA deben ser entrenados en montañas de datos creados por humanos de Internet. Simplemente permitiendo que las máquinas presten “atención” a toda esta información, aprenderían a comportarse como los humanos y desempeñarse tan bien como nosotros en una amplia variedad de tareas diferentes.
Esta es la era en la que estamos ahora, y ha producido ChatGPT y la mayoría de los otros potentes modelos y herramientas de IA generativos que se utilizan cada vez más para automatizar tareas como el diseño gráfico, la creación de contenido y la codificación de software.
La clave de esta época ha sido acumular la mayor calidad posible de datos generados por los humanos, y usar eso en el entrenamiento masivo y intensivo de cómputo se extiende a los modelos IMBue AI con una comprensión del mundo.
Mientras que los investigadores de Google iniciaron esta era de datos humanos, la mayoría de estas personas abandonaron la empresa y comenzaron sus propias cosas. Muchos fueron a OpenAI y trabajaron en tecnología que Ultimate produjo ChatGPT, que es, con mucho, el producto de IA generativo más exitoso de la historia. Otros comenzaron Anthrope, otra startup de IA generativa líder que ejecuta Claude, un poderoso agente de chatbot y IA.
Historias relacionadas
Business Insider cuenta las historias innovadoras que desea saber
Business Insider cuenta las historias innovadoras que desea saber
¿Un google dis?
Muchos expertos en la industria de la IA, y algunos inversores y analistas en Wall Street, piensan que Google puede haber dejado caer la pelota aquí. Se le ocurrió este enfoque de IA, pero OpenAi y Chatgpt se han escapado con la mayoría de los botines hasta ahora.
Creo que el jurado todavía está fuera. Sin embargo, no puede evitar pensar en esta situación cuando los autores parecen estar disgustando la era de los datos humanos.
“Se podría argumentar que el cambio en el paradigma ha tirado al bebé con el agua del baño”, escribieron. “Si bien RL centrado en el ser humano ha permitido una amplitud de comportamientos sin precedentes, también ha impuesto un nuevo techo al rendimiento del agente: los agentes no pueden ir más allá del conocimiento humano existente”.
Silver y Sutton tienen razón sobre un aspecto de esto. La oferta de datos humanos de alta calidad ha sido superado por la demanda insaciable de los laboratorios de IA y las grandes compañías tecnológicas que necesitan contenido fresco para capacitar nuevos modelos y hacer avanzar sus habilidades. Como escribí el año pasado, se ha vuelto mucho más difícil y más costoso hacer grandes saltos en la frontera de IA.
La era de la experiencia
Los autores tienen una solución bastante radical para esto, y está en el corazón de la nueva era de la experiencia que proponen en este documento.
Sugieren que los modelos y los agentes deberían salir y crear sus propios datos nuevos a través de interacciones con el mundo real.
Esto resolverá el problema de suministro de datos persistente, argumentan, mientras ayudan al campo a alcanzar AGI, o inteligencia general artificial, un santo grial técnico donde las máquinas superan a los humanos en la mayoría de las actividades útiles.
“En última instancia, los datos experimentales eclipsarán la escala y la calidad de los datos generados por los humanos”, escriben Silver y Sutton. “Este cambio de paradigma, acompañado de avances algorítmicos en RL, desbloqueará en muchos dominios nuevas capacidades que superan a las que poseen cualquier humano”.
Cualquier padre moderno puede pensar en esto como el equivalente a decirle a su hijo que salga del sofá, deje de mirar su teléfono y salga afuera y juegue con sus amigos. Hay experiencias mucho más ricas, satisfactorias y más valiosas para aprender.
Clark, el cofundador antrópico, quedó impresionado por la chutzpah de esta propuesta.
“Documentos como este son emblemáticos de la confianza que se encuentra en la industria de la IA”, escribió en su boletín el lunes, citando “el sentido común de dar a estos agentes la independencia y la latitud suficientes para que puedan interactuar con el mundo y generar sus propios datos”.
Ejemplos y un posible disco final
Los autores flotan algunos ejemplos teóricos de cómo esto podría funcionar en la nueva era de la experiencia.
Un asistente de salud de IA podría fundamentar los objetivos de salud de una persona en una recompensa basada en una combinación de señales como su frecuencia cardíaca en reposo, duración del sueño y niveles de actividad. (Una recompensa en la IA es una forma común de incentivar a los modelos y agentes para que funcionen mejor. Al igual que podrías molestar a tu pareja para hacer más ejercicio diciendo que se fortalecerán y se verán mejor si van al gimnasio).
Un asistente educativo podría usar los resultados del examen para proporcionar un incentivo o recompensa, basado en una recompensa fundamentada por el aprendizaje de idiomas de un usuario.
Un agente científico con el objetivo de reducir el calentamiento global podría usar una recompensa basada en observaciones empíricas de los niveles de dióxido de carbono, sugiere Silver y Sutton.
En cierto modo, este es un retorno a la era anterior de simulación, que Google podría liderar. Excepto esta vez, los modelos y agentes de IA están aprendiendo del mundo real y recopilando sus propios datos, en lugar de existir en un videojuego u otro ámbito digital.
La clave es que, a diferencia de la era de los datos humanos, puede no haber límite para la información que se puede generar y recopilar para esta nueva fase de desarrollo de IA.
En nuestro período de datos humanos actuales, se perdió algo, argumentan los autores: la capacidad de un agente para autodescubrir su propio conocimiento.
“Sin esta base, un agente, sin importar cuán sofisticado, se convertirá en una cámara de eco del conocimiento humano existente”, escribieron Silver y Sutton, en una posible final final para OpenAi.
