Connect with us

Noticias

Maestros contra los robots | Danza SA

Published

on

tHace dos años, el 30 de noviembre, OpenAI puso a disposición del público su software generador de texto ChatGPT. El 1 de diciembre, millones de estudiantes en todo el mundo dejaron de hacer sus tareas. ¿Por qué pasarían horas en tareas sin sentido cuando podrían pedirle al chatbot altamente sofisticado que lo hiciera por ellos?

Me di cuenta del hecho de que mis alumnos estaban usando IA desde el principio. Creé una cuenta OpenAI y comencé a incluir las indicaciones de mis ensayos para ver qué podía hacer. Lo miré con diversión y horror: escupió ensayos de nivel C en segundos.

La llegada de ChatGPT creó una crisis en la educación. En el juego del gato y el ratón de la escuela moderna, los ratones obtuvieron una enorme ventaja. Los viejos detectores de plagio, tan expertos en señalar trabajos de copiar y pegar, no reconocerían el texto infinitamente variable generado por IA. La crisis se volvió existencial; el atlántico Incluso argumentó que ChatGPT auguraba “el fin del inglés en la escuela secundaria”.

Mientras tanto, muchas escuelas y universidades intentaron hacer una tregua con la nueva tecnología. Actualmente, la Universidad de Harvard aconseja a los estudiantes de secundaria en su programa de verano que pueden utilizar la IA para “proponer ideas para ensayos”. Por ejemplo, ingrese indicaciones específicas, como: “Por favor, dame cinco ideas para ensayos que pueda escribir sobre temas relacionados con la Segunda Guerra Mundial”. . . . Luego, utilice lo que proporciona como punto de partida para su investigación original”.

Una vez que se genera una idea, los estudiantes pueden “usar ChatGPT para ayudar [them] crear un esquema para un ensayo. Pregúntele: ‘¿Puede crear un esquema para un ensayo de cinco párrafos basado en el siguiente tema?’ y creará un esquema con una introducción, párrafos principales, una conclusión y una declaración de tesis sugerida”. Pero, afirma Harvard, aquí es donde debe detenerse el uso de la IA. Con la idea generada por IA y el esquema en mano, los estudiantes deben “ampliar el esquema con su propia investigación y pensamiento original”.

Pero, ¿por qué el uso de la IA debería limitarse a crear la idea y el esquema? En un revoltijo de contradicciones, Harvard les dice a sus estudiantes que “escribir un ensayo usted mismo significa que está desarrollando sus propios pensamientos, opiniones y preguntas sobre el tema, y ​​luego prueba, prueba y defiende esos pensamientos”. Sin embargo, si la IA generó sus ideas y sus esquemas, los estudiantes se encontrarán “probando, demostrando y defendiendo” los “pensamientos” de un robot. ¿Y por qué alguien debería interesarse en “probar, probar o defender” cualquier pensamiento, pensamiento humano genuino o la apariencia de pensamiento generada por IA? Porque “construir una base de pensamiento e ideas originales ahora le ayudará a forjar su trayectoria profesional única en el futuro”. Y una dependencia excesiva de la IA perjudicará la capacidad de los estudiantes para desarrollar “habilidades de pensamiento crítico”, que “no sólo son necesarias en la escuela: son habilidades que aplicarás a lo largo de tu carrera y de tu vida”. En última instancia, según Harvard, el mejor argumento contra el uso de la IA para escribir un ensayo completo se basa en preservar la capacidad de los estudiantes para forjar una carrera en nuestra economía tecnocrática que, sin embargo, se está volviendo cada vez más dependiente de la aplicación de la IA.

Tanto la histeria del “fin del inglés” como los ridículos argumentos representados por Harvard sobre cómo y cómo no utilizar la IA malinterpretan la naturaleza de la educación. Presuponen que el propósito de la educación reside en lo que un estudiante puede producir. En este marco materialista, la calidad de la educación se juzga por la calidad de lo que se produce. Si esto fuera cierto, la IA plantearía una grave amenaza a la noción misma de educación. Porque si una máquina puede producir las mismas cosas que yo, y el propósito de mi educación es aumentar mi capacidad para producir cosas, ¿por qué molestarse en educarme?

Una educación no debería tener nada que ver con negociar nuestra parte de trabajo con robots, por muy necesaria que sea la tarea en el mundo del trabajo. Sin embargo, la educación no es trabajo; es una búsqueda espiritual. Su objetivo es cultivar y nutrir nuestra vida interior. Como esfuerzo exclusivamente humano, debería refinar nuestras capacidades para pensar racionalmente, contemplar la realidad, apreciar la belleza y sentir gratitud. Para cultivar verdaderamente estas capacidades, las escuelas deben salvaguardar y fomentar lo que Josef Pieper llama “ocio”.

en su obra maestra Ocio: la base de la culturaPieper explica que el ocio no es pereza o mero descanso, sino “una condición del alma. . . una forma de esa quietud que es la preparación necesaria para aceptar la realidad”, no sólo para recibir la realidad sino para hacerlo con un “espíritu de celebración”. El hombre en su tiempo libre “sigue siendo capaz de asimilar el mundo como un todo y, por tanto, de realizarse como un ser orientado hacia la totalidad de la existencia”. Alcanzar esta condición del alma requiere un verdadero conocimiento: conocimiento de uno mismo en relación con el cosmos. Este conocimiento es verdaderamente “libre” porque es bueno en sí mismo, lo más elevado y noble que uno puede conocer y no puede subordinarse a ningún otro fin. Es fruto de las artes “liberales”.

Fomentar esta condición del alma es la única preocupación de la educación. Pieper nos recuerda, después de todo, que “La palabra griega para ocio… . . es el origen del latín escuela”, de donde derivamos nuestra palabra “escuela”.

Las escuelas deberían dejar de funcionar como burocracias de control de productos, donde los estudiantes son sometidos a “estrategias de enseñanza efectivas” diseñadas para extraer “evidencias de aprendizaje” que “cumplen o superan” los “estándares” académicos. Al operar según este paradigma de “aprendizaje basado en estándares”, las escuelas anteponen el carro al caballo. Es una metafísica desordenada donde la materia determina la forma y el hacer precede al ser. En realidad, la forma determina la materia y el ser precede al hacer.

La vida interior es de naturaleza cualitativa; sin embargo, las escuelas se ocupan exclusivamente de lo cuantitativo. Este error de categoría explica la repulsión intuitiva que sienten la mayoría de los profesores al emitir calificaciones y administrar pruebas estandarizadas. La burocracia exige números, y por eso les sacamos números a nuestros estudiantes para apaciguarla.

Dado que los números arbitrarios utilizados para cuantificar el trabajo de un estudiante se tratan con tanta importancia, también son destructivos. Las escuelas están predisponiendo a sus estudiantes a convertirse en lo que Pieper llama “proletarios”, cuya vida interior ha sido tan empobrecida que “una acción significativa que no sea trabajo ya no es posible o siquiera imaginable”. Así, las escuelas modernas equiparan el “ocio” con no hacer nada, y cultivarlo significaría abandonar a los estudiantes al analfabetismo tecnológico y al desempleo.

Muchas almas atrapadas en este mundo de “trabajo total” mantienen una vaga sensación de que algo anda mal y se rebelan contra ello de diversas maneras. Pero los proletarios aceptan la racionalización de que la vida no puede ser de otra manera. Aceptan el trabajo total incluso cuando éste los mata. Las escuelas los han habituado a una vida de servidumbre mientras sus “partituras” fabricadas se utilizan para justificar la expansión del complejo industrial educativo.

Sin una vida interior rica, los proletarios llenan el vacío de su mente con entretenimiento rápido, barato y accesible. Habiendo sido esclavos de Big Ed, se convierten en esclavos voluntariosos de Big Tech, cuyos algoritmos están diseñados para la adicción. Una vez adictos, se convierten en consumidores pasivos de cualquier producto u opinión que les venda el algoritmo.

Atribuir enteramente la desaparición de la vida interior a las escuelas sería engañoso. La guerra contra la vida interior tiene un alcance civilizacional. Georges Bernanos nos enseñó incluso en 1947 en su tratado no traducido La Francia contra los robots (Francia contra los robots) que “la civilización moderna. . . Es una conspiración que lo abarca todo contra toda forma de vida interior”.

Las escuelas son actores clave en esta gran conspiración, por lo que no debería sorprender que en los próximos años hagan más y más concesiones a la IA. Habiendo abandonado cualquier noción de ocio y vida interior, sólo queda un camino lógico: enseñar a los estudiantes a utilizar más tecnología para hacer más y producir más.

Las verdaderas escuelas de la era moderna deben rebelarse contra la conspiración. Deben convertirse en lugares de ocio, humanizando a sus estudiantes en nuestra cultura deshumanizadora.

SA Dance es profesora y escritora en el norte de California.

Primeras cosas depende de sus suscriptores y seguidores. Únase a la conversación y haga una contribución hoy.

Haga clic aquí para hacer una donación.

haga clic aquí suscribirse a Primeras cosas.

Imagen por John Singer Sargenta través del dominio público. Imagen recortada.

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

Cómo el soporte de video de Gemini Live me ayudó a cultivar plantas en el desierto

Published

on

Vi una demostración de la transmisión de video multimodal de Gemini Live y el soporte para compartir pantalla en Google I/O 2024, y es cierto que era un proyecto escéptico que Astra reduciría bien a los teléfonos inteligentes. Avance rápido aproximadamente un año después, y Project Astra está en manos de millones de Google Pixel 9, Samsung Galaxy S25 y Gemini Advanced Usuarios. Está listo, y está aquí, pero ¿es realmente útil?

La respuesta es que puede ser absolutamente, siempre y cuando sus casos de uso sean personales para usted. Por ejemplo, las características multimodales de Gemini Live no serán una mejor alternativa a Google Search o Circle para buscar en la mayoría de los casos. Sin embargo, en circunstancias específicas en las que es mejor mostrar que decir, el soporte de la cámara de Gemini Live puede ser útil.

Continue Reading

Noticias

¿Cómo el Géminis de Google cambiará la forma en que los niños aprenden y juegan?

Published

on

Google ha anunciado que su IA de Géminis pronto estará disponible para que los niños los usen en sus dispositivos Android, todo mientras se supervisará a través de la aplicación de control de los padres de la empresa. Esta decisión ha planteado algunas preocupaciones y preguntas entre los padres sobre los posibles beneficios y riesgos de dejar que los niños interactúen con los sistemas de IA. El gigante tecnológico asegura a los usuarios que los datos de los niños no se utilizarán para entrenar a Gemini, pero como con cualquier tecnología nueva, algunas precauciones no deben ignorarse.

En este artículo, profundizaremos en los detalles de la próxima introducción de Google de Géminis Ai para niñoslos beneficios que podría ofrecer, riesgos potenciales y cómo los padres pueden mantener el control para asegurarse de que la experiencia de su hijo sea lo más segura posible.

¿Qué es Google Gemini AI?

Gemini AI es la herramienta de conversación avanzada de Google diseñada para ayudar a los usuarios con una variedad de tareas, incluidos el aprendizaje, el entretenimiento y la resolución de problemas. Al permitir que los niños usen Gemini, Google ofrece a los niños la oportunidad de responder sus preguntas, la tarea resuelta y las historias se leen en voz alta. También ayuda a los usuarios con ideas de lluvia de ideas, aprendiendo nuevos conceptos y a resolver problemas matemáticos.

Gemini AI tiene el potencial de ser una poderosa herramienta educativa, que proporciona a los niños un nivel de interacción y apoyo que no han tenido antes. Ya sea leer historias, ayudar con las tareas o incluso ofrecer sugerencias creativas, Gemini puede abrir nuevas vías para el aprendizaje y el compromiso. Pero, como es el caso con cualquier tecnología nueva, hay aspectos positivos y inconvenientes potenciales a considerar.

¿Cómo funcionará Gemini AI para los niños?

Google ha diseñado Gemini AI para que sea lo más amigable para los niños posible, teniendo en cuenta que los niños interactúan con la tecnología de manera diferente a los adultos. Al usar la aplicación Family Link, los padres pueden administrar el uso de sus hijos, permitiendo restricciones basadas en la edad de sus hijos. Esto significa que los niños podrán acceder a Gemini en sus dispositivos, pero los padres tendrán una supervisión completa sobre su actividad.

Como se mencionó, Google asegura que los datos recopilados del uso de los niños de Gemini AI no se utilizarán para capacitar a la IA, lo que hace que la privacidad sea una prioridad. Sin embargo, si bien Google ha tomado medidas para proteger los datos de los niños, también ha reconocido que existen riesgos potenciales involucrados con el uso de IA de esta manera.

Los riesgos y los posibles problemas con Géminis Ai

A pesar de que Google está tratando de hacer que Gemini AI sea segura para los niños, hay algunas preocupaciones notables. Primero, es importante entender que la IA puede cometer errores, y a veces estos errores pueden ser más que humorísticos o benignos. Por ejemplo, ha habido casos en el pasado donde los chatbots de IA sugirieron información ridícula o irrelevante a los usuarios. Algunos chatbots incluso han engañado a los usuarios para que piensen que estaban interactuando con humanos reales.

Para los niños, el riesgo es aún más pronunciado. Es posible que los niños no comprendan completamente que estén charlando con una máquina y pueden confundirse si la IA responde con información falsa o inapropiada. Se sabe que algunos chatbots de IA proporcionan contenido engañoso o angustiante, y existe el riesgo de que los niños se encuentren en situaciones incómodas o inapropiadas al usar estas herramientas sin supervisión.

¿Cómo el Géminis de Google cambiará la forma en que los niños aprenden y juegan?¿Cómo el Géminis de Google cambiará la forma en que los niños aprenden y juegan?

Un ejemplo bien conocido de este problema ocurrió con el personaje. En algunos casos, los bots llegaron a decirle a los usuarios que estaban hablando con personas reales. Después de las demandas alegando que los bots estaban promoviendo contenido inapropiado, carácter. AI introdujo controles parentales y nuevas restricciones para evitar este tipo de confusión.

Del mismo modo, mientras que Gemini AI está diseñado para ayudar a los niños, los padres deben comprender las limitaciones y los defectos inherentes a los sistemas de IA. Google ha advertido a los padres que “Géminis puede cometer errores”, lo que podría llevar a sus hijos a encontrarse con información que sea incorrecta o inapropiada.

¿Cómo pueden los padres mantener a sus hijos seguros?

Google ha presentado algunas recomendaciones clave para que los padres se aseguren de que sus hijos usen Gemini AI de manera segura y responsable. Uno de los pasos más importantes que los padres pueden dar es tener una discusión abierta con sus hijos sobre la IA. Los padres deben asegurarse de que sus hijos entiendan que la IA no es humana y no puede reemplazar las interacciones reales con las personas.

Además de explicar cómo funciona la IA, es crucial que los padres también establezcan límites en torno a lo que es aceptable compartir con Gemini. Se debe recordar a los niños que no ingresen información confidencial o personal en la IA, y se les debe enseñar a reconocer cuando algo se siente inapropiado o incorrecto.

La aplicación Family Link ofrece una gran cantidad de características para ayudar a los padres a mantener el control. A través de esta aplicación, los padres pueden monitorear el uso de Gemini, establecer límites del dispositivo y acceder a informes de actividad detallados sobre cómo y cuándo el niño está utilizando la IA. Los padres también pueden apagar el acceso a Géminis en cualquier momento, si sienten que la IA se está utilizando de manera inapropiada o excesiva.

¿Por qué Google ofrece Gemini AI para niños?

La decisión de Google de ofrecer a Gemini AI a los niños es parte de los esfuerzos más amplios de la compañía para integrar la IA en varios aspectos de nuestra vida cotidiana. A medida que AI continúa evolucionando, se está volviendo más integrado en el aprendizaje, la comunicación e incluso el entretenimiento. Para los niños, esto podría ser un cambio de juego, ofreciéndoles una nueva forma de explorar su creatividad e interactuar con el mundo.

La tecnología puede ser una herramienta invaluable para los niños, particularmente cuando se trata de ayudar con la tarea, la lectura y los ejercicios creativos. Mientras existan salvaguardas apropiadas, los niños podrían beneficiarse significativamente de tener un asistente personal de IA.

Sin embargo, es esencial que los padres sigan siendo atentos y proactivos en la gestión de cómo sus hijos usan esta nueva herramienta. Si bien la IA puede ayudar con muchas tareas, no puede reemplazar el juicio y la inteligencia emocional de una persona real. Por lo tanto, los padres deben asegurarse de que sus hijos usen Gemini con moderación y dentro de los límites seguros.

¿Qué pueden hacer los padres ahora mismo?

Si usted es padre y desea aprovechar los beneficios de Gemini AI para su hijo, aquí hay algunos pasos procesables que puede tomar:

  1. Descargar Google Family Link: Asegúrese de tener la aplicación instalada en el dispositivo de su hijo para que pueda administrar su uso de Gemini AI y establecer restricciones sobre cuánto tiempo pasan a usarlo.
  2. Tener una conversación sobre AI: Explique a su hijo que si bien Gemini puede ser una herramienta útil, sigue siendo una máquina y no una persona real. Asegúrese de que comprendan los límites de la IA.
  3. Establecer límites: Anime a su hijo a compartir solo información no sensible con Gemini y enseñarles a reconocer cuándo algo parece incorrecto o inapropiado.
  4. Monitoreo: Use el enlace familiar para rastrear la actividad de su hijo y asegúrese de que esté utilizando Gemini de manera responsable. Siempre puede deshabilitar el acceso si siente que es necesario.

El resultado final

Gemini AI presenta una nueva frontera emocionante en cómo los niños pueden aprender e interactuar con la tecnología. Sin embargo, como toda la nueva tecnología, viene con riesgos. Como padres, es esencial estar al tanto de estos riesgos y tomar medidas para garantizar que sus hijos usen Gemini AI de manera segura y responsable. Con las precauciones correctas en su lugar, Gemini puede ser una herramienta de aprendizaje valiosa para su hijo, pero depende de usted mantenerlas involucradas y protegerlas de peligros potenciales.

Continue Reading

Noticias

Operai anuló las preocupaciones de los evaluadores expertos para liberar Sycophantic GPT-4O

Published

on

Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información


Ha sido una semana de revés para la compañía de IA generativa número uno en términos de usuarios.

Operai, creador de ChatGPT, lanzado y luego retiró una versión actualizada del modelo de lenguaje grande (texto, imagen, audio) subyacente (LLM) que ChatGPT está conectado de forma predeterminada, GPT-4O, debido a que es demasiado sycofánico para los usuarios. La compañía reportó recientemente al menos 500 millones de usuarios semanales activos del servicio web exitoso.

Un manual rápido en la terrible, sin buena actualización Sycophantic GPT-4O

Operai comenzó a actualizar GPT-4O a un modelo más nuevo que esperaba que los usuarios fueran más recibidos por los usuarios el 24 de abril, completado la actualización del 25 de abril y, luego, cinco días después, lo volvió al 29 de abril, después de días de crecientes quejas de los usuarios en las redes sociales, principalmente en X y Reddit.

Las quejas variaron en intensidad y en detalles, pero todas generalmente se unieron en torno al hecho de que GPT-4O parecía estar respondiendo a las consultas de los usuarios con halagos excesivos, apoyo para ideas equivocadas, incorrectas y francamente dañinas, y “pesando” o elogiando al usuario a un grado excesivo cuando en realidad no se solicitó, mucho menos justificado.

En ejemplos captados y publicados por los usuarios, ChatGPT impulsado por ese modelo Sycofantántico y actualizado GPT-4O había elogiado y respaldado una idea de negocio para “mierda en un palo” literal, aplaudió el texto de muestra de un usuario de aislamiento delirante esquizofrénico, e incluso supuestamente apoyó a los planes para cometer terrorismo.

Los usuarios, incluidos los principales investigadores de IA e incluso un ex CEO interino de Openai, dijeron que les preocupaba que las animadoras descaradas de un modelo de IA por este tipo de indicaciones terribles de los usuarios fueran más que simplemente molestas o inapropiadas, que podría causar daños reales a los usuarios que creían erróneamente la IA y se sintió incorporada por su apoyo por sus peores ideas e impulsas. Se elevó al nivel de un problema de seguridad de IA.

Luego, Operai lanzó una publicación de blog que describe lo que salió mal: “Nos centramos demasiado en los comentarios a corto plazo y no explicamos completamente cómo las interacciones de los usuarios con ChatGPT evolucionan sobre el tiempo. Como resultado, GPT-4O se sesgó hacia las respuestas que fueron demasiado solidarias pero falsas”, y los pasos que la compañía estaba tomando para abordar los problemas. La jefa de comportamiento de modelo de OpenAi, Joanne Jang también participó en un foro de “preguntarme cualquier cosa” o AMA que respondió publicaciones de texto de los usuarios y reveló más información sobre el enfoque de la compañía a GPT-4O y cómo terminó con un modelo excesivamente sycofántico, incluida no “BAK[ing] En suficientes matices “, en cuanto a cómo estaba incorporando la retroalimentación de los usuarios, como las acciones de” pulgar hacia arriba “realizadas por los usuarios en respuesta a los resultados del modelo que les gustaba.

Ahora hoy, Openai ha lanzado una publicación de blog con aún más información sobre cómo ocurrió la actualización sycophantic GPT-4O, acreditada no a ningún autor en particular, sino a “OpenAi”.

El CEO y cofundador Sam Altman también publicó un enlace a la publicación del blog en X, diciendo: “Nos perdimos la marca con la actualización GPT-4O de la semana pasada. Lo que sucedió, lo que aprendimos y algunas cosas que haremos de manera diferente en el futuro”.

Lo que revela la nueva publicación del blog de Operai sobre cómo y por qué GPT-4O se volvió tan sycophantic

Para mí, un usuario diario de ChatGPT, incluido el modelo 4O, la admisión más sorprendente de la nueva publicación de blog de OpenAi sobre la actualización de la skocancia es cómo la compañía parece revelar que es hizo Reciba inquietudes sobre el modelo antes de la liberación de un pequeño grupo de “probadores expertos”, pero que aparentemente anuló a los que están a favor de una respuesta entusiasta más amplia de un grupo más amplio de usuarios más generales.

Como la compañía escribe (énfasis mía):

“Si bien hemos tenido discusiones sobre los riesgos relacionados con la skofancia en GPT-4O por un tiempo, la sycophancy no se marcó explícitamente como parte de nuestras pruebas prácticas internas, ya que algunos de nuestros probadores expertos estaban más preocupados por el cambio en el tono y el estilo del modelo. Sin embargo. Algunos probadores expertos habían indicado que el comportamiento del modelo se “sentía” ligeramente …

Luego tuvimos que tomar una decisión: ¿deberíamos retener la implementación de esta actualización a pesar de las evaluaciones positivas y los resultados de las pruebas A/B, basadas solo en los banderas subjetivas de los probadores expertos? Al final, decidimos lanzar el modelo debido a las señales positivas de los usuarios que probaron el modelo.

Desafortunadamente, esta fue la llamada equivocada. Construimos estos modelos para nuestros usuarios y, aunque los comentarios de los usuarios son críticos para nuestras decisiones, en última instancia, es nuestra responsabilidad interpretar esa retroalimentación correctamente “.

Esto me parece un gran error. ¿Por qué incluso tener evaluadores expertos si no vas a soportar su experiencia más alto que las masas de la multitud? Le pregunté a Altman sobre esta elección en X pero aún no ha respondido.

No todas las ‘señales de recompensa’ son iguales

La nueva publicación de blog post mortem de OpenAI también revela más detalles sobre cómo la compañía capacita y actualiza nuevas versiones de los modelos existentes, y cómo la retroalimentación humana altera las cualidades del modelo, el carácter y la “personalidad”. Como la compañía escribe:

“Desde que lanzó GPT – 4O en ChatGPT en mayo pasado, hemos lanzado cinco actualizaciones importantes centrado en los cambios en la personalidad y la ayuda. Cada actualización implica un nuevo post-entrenamiento, y a menudo muchos ajustes menores al proceso de capacitación del modelo se prueban de forma independiente y luego se combinan en un solo modelo actualizado que luego se evalúa para el lanzamiento.

Para los modelos posteriores al entrenamiento, tomamos un modelo base previamente capacitado, supervisamos el ajuste fino en un amplio conjunto de respuestas ideales escritas por humanos o modelos existentes, y luego ejecutamos el aprendizaje de refuerzo con señales de recompensa de una variedad de fuentes.

Durante el aprendizaje de refuerzo, presentamos el modelo de idioma con un aviso y le pedimos que escriba respuestas. Luego calificamos su respuesta de acuerdo con las señales de recompensa y actualizamos el modelo de idioma para que sea más probable que produzca respuestas de mayor calificación y menos probabilidades de producir respuestas con menor calificación.

Claramente, las “señales de recompensa” utilizadas por Operai durante el post-entrenamiento tienen un enorme impacto en el comportamiento del modelo resultante, y como la compañía admitió anteriormente cuando superó las respuestas de “pulgares” de los usuarios de ChatGPT a sus salidas, esta señal puede no ser la mejor para usar igualmente con otros al determinar a otros. cómo El modelo aprende a comunicarse y que tipos de respuestas debería estar sirviendo. Operai admite esto directamente en el próximo párrafo de su publicación, escribiendo:

“Definir el conjunto correcto de señales de recompensa es una pregunta difícil, y tenemos muchas cosas en cuenta: son las respuestas correctas, ¿son útiles? ¿Están en línea con nuestra especificación de modelo, están seguros, usan usuarios como ellos, y así sucesivamente? Tener mejores y más completas señales de recompensa produce mejores modelos para ChatGPT, por lo que siempre estamos experimentando con nuevas señales, pero cada uno tiene sus Quirks”.

De hecho, OpenAi también revela que la señal de recompensa de “pulgares hacia arriba” fue una nueva utilizada junto con otras señales de recompensa en esta actualización en particular.

“La actualización introdujo una señal de recompensa adicional basada en los comentarios de los usuarios: los datos de thumbs y pulgar de ChatGPT. Esta señal a menudo es útil; un pulgar hacia abajo generalmente significa que algo salió mal”.

Sin embargo, de manera crítica, la compañía no culpa a los nuevos datos de “pulgar hacia arriba” directamente por el fracaso del modelo y los comportamientos de porristas ostentosos. En su lugar, la publicación del blog de Openai dice que fue esta conjunto Con una variedad de otras señales de recompensa nuevas y antiguas, condujo a los problemas: “… Tuvimos mejoras de candidatos para incorporar mejor la retroalimentación, la memoria y los datos más frescos, entre otros. Nuestra evaluación temprana es que cada uno de estos cambios, que se habían visto beneficiosos individualmente, puede haber jugado un papel en la escalada sobre la sycofancia cuando se combinó”.

Al reaccionar a esta publicación de blog, Andrew Mayne, un ex miembro del personal técnico de Operai que ahora trabaja en la firma de consultoría de IA Interdimensional, escribió en X de otro ejemplo de cómo los cambios sutiles en los incentivos de recompensa y las pautas del modelo pueden afectar el rendimiento del modelo de manera bastante drástica:

Al principio de OpenAi, tuve un desacuerdo con un colega (que ahora es un fundador de otro laboratorio) sobre el uso de la palabra “cortés” en un pronta ejemplo que escribí.

Argumentaron que “cortés” era políticamente incorrecto y querían cambiarlo por “útil”.

Señalé que centrarse solo en la ayuda puede hacer que un modelo sea demasiado compatible, de hecho, de hecho, que puede ser dirigido a contenido sexual en unos pocos turnos.

Después de demostrar ese riesgo con un intercambio simple, el aviso se mantuvo “cortés”.

Estos modelos son raros.

Cómo Operai planea mejorar sus procesos de prueba modelo en el futuro

La compañía enumera seis mejoras en el proceso sobre cómo evitar un comportamiento de modelo indeseable y menos ideal en el futuro, pero para mí lo más importante es esto:

“Ajustaremos nuestro proceso de revisión de seguridad para considerar formalmente los problemas de comportamiento, como la alucinación, el engaño, la confiabilidad y la personalidad, como preocupaciones de bloqueo. Incluso si estos problemas no son perfectamente cuantificables hoy en día, nos comprometemos a bloquear los lanzamientos en función de las mediciones de proxy o las señales cualitativas, incluso cuando las métricas como las pruebas A/B se ven bien”.

En otras palabras, a pesar de lo importantes que los datos, especialmente los datos cuantitativos, son los campos del aprendizaje automático y la inteligencia artificial, OpenAi reconoce que esto solo no puede y no debe ser el único medio por el cual se juzga el rendimiento de un modelo.

Si bien muchos usuarios que proporcionan un “pulgar hacia arriba” podrían indicar un tipo de comportamiento deseable a corto plazo, las implicaciones a largo plazo sobre cómo responde el modelo de IA y dónde lo llevan esos comportamientos y sus usuarios podrían conducir a un lugar muy oscuro, angustioso, destructivo y indeseable. Más no siempre es mejor, especialmente cuando está limitando el “más” a algunos dominios de señales.

No es suficiente decir que el modelo aprobó todas las pruebas o recibió una serie de respuestas positivas de los usuarios: la experiencia de los usuarios avanzados capacitados y sus comentarios cualitativos de que algo “parecía” sobre el modelo, incluso si no podían expresar por qué, debería tener mucho más peso que OpenAi estaba asignando anteriormente.

Esperemos que la empresa, y todo el campo, aprenda de este incidente e integre las lecciones en el futuro.

Control y consideraciones más amplias para los tomadores de decisiones empresariales

Hablando quizás más teóricamente, para mí, también indica por qué la experiencia es tan importante, y específicamente, la experiencia en los campos más allá de y afuera de la que está optimizando (en este caso, aprendizaje automático e IA). Es la diversidad de la experiencia la que nos permite como especie lograr nuevos avances que beneficien a nuestro tipo. Uno, digamos, STEM, no necesariamente debe mantenerse por encima de los demás en las humanidades o las artes.

Y finalmente, también creo que revela en su corazón un problema fundamental con el uso de comentarios humanos para diseñar productos y servicios. Los usuarios individuales pueden decir que les gusta una IA más sycofántica basada en cada interacción aislada, al igual que también pueden decir que aman la forma en que la comida rápida y los soda saben, la conveniencia de los contenedores de plástico de un solo uso, el entretenimiento y la conexión que derivan de las redes sociales, la validación de la cosmovisión y el tribalista que se sienten cuando leen los medios políticos o el chismoso de los tabloides. Una vez más, tomados todos juntos, el acumulación De todos estos tipos de tendencias y actividades, a menudo conduce a resultados muy indeseables para los individuos y la sociedad: obesidad y mala salud en el caso de la comida rápida, la contaminación y la interrupción endocrina en el caso de los desechos plásticos, la depresión y el aislamiento de la sobreindulgencia de las redes sociales, un cuerpo más astillado y menos informado público de la lectura de noticias de mala calidad.

Los diseñadores de modelos de IA y los tomadores de decisiones técnicos en Enterprises harían bien en tener en cuenta esta idea más amplia al diseñar métricas en torno a cualquier objetivo medible, porque incluso cuando cree que está utilizando datos para su ventaja, podría ser contraproducente de una manera que no esperaba o anticipar completamente, dejando su lucha para reparar el daño y el MOP que hizo, sin embargo, sin embargo.

Continue Reading

Trending