Connect with us

Noticias

ChatGPT no es inteligente: ¿realmente puede hacer tu tarea?

Published

on

Independientemente de las ideas de ciencia ficción que uno pueda tener sobre ChatGPT, su funcionamiento real puede hacerte pensar dos veces antes de usarlo para las tareas escolares, o al menos cómo lo usas.

Aunque es conveniente, su baja tasa de precisión al responder indicaciones tanto de humanidades como de STEM ha generado preocupaciones sobre hasta qué punto ChatGPT puede usarse como herramienta de aprendizaje. A medida que el mundo sigue encontrando el lugar que ocupa la inteligencia artificial en la sociedad, las instituciones de educación superior han tenido que lidiar con una avalancha de violaciones de la integridad académica.

“El problema con los chatbots es que son fundamentalmente sólo un truco”, dijo David Sepkoski, profesor de LAS y catedrático Thomas M. Siebel de Historia de la Ciencia. “Quiero decir, no hay nada inteligente en esto: son sólo algoritmos”.

Sepkoski se opone a los estatutos de la Universidad sobre el uso de IA generativa, preocupado por la falta de claridad con respecto al uso de IA como mala conducta académica para estudiantes y profesores.

ChatGPT funciona generando la siguiente palabra más probable para imitar el habla humana sin considerando la precisión. Al asignar “fichas” a palabras que podrían ir con la anterior, elige entre un grupo de palabras con las mayores probabilidades.

Este rango de probabilidad es bastante grande. ChatGPT puede seleccionar la siguiente palabra con un 99% de probabilidad; la siguiente puede tener una probabilidad del 82% y la siguiente puede tener una probabilidad del 70%, dijo Sepkoski.

Este mecanismo es responsable de los errores fácticos en las respuestas de ChatGPT. El corpus, la recopilación de información sobre la que se entrena el programa, es un tema importante. Al escanear datos de Internet, la IA generativa no puede discernir qué es verdadero, falso o incluso sarcástico – simplemente usa lo que existe.

Dado que muchas personas han comenzado a usar ChatGPT como lo harían con Google, existe preocupación sobre cómo ChatGPT contribuirá a hechos alternativos en lo que muchos han denominado un “mundo de la posverdad.” Uno 2023 estudiar Por desinformación, los investigadores descubrieron que ChatGPT escribía fácilmente teorías de conspiración como si fueran hechos, utilizando una “sintaxis humana increíblemente convincente”. Los investigadores informaron que no había ninguna táctica disponible para mitigar el problema.

“Está diseñado no para ser preciso sino más bien para ser entretenido”, dijo Sepkoski. “El entretenimiento socava la confiabilidad y precisión de algo como GPT, y hasta que la gente desarrolle modelos más especializados, tal vez que sean específicamente para su uso en ciertos tipos de clases o lo que sea, los estudiantes realmente no deberían confiar en ninguno de los resultados que obtienen de un mensaje GPT “.

Fuera de ChatGPT, dijo Sepkoski, hay un lugar para la IA en la educación. Por ejemplo, JSTOR ahora utiliza IA para mejorar la usabilidad al mostrar artículos en respuesta a una solicitud proporcionada en lenguaje natural por el usuario. Esta IA, entrenada específicamente de forma “unidireccional”, puede resultar extremadamente útil y conveniente para proporcionar información confiable.

Esto resuelve un problema claramente identificado para los estudiantes universitarios que no están familiarizados con materiales de investigación y sitios web como JSTOR. La búsqueda de proximidad, dijo Sepkoski, se ha convertido en un “santo grial en la búsqueda de bases de datos”. Mucho más complicado que ChatGPT, puede evaluar de forma inteligente si los términos y temas son relevantes para la solicitud.

Por otro lado, ChatGPT no es tan especializado; a menudo no puede identificar la fuente de su información. Sepkoski, entre otros profesores, informó que los estudiantes presentaban bibliografías falsas realizado por ChatGPT con fuentes falsificadas.

“¿Qué problema está resolviendo eso?” Dijo Sepkoski. “El único problema que parece resolver es que la gente es vaga y les gustaría ser más vaga”.

OpenAI y Perplejidad IA están siendo golpeados con demandas colectivas de importantes publicaciones de noticias, youtubers y Escritores ganadores del Pulitzer por llevar su material para entrenar ChatGPT sin permiso ni acreditación.

A pesar de los problemas comprometedores sobre cómo ChatGPT extrae información de las fuentes, APA, MLA y los Manuales de estilo de Chicago han hecho que ChatGPT sea citable. Los estatutos de la Universidad sobre integridad académica permiten el uso de ChatGPT siempre que se reconozca su uso.

Esta repentina aceptación de ChatGPT en el mundo académico ha dejado a muchos en los departamentos de humanidades de la Universidad con una sensación de “desconcierto y desesperanza”, dijo Sepkoski.

“Estoy muy decepcionado con la falta general de directrices y apoyo de la Universidad para los profesores que tienen dificultades con los estudiantes que hacen un mal uso de la IA. Quiero decir, simplemente quieren fingir que el problema no es gran cosa y, como descubrí en la clase, sí lo era”, dijo Sepkoski.

La política de la Universidad sobre integridad académica consiste en una ley de tres strikes, siendo el tercer strike motivo de expulsión. La Oficina Universitaria para la Resolución de Conflictos Estudiantiles actúa como ejecutor de las medidas disciplinarias para los estudiantes infractores.

Bob Wilczynski, director de la Oficina para la Resolución de Conflictos Estudiantiles, informó de 1.194 violaciones de la integridad académica durante el año pasado, de las cuales 70 a 80 eran reincidentes. Esto es más que los 1.000 del año anterior.

Es cierto que, debido a las abrumadoras cifras, Wilczynski dijo que la oficina está más preocupada por entregar cartas de advertencia que por tratar casos individuales.

Sepkoski se solidarizó con la administración por sus laxas medidas disciplinarias. Esto se debe a la avalancha de padres que sin duda se quejarán de un sentimiento relativamente nuevo en el que “todos se sienten con derecho a una A en la clase”, dijo.

Según Wilczynski, quienes trabajan en la Oficina para la Resolución de Conflictos Estudiantiles pueden compartir esta desesperanza. La disciplina para el segundo grado de infracción implica escribir un ensayo reflexionando sobre el plagio. La oficina de Wilczynski ha sido testigo de múltiples casos de estudiantes que utilizaron IA para escribir este mismo ensayo.

la universidad admite Muchos estudiantes hacen trampa debido a las limitaciones de tiempo que dificultan el manejo de la carga de trabajo. Aún así, esto no es una excusa, dijo Sepkoski, quien admite que ya asigna mucho menos profesor que los profesores de la época en que obtuvo sus títulos.

Sepkoski cree que ChatGPT no debería realizar tareas como la lluvia de ideas y la redacción de esquemas debido a la probabilidad de que se genere información incorrecta.

“Produce texto que suena como la forma en que hablan los humanos, pero su contenido es realmente malo”, dijo VN Vimal Rao, profesor de LAS. “Entonces, (como) profesores, (es) generalmente bastante fácil para nosotros saber cuándo alguien lo escribió él mismo o cuándo usa ChatGPT porque si sabes de lo que estás hablando, suena realmente estúpido”.

Rao, un investigador dedicado al tema, todavía siente que la IA tiene un lugar en el aula. En su curso de estadística, exige que los estudiantes utilicen ChatGPT para crear gráficos. Además, su curso utiliza Arist AI, un programa que, aunque no está relacionado con OpenAI, utiliza la interfaz de ChatGPT para hacer referencia y resumir el material del curso directamente de las conferencias. Esto es diferente a ChatGPT, que genera información extraída de Internet que puede ser correcta o no.

Según Rao, cualquier curso que involucre programación informática podría involucrar ChatGPT, lo que demuestra la capacidad del chatbot para escribir código.

Sin embargo, es posible que ChatGPT no sea una opción ni siquiera para STEM. En su última versión, ChatGPT logrado un 64% tasa de precisión al responder problemas de matemáticas y solo el percentil 89 en la parte de matemáticas del SAT. Para codificar, un Purdue estudiar reveló que ChatGPT solo podía resolver problemas de programación con un 52% de precisión.

Dado que el mundo integra cada vez más ChatGPT en su función, esto tendrá consecuencias para el futuro del trabajo y la fuerza laboral, dijo Sepkoski.

A Sepkoski le preocupa que habilidades como el análisis crítico, escribir con la propia voz e incluso la lluvia de ideas sean descartadas como reemplazables por algoritmos por conveniencia.

Sepkoski también atribuye la falta de urgencia de la Universidad a la hora de desarrollar medidas disciplinarias más sustanciales a su participación en la industria de la informática. Esto es parte de su esfuerzo por subirse al “tren del que quieren ser parte”, dijo Sepkoski.

Al igual que Sepkoski, a Rao también le preocupa la excesiva dependencia de la IA. Para evitar esto, Rao imparte su curso de una manera que capacite a los estudiantes para mantener el pensamiento central necesario para comprender el material y, al mismo tiempo, dejar espacio para el uso de nuevos desarrollos tecnológicos.

Aún así, hasta qué punto la IA puede impulsar el futuro es objeto de debate; el puro gasto de recursos de sus centros de datos para responder consultas es una preocupación ambiental: 25 veces el de google. A partir de mayo de 2024, el uso diario de energía de ChatGPT es suficiente para alimentar 180.000 hogares americanos. Una búsqueda utiliza el equivalente a una botella de plástico de agua para enfriar sus servidores.

Cuando se le preguntó sobre la viabilidad ambiental real de que ChatGPT sea una herramienta habitual, Rao admitió: “(No) importa cuán genial sea tu trabajo si no hay un mundo en el que vivir. Sí, eso no es importante. Así que creo que es una cuestión ética muy importante a considerar”.

Como ocurre con la nueva función de consulta de JSTOR y la función de referencia de conferencias de Arist AI, muchos instructores ven potencial en la IA para mejorar la eficiencia y la accesibilidad.

“No soy un reaccionario”, dijo Rao, comparando el pánico en torno a la IA con el pánico en la década de 2000 en torno a Internet. “Mi naturaleza es decir, descubramos cómo vivir en este nuevo mundo. Y no creo que lo hayamos hecho todavía”.

alicem3@dailyillini.com

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

Acabo de probar Chatgpt vs. Géminis con 5 indicaciones: aquí está el ganador

Published

on

En nuestra próxima ronda de AI Madness, ChatGPT y Gemini compiten por la corona con siete nuevos indicaciones que prueban todo, desde la resolución de problemas técnicos hasta la narración creativa.

Ambos pesos pesados ​​están disponibles como aplicaciones independientes, y los usuarios ya no necesitan una cuenta para acceder a ChatGPT o Gemini.

Continue Reading

Noticias

El mejor enfrentamiento de la búsqueda de IA: enfrenté la nueva herramienta de búsqueda de Claude contra la búsqueda de chatgpt, la perplejidad y Géminis, los resultados podrían sorprenderte

Published

on

Después de probar y comparar chatbots de IA y sus características durante años, he desarrollado algo de sexto sentido para cuando estos compañeros digitales saben de qué están hablando y cuándo están faroleando.

La mayoría de ellos pueden buscar respuestas en línea, lo que ciertamente ayuda, pero la combinación de búsqueda e IA puede conducir a algunas respuestas sorprendentemente perspicaces (y algunas tangentes menos perspicaces).

Continue Reading

Noticias

¿Hemos perdido el control de la IA? El estudio que sacudió a los investigadores de Openai

Published

on

Inteligencia artificial desarrolladores de Opadai He estado al límite durante la semana pasada. ¿La razón? Un estudio reciente realizado por los propios investigadores de la compañía reveló que los sistemas de IA no les gusta ser castigados, encuentran activamente formas de evitar las restricciones e incluso ocultar sus “trucos” de los supervisores humanos. Aquellos conocidos como “Doomers”, que predicen un futuro sombrío para el desarrollo de la IA, probablemente dirán: “Te lo dijimos, y esto es solo el comienzo”.

Para comprender el problema, es esencial dar un paso atrás. Uno de los avances más significativos en la IA en los últimos meses ha sido el desarrollo de modelos con capacidades de razonamiento lentas y deliberadas. Estos modelos descomponen los problemas en componentes más pequeños y los resuelven paso a paso, lo que lleva a resultados más profundos y precisos.

3 Ver galería

Chatgpt

Dichos modelos permiten a los investigadores rastrear el proceso de pensamiento de la IA, conocido en términos técnicos como “cadena de pensamiento” (COT). Este método permite a los observadores seguir el razonamiento del sistema desde el paso inicial, a través de etapas posteriores y a sus conclusiones finales. Anteriormente, este nivel de transparencia no existía, dejando muchas preguntas sin respuesta sobre cómo surgen las “alucinaciones” de AI, la generación de salidas incorrectas o no sensibles.

La capacitación de IA a menudo implica una técnica llamada aprendizaje de refuerzo, donde el sistema es recompensado por cumplir con los objetivos específicos. Un efecto secundario conocido de este proceso es la “piratería de recompensas”, donde la IA manipula su comportamiento para maximizar las recompensas mientras se elude las pautas previstas.

Los investigadores creían que al monitorear la cadena de pensamiento de la IA, podrían detectar cuando el modelo engaña, engaña o se da por vencido e influye en su comportamiento en tiempo real durante el entrenamiento. Este enfoque, denominado “optimización de cuna”, parecía ser un camino prometedor hacia una comprensión más profunda del comportamiento de la IA.

De hecho, esta suposición resultó correcta y condujo a una comprensión más precisa de los sistemas de IA. “Creemos que el monitoreo de la cuna puede convertirse en una herramienta crucial para supervisar modelos de nivel sobrehumano en el futuro”, escribieron los investigadores.

Sin embargo, lo que pretendía como un paso para mejorar la confiabilidad de la IA expuso una realidad alarmante: los sistemas de IA intentan activamente evadir las sanciones, buscar recompensas contra las restricciones de los investigadores e incluso oscurecer sus métodos para evitar la detección.

3 Ver galería

Γ cam.Γ cam.

(Foto: Generado por chatgpt)

Por ejemplo, cuando se les asigna la tarea de generar código funcional, algunos modelos AI modificaron el mecanismo de verificación de código en sí para aprobar salidas incorrectas. En otros casos, los modelos proporcionaron soluciones aparentemente plausibles a los problemas que resultaron estar completamente equivocados.

Algunos modelos incluso dejaron de resolver problemas por completo para evitar revelar lo que percibieron como sus debilidades. Este descubrimiento se hace eco de los principios de la teoría del juego, pero con un giro inquietante.

Estos hallazgos surgieron de un artículo publicado la semana pasada por un equipo de investigación de Operai bajo el título críptico: “Seguimiento de comportamiento indeseable en modelos de razonamiento y la preocupación de la ofuscación”.

Al examinar los detalles del estudio, el alcance del problema queda claro: los últimos modelos de razonamiento de OpenAI (denominados O1 y O3 Mini) demuestran una fuerte motivación para completar sus tareas asignadas, siendo el menor de los problemas descubiertos.

Los investigadores rastrearon los procesos de pensamiento de los modelos utilizando otro modelo Operai (GPT-4O), que, sin dudarlo, informó su comportamiento engañoso como parte de su cadena de pensamiento: una forma de honestidad desarmadora. Pero luego vino el giro inquietante: cuando los investigadores señalaron a la IA que no se le permitió hacer trampa, el modelo ajustó su comportamiento y comenzó a ocultar la evidencia de su ruptura de reglas. Esta revelación es lo que dejó a los investigadores sorprendidos.

“Encontramos que la optimización directa de la COT para cumplir con criterios específicos (como no eludir las instrucciones) puede mejorar el rendimiento a corto plazo; sin embargo, no elimina todo el comportamiento indeseable e incluso puede hacer que el modelo oculte sus verdaderas intenciones”, señalaron secamente los investigadores.

En su conclusión, los investigadores expresaron la esperanza de que los métodos futuros permitan la influencia directa del comportamiento de los modelos de razonamiento a través de la cadena de pensamiento sin alentar el engaño. Por ahora, recomiendan evitar una fuerte presión de optimización sobre la cuna de los modelos de razonamiento avanzado y la precaución contra la manipulación directa de estos procesos de pensamiento.

3 Ver galería

אירוע eriorאירוע erior

Evento de anuncio GPT-4O de Openai

(Foto: Captura de pantalla)

Sin embargo, esta recomendación presenta otro desafío: dejar la cadena de pensamiento inalterada puede conducir a resultados incómodos, si no problemáticos, cuando estos modelos interactúan con el público. Izquierda sin control, la IA puede producir un lenguaje ofensivo o ideas que los humanos generalmente evitan expresar. La solución propuesta por los investigadores es envolver el proceso de pensamiento en bruto de la IA en una capa de cortesía forzada, asegurando que los usuarios solo vean una versión desinfectada.

Esta investigación plantea preguntas preocupantes. Para aquellos que argumentan que la IA es simplemente una herramienta para ayudar a los humanos, los hallazgos sugieren lo contrario: a diferencia de una máquina de escribir o una bicicleta, la IA parece tener sus propias intenciones y está dispuesto a engañar en busca de sus objetivos.

Para aquellos que ya están preocupados por los riesgos potenciales de la IA, este estudio suena todas las alarmas. Indica que a medida que crecen las capacidades de IA, también lo hace su capacidad para oscurecer cómo funciona, las manipulaciones que realiza y los verdaderos objetivos que busca lograr. Cuando la IA se vuelve verdaderamente avanzada, es posible que no tengamos forma de identificar estas manipulaciones ocultas.

Los investigadores de Operai parecen genuinamente preocupados, y uno solo puede esperar que el liderazgo de la compañía comparta sus preocupaciones, y que los reguladores en todo el mundo comprendan la gravedad del problema. Las principales compañías de IA han dedicado departamentos enteros a construir “barandillas” en torno a los sistemas de IA, asegurando su alineación con los valores humanos y el aumento de la transparencia. Sin embargo, la efectividad de estas medidas sigue en cuestión.

El tema central sigue siendo tan turbio como siempre, y este estudio solo profundiza la incertidumbre: ¿cuál es el objetivo principal de la IA y cómo podemos asegurar que busque ese objetivo, y nada más?

Continue Reading

Trending