¿ChatGPT podría obtener un título en ingeniería? Un estudio a gran escala investiga el impacto potencial de los asistentes de IA en la educación

ChatGPT irrumpió en la escena pública a finales de 2022 y atrajo a más de 100 millones de usuarios en tan solo su primer mes. Desde entonces, ha habido cada vez más ejemplos de cómo la IA puede transformar la sociedad en los próximos años, desde el empleo y la comunicación hasta la educación.

En la educación superior, los estudiantes utilizan cada vez más los asistentes de IA. Si bien estas herramientas brindan oportunidades para mejorar la enseñanza y la educación, también plantean desafíos importantes para la evaluación y los resultados del aprendizaje; hasta ahora, no ha habido un estudio exhaustivo de su impacto potencial en los métodos de evaluación que utilizan las instituciones educativas.

Como se describe en su nuevo artículo publicado en el Actas de la Academia Nacional de Cienciasinvestigadores de la Facultad de Ciencias de la Computación y la Comunicación de la EPFL han realizado un estudio a gran escala en 50 cursos de la EPFL para medir el desempeño actual de los modelos de lenguaje grandes en las evaluaciones de cursos de educación superior.

Los cursos seleccionados se tomaron como muestra de nueve programas de licenciatura, maestría y en línea, que cubren un amplio espectro de disciplinas STEM, incluidas ciencias de la computación, matemáticas, biología, química, física y ciencias de los materiales.

“Tuvimos suerte de que un gran consorcio de profesores, docentes y asistentes de enseñanza de la EPFL nos ayudaron a recopilar el mayor conjunto de datos hasta la fecha sobre materiales de cursos, evaluaciones y exámenes para obtener una amplia gama de materiales en nuestros programas de grado”, explicó el profesor asistente. Antoine Bosselut, jefe del Laboratorio de Procesamiento del Lenguaje Natural (PLN) y miembro del Centro de IA de la EPFL.

“Estos datos se seleccionaron en un formato que pensamos que se parecería más a las formas en que los estudiantes realmente darían esta información a los modelos y luego generamos respuestas a partir de los modelos y vimos qué tan bien respondieron”.

Centrándose en GPT-3.5 y GPT-4, los investigadores utilizaron ocho estrategias de estimulación para producir respuestas y descubrieron que GPT-4 responde correctamente un promedio del 65,8% de las preguntas, e incluso puede producir la respuesta correcta en al menos una estrategia de estimulación para el 85,1. % de preguntas.

“Nos sorprendieron los resultados. Nadie esperaba que los asistentes de IA lograran un porcentaje tan alto de respuestas correctas en tantos cursos. Es importante destacar que el 65 % de las preguntas respondidas correctamente se logró utilizando la estrategia más básica, sin necesidad de conocimientos, por lo que cualquiera, sin entender nada técnicamente, podría lograrlo. Con algunos conocimientos del tema, lo cual es típico, fue posible lograr una tasa de éxito del 85% y eso fue realmente sorprendente”, dijo Anna Sotnikova, científica de la NPL y coautora. en el papel.

El impacto de la IA en el aprendizaje y el desarrollo de habilidades de los estudiantes

Los investigadores fundamentaron teóricamente los problemas asociados con el uso de estos sistemas de IA por parte de los estudiantes en torno a la vulnerabilidad: por un lado, la vulnerabilidad de la evaluación o si las evaluaciones utilizadas tradicionalmente pueden ser “engañadas” por estos sistemas y, por otro lado, la vulnerabilidad educativa, es decir, , ¿podrían usarse estos sistemas para eludir los caminos cognitivos típicos que toman los estudiantes para aprender las habilidades académicas que necesitan?

En este contexto, los investigadores creen que los resultados del estudio plantean preguntas claras sobre cómo garantizar que los estudiantes puedan aprender los conceptos básicos necesarios para comprender temas más complejos más adelante.

“El temor es que si estos modelos son tan capaces como lo que indicamos, los estudiantes que los usan podrían acortar el proceso a través del cual aprenderían nuevos conceptos. Esto podría construir bases más débiles para ciertas habilidades en una etapa más temprana, haciendo más difícil un aprendizaje más complejo. conceptos más adelante.

“Tal vez sea necesario un debate sobre qué deberíamos enseñar en primer lugar para lograr las mejores sinergias de las tecnologías que tenemos y qué harán los estudiantes en las próximas décadas”, dijo Bosselut.

Otro punto clave del desarrollo de los asistentes de IA es que no van a empeorar, sólo mejorarán. En esta investigación, que finalizó hace un año, se utilizó un único modelo para todas las materias y, por ejemplo, tuvo problemas especiales con las preguntas de matemáticas. Ahora existen modelos específicos para matemáticas. La conclusión, dicen los investigadores, es que si el estudio se volviera a realizar hoy, las cifras serían aún mayores.

Enfatizar evaluaciones complejas y adaptar la educación

“A corto plazo, deberíamos impulsar evaluaciones más estrictas, no en el sentido de la dificultad de las preguntas, sino en el sentido de la complejidad de la evaluación en sí, donde se deben tomar múltiples habilidades a partir de diferentes conceptos que se aprenden a lo largo del curso. semestre y que se reúnen en una evaluación integral”, sugirió Bosselut. “Los modelos todavía no están diseñados para planificar y funcionar de esta manera y, al final, creemos que este aprendizaje basado en proyectos es mejor para los estudiantes de todos modos”.

“La IA desafía a las instituciones de educación superior de muchas maneras, por ejemplo: ¿qué nuevas habilidades se requieren para los futuros graduados, cuáles se están volviendo obsoletas, cómo podemos proporcionar retroalimentación a escala y cómo medimos el conocimiento? Este tipo de preguntas surgen en casi todos los reunión de gestión en la EPFL y lo más importante es que nuestros equipos inicien proyectos que proporcionen respuestas basadas en evidencia a la mayor cantidad posible de ellos”, dijo Pierre Dillenbourg, vicepresidente de Asuntos Académicos de la EPFL.

A largo plazo, está claro que los sistemas educativos necesitarán adaptarse y los investigadores quieren acercar este proyecto en curso a los educadores, alineando los estudios y luego las recomendaciones con lo que les resulte útil.

“Esto es sólo el comienzo y creo que una buena analogía con los LLM en este momento son las calculadoras. Cuando se introdujeron, había un conjunto similar de preocupaciones de que los niños ya no aprenderían matemáticas. Ahora, en las primeras fases de la educación, las calculadoras suelen ser no está permitido, pero se espera que en la escuela secundaria y superiores se encarguen del trabajo de nivel inferior mientras los estudiantes aprenden habilidades más avanzadas que dependen de ellos”, agregó Beatriz Borges, Ph.D. Estudiante de PNL y coautor del artículo.

“Creo que veremos una adaptación gradual similar y un cambio hacia una comprensión tanto de lo que estos sistemas pueden hacer por nosotros como de lo que no podemos confiar en que hagan. En última instancia, incluimos sugerencias prácticas para apoyar mejor a los estudiantes, profesores , administradores y todos los demás durante esta transición, al mismo tiempo que ayuda a reducir algunos de los riesgos y vulnerabilidades descritos en el documento”, concluyó.