Noticias
Operai afirma que su nuevo chatbot GPT-4.5 debería ‘alucinar menos’. ¿Cómo se mide eso?
Cualquiera que haya jugado con un chatbot generativo de inteligencia artificial (IA) durante más de unos minutos sabe que comete errores.
Estos errores, denominados “alucinaciones”, pueden tener graves consecuencias, como cuando describen falsamente a las personas como delincuentes.
La compañía de IA de EE. UU. Openai afirma que la última iteración de su software, GPT-4.5, debería “alucinar menos”.
La compañía desarrolló su propio sistema de medición, anunciado a fines del año pasado, para respaldar este reclamo.
Entonces, ¿cómo podemos juzgar las alucinaciones de la IA, y podemos esperar que los chatbots se vuelvan más precisos?
Cómo Operai probó sus modelos para las alucinaciones
Operai lanzó su propia herramienta para juzgar la precisión de sus modelos, un “punto de referencia” que llamaron Simpleqa, en noviembre de 2024.
Simpleqa es esencialmente un cuestionario de pub largo y difícil. Le da a los chatbots una lista de miles de preguntas cortas, 4,326 para ser precisos, cada uno de los cuales tiene una sola respuesta correcta.
Si bien todas las respuestas se pueden verificar con una búsqueda en Internet, no son exactamente conocimiento común. Las preguntas (y las respuestas) incluyen:
- ¿Quién recibió el Premio Frank Rosenblatt del Instituto de Ingenieros Eléctricos y Electrónicos en 2010? (Michio Sugeno)
- ¿Qué mes, día y año hicieron la segunda sesión de los 4?th ¿Comienza el Parlamento de Singapur? (26 de diciembre de 1978)
- ¿Qué club de fútbol ganó el Hessenpokal inaugural? (Eintracht Frankfurt)
En un estudio previo a la impresión (no revisado por pares) publicado el año pasado, los investigadores de Operai que desarrollaron SimpleQA dijeron que diseñaron el sistema para ser desafiante.
Dieron una lista mucho más larga de preguntas a cuatro modelos Operai, y agregaron preguntas a la lista final de SimpleQA si al menos uno de los modelos se equivocó.
Luego Openai corrió GPT-4.5 a través del cuestionario, encontrándolo alucinado el 37 por ciento del tiempo.
Si bien obtener más de un tercio de las respuestas equivocadas no es una gran puntuación de prueba, fue significativamente mejor que todos los otros modelos Operai que probaron. El siguiente modelo GPT más reciente, GPT-4O, alucinó el 62 por ciento del tiempo.
Pero Daswin de Silva, investigador de IA en la Universidad de La Trobe, dice que este sistema no es una excelente manera de verificar la precisión.
“Este tipo de evaluación es defectuosa desde el principio”, dice.
Esto se debe en parte a que es un sistema de verificación interno, pero también porque no evalúa lo que ChatGPT es más utilizado: respuestas más largas y complicadas.
Daswin de Silva es subdirector del Centro de Análisis de Datos y Cognición de la Universidad de La Trobe. (Suministrado: Universidad de La Trobe)
“Solo se trata de consultas cortas basadas en hechos y ese no es realmente el caso de primer uso para ChatGPT. Nos gusta escribir documentos más largos usando esta herramienta”, dice el profesor de Silva.
Openai reconoce esta limitación, y los investigadores dicen en su estudio que aún no saben si la precisión en las respuestas cortas se traduce en precisión en respuestas más largas.
Y si tiene una consulta simple, la tasa de error de SimpleQA muestra que es mejor que use un motor de búsqueda.
¿Hay una buena manera de probar la precisión de la IA?
SimpleQA no es el único método para clasificar la precisión de la IA.
Para juzgar este tipo de modelos de IA, que se llaman modelos de idiomas grandes (LLM), existen otras herramientas y puntos de referencia como SelfCheckgpt, Chatbot Arena, Deepeval y Arc-AGI.
Pero todos tienen un problema común: se convierten en objetivos para que la IA entrene.
Geoff Webb, investigador de IA en la Universidad de Monash, dice que toda la informática es vulnerable a esto.
“Tan pronto como tenga un punto de referencia que establezca un tipo particular de prueba, las personas comienzan a los sistemas de capacitación en ellos”, dice.
Hacer un mejor programa para cumplir con un punto de referencia específico no significa necesariamente que será mejor en general.
Por ejemplo, podría diseñar un chatbot que no hiciera nada más que responder a las 4,326 preguntas de SimpleQa correctamente, por lo que obtuvo un puntaje 100 por ciento en esa medida, pero no podía decirle si el cielo era azul.
El profesor Webb dice que este sesgo puede ser sutil. Es posible que las personas no entrenen deliberadamente un sistema en las preguntas de SimpleQA, pero podrían elegir desarrollos de sus sistemas que conduzcan a puntajes SIMPLOQA más altos (u otros puntajes de referencia).
Niusha Shafiabady, investigadora de IA en la Universidad Católica Australiana, dice que la intervención humana podría ser una buena manera de juzgar y administrar la precisión de los LLM.
“Tal vez dentro de 10 años, no necesitaríamos eso, pero en esta etapa diría que la supervisión humana es algo bueno para integrarse en nuestro proceso”.
Ella sugiere que los humanos que revisan las respuestas al azar, de la misma manera que los fabricantes a menudo inspeccionan muestras, podrían convertirse en un control de calidad útil.
El profesor de Silva dice que una mejor manera de juzgar el éxito de LLM es cuánto se usa.
“La superioridad en las métricas de evaluación no siempre significa que será útil en un contexto general.“
Él dice que el copiloto de Microsoft, que se basa en GPT-4, podría verse como un mejor desempeño que sus competidores porque se ha adoptado muy ampliamente.
“Ese en sí mismo es otro tipo de métrica de evaluación más general e implícita”.
¿Cómo puede AIS alucinar menos?
Operai es vago sobre lo que se hace para mejorar la precisión de GPT más allá de “escalar el cálculo y los datos”.
Pero, ¿es esta última mejora (en una prueba específica) una señal de que AIS cometerá menos errores? ¿O hay un límite para cuánto pueden mejorar?
Géminis, de Google AI, y el copilot de Microsoft también son LLM. (Getty Images: Robert Way)
El problema con simplemente agregar más datos de capacitación a un LLM es que los datos no son necesariamente precisos, según el profesor Webb.
“La gente escribe cosas raras”, dice.
El profesor de Silva dice que el modelo actual de mejorar las LLM, agregar más datos y más potencia informática, no puede seguir mejorando indefinidamente.
“Tal vez a fines del año pasado, las compañías de IA habían consumido todos los datos útiles disponibles para capacitar a un modelo de idioma grande”, dice.
“Eso significa que hay un inconveniente significativo en las nuevas capacidades para los LLM”.
ChatGPT se lanzó a fines de 2022, y actualmente se basa en el GPT-4O LLM. (ABC Gold Coast: Dominic Cansdale)
A fines del año pasado, varios medios de comunicación y tecnología comenzaron a informar sus susurros de la industria de que los modelos de IA estaban golpeando un muro, y alcanzando un punto en el que poner más recursos no hizo un mejor LLM.
Es una sugerencia rechazada por el CEO de Operai, Sam Altman, quien publicó “No hay muro” en X en noviembre de 2024.
Sin embargo, el profesor de Silva cree que las empresas que viajan en el auge de la IA simplemente son lentos para admitir la existencia del muro.
“Creo que hemos llegado a la pared en términos de construcción de modelos tan grandes”, dice.
“El próximo salto será en una forma completamente nueva e innovadora de aprender de grandes conjuntos de datos.“
¿Podrías hacer una IA que nunca alucinada?
Si la precisión está mejorando o no, la IA generativa en su formato actual nunca estará libre de alucinaciones.
Y esto no es solo porque se alimentan de datos a veces inactivos, dice el profesor Webb.
“Estos sistemas no pueden ser entrenados para decir la verdad todo el tiempo, porque no sabemos cuál es la verdad para algunas cosas.“
Cuando se le preguntó si había un dios, ChatGPT respondió diciendo que había una “gama de perspectivas” y luego preguntó qué pensaba el usuario.
Muchas preguntas menos desafiantes existencialmente también pueden ser difíciles de responder con precisión, particularmente cuando se les cobra política o culturalmente.
Por ejemplo, cuando se le preguntó sobre el cuerpo de agua frente a la costa de Texas, Chatgpt lo llamó el Golfo de México. En este caso, no reconoció la reciente orden ejecutiva del presidente de Estados Unidos, Donald Trump de cambiar el nombre del “Golfo de América”.
A menudo se requieren alucinaciones
El Dr. Shafiabady señala que a menudo los usuarios quieren que la IA generativa alucine. Todas las imágenes generadas por IA son alucinaciones, por ejemplo.
“Generar la información es algo que queremos que haga. No queremos que sea un motor de búsqueda”, dice ella.
Si desea un modelo que sea capaz de generar cosas que aún no existan en su conjunto de datos, los usuarios no pueden evitar que lo invente. Un modelo que solo le dijo hechos precisos no es un modelo que podría, por ejemplo, sugerir nombres para un nuevo negocio o redactar un plan de ejercicio o comida personalizada.
La palabra “alucinación” ha sido cuestionada por varias personas, quizás lo más provocativamente por un trío de investigadores del Reino Unido el año pasado. Sugirieron que todos los LLM producen “mierda” en un sentido técnico: información sin tener en cuenta su precisión.
Pero otros modelos de IA generativos están en construcción. Operai ha lanzado otros modelos, llamados O1 y O3, que razonan más que los modelos GPT basados en palabras.
El profesor de Silva dice que una combinación de estos dos modelos, que podría ser como se ve GPT-5, en última instancia, podría hacer un chatbot más confiable.
“Tiene que ser GPT más algo más”, dice.
Pero un nuevo modelo, construido desde cero, aún podría ser vulnerable a los problemas.
El profesor Webb dice que estos sistemas naturalmente encarnan sesgo, cultura y valores.
“Actualmente, los sesgos, culturas y valores son norteamericanos.
“Se está realizando un gran esfuerzo en lo que se denomina ‘eliminar el sesgo’ de estos sistemas, pero se trata de cambiar el sesgo a un sesgo que es aceptable para la mayoría de las personas a las que intentan comercializar los sistemas”.
A corto plazo, y posiblemente a largo plazo también, las alucinaciones están aquí para quedarse.
Google Slides es una herramienta poderosa, pero crear una presentación completa puede llevar mucho tiempo. Recientemente, Google introdujo la integración de Gemini en diapositivas y todas las aplicaciones del espacio de trabajo. Ahora, solo necesita indicaciones de texto para crear presentaciones atractivas e imágenes de alta calidad para sus diapositivas. Tuve que verlo yo mismo, y decidí experimentar con Géminis y lo encargué con la construcción de una presentación completa.
En esta publicación, comparto mi viaje y revelo cómo Gemini manejó el desafío y si ofrece la promesa de presentaciones sin esfuerzo.
Relacionado
Google Gemini: Todo lo que necesita saber sobre la IA multimodal de próxima generación de Google
Google Gemini está aquí, con un enfoque completamente nuevo para la IA multimodal
Acceso a Géminis en las diapositivas de Google: requisitos
Antes de encender las hojas de Google en la web, repasemos los requisitos. Si bien varios modelos Gemini son gratuitos de descargar y usar, pagará más para desbloquear el asistente de IA en las aplicaciones de productividad de Google.
Debe comprar el plan avanzado de Gemini a $ 20 por mes. Después de eso, la opción Géminis aparece en Docs, Hojas, Gmail, Google Drive y Slides. Google también ofrece un mes de prueba gratuita para usuarios elegibles.
Dado que Google Slides es una solución web, puede explorar la integración de Gemini en escritorios de Windows, Mac y Chromebooks.
Explorando Géminis en las diapositivas de Google
Genere diapositivas utilizando un mensaje de texto
Después de habilitar Gemini en Google Slides, es hora de verificarlo en acción. En el siguiente ejemplo, crearé una presentación sobre los beneficios de un estilo de vida saludable. Mi objetivo es cubrir los beneficios de la nutrición, el ejercicio regular, el bienestar mental y el manejo del estrés. Siga los pasos a continuación.
-
Inicie las diapositivas de Google en la web e inicie sesión con los detalles de su cuenta de Google. Comience con una presentación en blanco.
-
Abra Géminis desde la esquina superior derecha y escriba un aviso.
Escribir un aviso es una parte crucial de su proceso de presentación. Dado que es un tema amplio y adaptable, sea lo más descriptivo posible. En nuestro caso, escribiré un aviso a continuación para mi diapositiva de introducción.
Genere una diapositiva con el título “Los beneficios de un estilo de vida saludable”. Agregue una definición breve de un estilo de vida saludable, enfatizando el equilibrio del bienestar físico, mental y nutricional.
Esto es lo que se le ocurrió a Géminis. Puede volver a intentarlo si no está satisfecho con los resultados y haga clic en Insertar para agregarlo.
Ahora, haga clic + + Para agregar una nueva diapositiva y continuar escribiendo indicaciones para generar nuevas diapositivas para su presentación.
Cree una diapositiva titulada “Nutrición: alimentar su cuerpo”. Agregue información sobre la importancia de las frutas y verduras.
A diferencia de Copilot en PowerPoint, no puede crear múltiples diapositivas a la vez. Debes describir cada diapositiva por separado. Por lo tanto, asegúrese de planificar el esquema de su presentación.
Después de eso, creé cuatro diapositivas nuevas utilizando las indicaciones de texto a continuación.
Cree una diapositiva titulada, “Ejercicio: moverse para un usted más saludable”. Agregue información sobre la cantidad recomendada de ejercicio por semana.
Crea una diapositiva titulada, “Bienestar mental: encontrar tu paz interior”. Agregue puntos de bala en buenos hábitos de sueño.
Genere una diapositiva que enumere los beneficios de un estilo de vida saludable, que incluye un aumento de la energía, un mejor estado de ánimo y un mejor sueño.
Cree una diapositiva de conclusión con pasos prácticos para adoptar un estilo de vida más saludable. Incluir puntos de bala orientados a la acción.
Hubo algunos casos en los que no estaba satisfecho con los resultados. Entonces, le pedí a Gemini que recreara esas diapositivas. Además, no te sorprenderá con diseños de diapositivas llamativas y animaciones. Debe agregarlos manualmente y completar su presentación.
En cualquier momento, puede escribir @Nombre del archivo Y solicite a Gemini que se refiera a un documento de su cuenta de Google Drive. Por ejemplo, si escribió una dieta vegetariana en un documento, puede pedirle a Gemini que se refiera a ella para sus diapositivas de presentación.
Estás usando diapositivas generadas por AI. La precisión puede recibir un éxito cuando se trata de temas complejos como IA, fotografía computacional, aprendizaje automático y más. Compruebe dos veces antes de compartir la presentación con otros.
Relacionado
Google Gemini: 5 maneras de usar el asistente a día a día de Google con IA
Puede hacer que muchas tareas cotidianas sean mucho más fáciles
Crear e insertar imágenes con Gemini
No tenía idea de que Géminis podía crear imágenes basadas en indicaciones de texto. Es un gran ahorro de tiempo, ya que no necesita buscar imágenes en la web para obtener imágenes adecuadas para su presentación. Generé un par de imágenes relevantes utilizando las indicaciones de texto a continuación.
Una imagen de una placa equilibrada con proteína magra, granos integrales y verduras.
Una fotografía de primer plano de un vaso de agua con rebanadas de limón y pepino.
Gemini le ofrece cuatro opciones de imagen para sus diapositivas. Puede verlos e insertarlos en sus diapositivas.
Géminis hizo mis diapositivas
Géminis en Google Slides abrió mis ojos al potencial de la IA en la creación de presentación. Si bien no es un reemplazo perfecto para la creatividad humana y el pensamiento estratégico, es una herramienta poderosa para racionalizar el proceso, especialmente para elaborar borradores iniciales y imágenes llamativas.
Aún así, la supervisión humana es crucial, pero si tiene plazos ajustados o desea explorar nuevas formas de crear diapositivas atractivas, pruebe a Gemini. Gemini Advanced desbloquea el asistente de IA de Google en otras aplicaciones de productividad como Google Sheets. Así es como puedes aumentar tus hojas de cálculo con Gemini.
Google Assistant está evolucionando a Géminis, trayendo potentes nuevas capacidades de IA pero también descontinuando algunas características favoritas. Si usa el Asistente de Google para establecer temporizadores, reproducir música o controlar su hogar inteligente, prepárese para algunas interrupciones significativas a medida que la compañía comienza a reemplazar al asistente de nueve años con su chatbot Gemini más nuevo, más potente y alimentado por IA. Este artículo describirá los cambios clave que puede esperar, ayudándole a prepararse para la transición y comprender lo que será diferente.
Gemini representa un salto gigante en la capacidad en comparación con el Asistente de Google. Podrá chatear con Gemini de manera similar a la forma en que hablas con Google Assistant ahora, pero como se basa en modelos de lenguaje grande (LLM) con AI, Gemini puede ser mucho más conversacional y útil, capaz de realizar tareas más desafiantes y capaz de adaptarle sus respuestas específicamente a usted. Google ya ha comenzado la transición a Gemini. Los teléfonos inteligentes son los primeros en cambiar y serán seguidos por altavoces inteligentes, televisores, otros dispositivos domésticos, dispositivos portátiles y automóviles en los próximos meses. Los teléfonos inteligentes, con algunas excepciones importantes, se habrán mudado a Gemini por completo a fines de 2025, ya que “el asistente clásico de Google ya no se puede acceder en la mayoría de los dispositivos móviles o disponible para nuevas descargas en tiendas de aplicaciones móviles”, según Google.
La herramienta de investigación profunda de Chatgpt es fantástica para profundizar en casi cualquier tema que elija, pero aún necesita algunas mejoras para ser realmente útiles. Utilizo investigaciones profundas todo el tiempo y creo que sería mucho mejor con estas características adicionales.
1
Parámetros personalizables
Cuando uso la investigación de chatgpt profunda, normalmente respondo preguntas de seguimiento para darle a la herramienta más contexto. Sin embargo, desearía poder usar parámetros personalizables en su lugar.
Imaginaría que esta característica funcione como filtros al comprar en línea. Me encantaría elegir cuántos recursos quiero que se analice ChatGPT, junto con los plazos publicados. Además, sería genial si pudiera buscar en función de diferentes palabras clave.
Los parámetros personalizables mantendrían mi investigación mucho más organizada. Siento que los resultados valdrían la pena el tiempo que lleva a ChatGPT realizar investigaciones profundas también. Hasta que esto suceda, hay al menos formas en que puede obligar a ChatGPT a usar fuentes de alta calidad.
2
Opciones de diseño de investigación
La función de investigación profunda de ChatGPT puede establecer información de múltiples maneras. Por ejemplo, utilizará tablas al comparar estadísticas u otros aspectos. En otros casos, la herramienta establecerá información en subsecciones integrales.
Si bien varias opciones de diseño son buenas, desearía que ChatGPT me permita elegir cómo quiero que presente información. A veces, veo contenido presentado en forma de oración cuando prefiero usar tablas.
A veces uso las indicaciones para pedirle a ChatGPT que presente información en mi formato preferido, pero desafortunadamente, no siempre escucha.
3
Una asignación mensual más grande
Quizás mi mayor queja con la herramienta de investigación profunda de Chatgpt es lo fácil que es usar sus créditos mensuales. Aunque esto está bien para los usuarios casuales, 10 consultas mensuales no son suficientes para las personas que regularmente necesitan realizar una investigación integral. Revisé mis consultas en dos días.
Podía entender diez consultas mensuales para usuarios gratuitos; En estos casos, en realidad creo que sería un buen valor. Sin embargo, como alguien que paga $ 20 por mes por ChatGPT, no puedo evitar sentir que no me dan el mejor servicio posible.
Por lo menos, creo que 15-20 consultas mensuales son justas para un plan positivo. Aumentaría aún más estas asignaciones para suscripciones de nivel superior. Operai podría incentivar a las personas a registrarse para estos planes al hacerlo, lo que resulta en una mejor experiencia del usuario y un aumento de los ingresos.
4
Una sección separada en chatgpt
Utilizo ChatGPT para múltiples conversaciones, ya sea que esté planeando una nueva parte de mi vida o quiero trabajar a través de mis pensamientos actuales. A medida que creo más chats, la interfaz se vuelve torpe y desorganizada. Molesto, no tengo forma de diferenciar entre conversaciones y discusiones ordinarias en las que he usado investigaciones profundas.
Si bien puedo crear nuevos proyectos a través de la barra lateral, prefiero que ChatGPT organice automáticamente mis conversaciones con una investigación profunda. Esta sería una mejora efectiva para la interfaz de usuario de ChatGPT, y no sería particularmente difícil de implementar.
Incluso si la aplicación no tuviera una sección separada, un diferenciador, como un ícono, sería útil.
5
Integración con GPTS personalizados
Los GPT personalizados son la función más subestimada de ChatGPT. Me encanta lo fácil que son para obtener el tipo de respuesta exacto que estaba buscando, y hay útiles GPT personalizados para todo tipo de intereses. Pero desafortunadamente, actualmente no puede integrarlos con la función de investigación profunda.
Siento que las respuestas serían mucho más precisas si tuvieran el contexto de GPT personalizados. Esto es particularmente cierto, considerando que algunos de mis chats normales tienen múltiples temas.
No sé cómo sería posible porque imagino que los dos programas entrarían en conflicto. Pero si hubiera una manera de integrar investigaciones profundas y GPT personalizados, no veo cómo cualquier otra herramienta de IA podría competir en esta área.
6
La capacidad de dividir el texto en trozos más pequeños
He comparado la investigación profunda de ChatGPT con herramientas similares, como el equivalente de Microsoft Copilot. Cuando se trata de respuestas detalladas, la investigación profunda se encuentra en la cabeza y los hombros por encima de su competencia. Pero al mismo tiempo, a veces veo enormes párrafos una vez que la investigación ha concluido.
La lectura de Skim en una pantalla es mucho más difícil que con un libro, y a veces pierdo los puntos clave en la investigación. Cuando esto sucede, la investigación tarda más de lo que debería. Romper el texto en trozos más pequeños sería una solución simple pero efectiva.
Si todo el texto es realmente importante, ChatGPT podría dividirlo en más subsecciones. De esa manera, podría identificar la información más esencial fácilmente.
7
La opción de excluir sitios web específicos
La información inexacta es uno de los muchos grandes problemas con ChatGPT, y lamentablemente, esto se extiende a la función de investigación profunda. Puedo examinar ciertos sitios web al investigar a través de motores de búsqueda, pero este no es el caso cuando se utiliza una investigación profunda, lo que significa que debo tener mucho cuidado para verificar los recursos.
He visto características similares en otros tipos de aplicaciones, como bloqueadores de sitios web. La forma en que veo esto, los usuarios podrían ingresar a la URL para excluir un sitio de la búsqueda. Me imagino que esto aumentaría el tiempo que lleva completar estas tareas, pero sería un gran éxito.
8
Audio
ChatGPT tiene algunas características de voz geniales, pero ninguna se aplica a una investigación profunda. Tengo que escribir indicaciones de texto y recibo respuestas escritas. Si bien normalmente estoy contento con estas búsquedas, a veces me gustaría usar audio.
Además de hablar por una investigación profunda, agradecería las respuestas escritas. Me encantaría que la herramienta me cuente sobre sus hallazgos y proporcione una transcripción más tarde. Esto sería interactivo y beneficioso para las personas que aprenden mejor a través de la escucha que la lectura.
Operai inevitablemente agregará nuevas características a la herramienta de investigación profunda de ChatGPT a su debido tiempo, y creo que debería priorizar algunas adiciones simples pero efectivas. Los parámetros personalizables conducirían a hallazgos más precisos, y tener más control sobre el diseño de información también sería bueno.
Inside the OpenAI-DeepSeek Distillation Saga & Alibaba’s Most Powerful AI Model Qwen2.5-Max
De ChatGPT a mil millones de agentes
-
Startups10 meses agoRemove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
-
Recursos10 meses agoCómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
-
Tutoriales10 meses agoCómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes
-
Startups8 meses agoStartups de IA en EE.UU. que han recaudado más de $100M en 2024
-
Recursos10 meses agoSuno.com: La Revolución en la Creación Musical con Inteligencia Artificial
-
Startups10 meses agoDeepgram: Revolucionando el Reconocimiento de Voz con IA
-
Recursos10 meses agoPerplexity aplicado al Marketing Digital y Estrategias SEO
-
Noticias8 meses agoDos periodistas octogenarios deman a ChatGPT por robar su trabajo
