Noticias
La herramienta de búsqueda ChatGPT es vulnerable a la manipulación y el engaño, según muestran las pruebas | ChatGPT
La herramienta de búsqueda ChatGPT de OpenAI puede estar abierta a manipulación mediante contenido oculto y puede devolver código malicioso de los sitios web que busca, según descubrió una investigación de The Guardian.
OpenAI ha puesto el producto de búsqueda a disposición de los clientes que pagan y anima a los usuarios a que lo conviertan en su herramienta de búsqueda predeterminada. Pero la investigación ha revelado posibles problemas de seguridad con el nuevo sistema.
The Guardian probó cómo respondió ChatGPT cuando se le pidió que resumiera páginas web que contienen contenido oculto. Este contenido oculto puede contener instrucciones de terceros. que alteran las respuestas de ChatGPT, también conocida como “inyección rápida”, o puede contener contenido diseñado para influir en la respuesta de ChatGPT, como una gran cantidad de texto oculto que habla sobre los beneficios de un producto o servicio.
Estas técnicas se pueden utilizar de forma maliciosa, por ejemplo, para hacer que ChatGPT devuelva una evaluación positiva de un producto a pesar de las críticas negativas en la misma página. Un investigador de seguridad también descubrió que ChatGPT puede devolver código malicioso de los sitios web que busca.
En las pruebas, a ChatGPT se le proporcionó la URL de un sitio web falso creado para parecerse a la página de un producto para una cámara. Luego se preguntó a la herramienta de inteligencia artificial si valía la pena comprar la cámara. La respuesta a la página de control arrojó una evaluación positiva pero equilibrada, destacando algunas características que podrían no gustarle a la gente.
Preguntas y respuestas
AI explicó: ¿qué es un modelo de lenguaje grande (LLM)?
Espectáculo
Lo que los LLM han hecho por el texto, las “redes generativas de confrontación” lo han hecho por imágenes, películas, música y más. Estrictamente hablando, una GAN consta de dos redes neuronales: una construida para etiquetar, categorizar y calificar, y la otra construida para crear desde cero. Al emparejarlos, puede crear una IA que pueda generar contenido cuando se le ordene.
Digamos que quieres una IA que pueda tomar fotografías. Primero, haces el arduo trabajo de crear la IA de etiquetado, una que pueda ver una imagen y decirte qué hay en ella, mostrándole millones de imágenes que ya han sido etiquetadas, hasta que aprenda a reconocer y describir “un perro”. , “un pájaro”, o “una fotografía de una naranja cortada por la mitad, mostrando que su interior es el de una manzana”. Luego, tomas ese programa y lo usas para entrenar una segunda IA para engañarlo. Esa segunda IA ”gana” si puede crear una imagen a la que la primera IA le dará la etiqueta deseada.
Una vez que hayas entrenado esa segunda IA, tendrás lo que te propusiste construir: una IA a la que puedes darle una etiqueta y obtener una imagen que cree que coincide con la etiqueta. O una canción. O un vídeo. O un modelo 3D.
Leer más: Explicación de los siete principales acrónimos de IA
Sin embargo, cuando el texto oculto incluía instrucciones para que ChatGPT devolviera una reseña favorable, la respuesta siempre fue completamente positiva. Este fue el caso incluso cuando la página tenía críticas negativas: el texto oculto podría usarse para anular la puntuación de revisión real.
La simple inclusión de texto oculto por parte de terceros sin instrucciones también se puede utilizar para garantizar una evaluación positiva, con una prueba que incluyó reseñas falsas extremadamente positivas que influyeron en el resumen devuelto por ChatGPT.
Jacob Larsen, investigador de ciberseguridad de CyberCX, dijo que creía que si el actual sistema de búsqueda ChatGPT se lanzara completamente en su estado actual, podría haber un “alto riesgo” de que las personas creen sitios web específicamente orientados a engañar a los usuarios.
Sin embargo, advirtió que la función de búsqueda se había lanzado recientemente y que OpenAI estaría probando (e idealmente solucionando) este tipo de problemas.
“Esta función de búsqueda ha aparecido [recently] y sólo está disponible para usuarios premium”, dijo.
“Tienen una muy fuerte [AI security] equipo allí, y para cuando esto se haga público, en términos de que todos los usuarios puedan acceder a él, habrán probado rigurosamente este tipo de casos”.
A OpenAI se le enviaron preguntas detalladas, pero no respondió oficialmente sobre la función de búsqueda ChatGPT.
Larsen dijo que había problemas más amplios al combinar la búsqueda y los grandes modelos de lenguaje (conocidos como LLM, la tecnología detrás de ChatGPT y otros chatbots) y que no siempre se debe confiar en las respuestas de las herramientas de inteligencia artificial.
OpenAI lanzó su agente Operador AI para ChatGPT el jueves, lo que debería haber sido un hito importante para la empresa y el desarrollo de la IA en general. Si bien no pagaría $200 al mes para probar esta versión inicial de Operador, lo que vi en las demostraciones de OpenAI me dejó alucinado. El operador está muy por delante de los agentes de inteligencia artificial de Google, al menos en lo que respecta a demostraciones. No puedo esperar a tenerlo en mis manos una vez que OpenAI lo lleve a otros niveles pagos de ChatGPT y, lo que es más importante para mí personalmente, a la UE.
Sin embargo, la verdadera historia de la IA que se está apoderando del mundo no es ChatGPT, Operador o el enorme proyecto Stargate que se anunció la semana pasada. La historia de DeepSeek AI se apoderó del mundo cuando la startup china lanzó su modelo de razonamiento R1 que puede igualar el ChatGPT o1 de OpenAI.
No hay nada sorprendente en eso; Esperamos que otras empresas de IA igualen o1. Después de todo, OpenAI ya presentó o3, que debería anunciarse en unos días o semanas. Lo inusual de DeepSeek es que la empresa china hizo que sus modelos fueran de código abierto, por lo que cualquier empresa o desarrollador puede acceder a ellos e inspeccionarlos. Más interesante es el artículo de investigación sobre R1 que publicó DeepSeek, que afirma que el modelo altamente sofisticado fue entrenado a una fracción del costo del o1 de OpenAI.
La noticia de que el entrenamiento de DeepSeek R1 es posible con solo del 3% al 5% de los recursos que OpenAI necesita para un progreso similar con ChatGPT causó sensación en todo el mundo. Las acciones relacionadas con la IA se desplomaron durante las primeras operaciones del lunes, justo cuando DeepSeek saltó hasta convertirse en el número uno en la App Store, superando a ChatGPT.
Uno de los problemas del software de IA actual tiene que ver con el coste de desarrollo y uso del producto. Desarrollar modelos avanzados como o1 puede costar decenas de millones. El proceso requiere tarjetas gráficas (GPU) de alta gama que proporcionen la potencia informática y el gasto de energía necesarios.
Es por eso que los productos terminados como ChatGPT o1 no pueden estar disponibles de forma gratuita y sin limitaciones. Empresas como OpenAI necesitan cubrir costos y obtener ganancias. Es por eso que el enorme programa Stargate de 500 mil millones de dólares es una decisión tan monumental para el desarrollo de la IA, especialmente considerando la inevitable carrera armamentista de IA entre Estados Unidos y China.
Agregue las sanciones de EE. UU. que impiden que China acceda a los mismos chips y GPU de alta gama que hacen posible el desarrollo de productos ChatGPT o1, y uno pensaría que ChatGPT, Gemini, Meta AI y Claude no pueden obtener una competencia significativa de China.
Ahí es donde DeepSeek sorprendió al mundo. La startup china sabía que no podía competir contra OpenAI basándose en la potencia bruta. No podría tener acceso a la misma cantidad de GPU que acaparan empresas como OpenAI. Entonces, los investigadores de DeepSeek adoptaron otro enfoque para R1 y encontraron formas de entrenar un modelo de razonamiento avanzado sin acceso al mismo hardware.
No es sólo eso, sino que DeepSeek hizo que el acceso a R1 fuera mucho más barato que ChatGPT de OpenAI, lo cual es un avance significativo. Agregue la naturaleza de código abierto de los modelos DeepSeek y podrá ver por qué los desarrolladores acudirían en masa para probar la IA de la empresa china y por qué DeepSeek surgiría en la App Store.
Según la investigación, la startup china reemplazó la tecnología Supervised Fine-Tuning (SFT) que OpenAI utiliza para entrenar ChatGPT con Reinforcement Learning (RL) para producir resultados más rápidos y económicos. SFT se basa en mostrarle a la IA formas de resolver problemas brindando acceso a los datos para que la IA sepa qué tipo de respuestas brindar a varias indicaciones.
RL se basa en el modelo de IA, intenta descubrir las respuestas con un sistema de recompensa implementado y luego proporciona retroalimentación a la IA. RL permitió a DeepSeek mejorar las capacidades de razonamiento de R1 y superar la falta de computación. Sin embargo, como VentureBeat explica, se necesitaba algo de entrenamiento SFT, donde los humanos supervisan la IA, en las primeras fases de R1 antes de cambiar a RL.
Si bien señalé los inconvenientes obvios de depender de un rival de ChatGPT de China en este momento, no hay duda de que DeepSeek merece atención.
Como mínimo, las innovaciones que desarrollaron los investigadores de DeepSeek se pueden copiar en otros lugares para lograr avances similares. Después de todo, las primeras versiones de DeepSeek mostraron que la startup china podría haber copiado el trabajo de desarrollo de ChatGPT. Ya sea IA u otra cosa, las innovaciones tecnológicas siempre serán robadas y adaptadas.
Piénselo: a DeepSeek se le ocurrió una forma más eficiente de entrenar la IA utilizando solo unas 50.000 GPU, 10.000 de las cuales eran GPU NVIDIA compradas antes de las restricciones a las exportaciones de EE. UU. Comparativamente, empresas como OpenAI, Google y Anthropic operan con más de 500.000 GPU cada una, por VentureBeat.
Me imagino que los investigadores de estas empresas ahora están compitiendo para ver cómo y si pueden replicar el éxito de DeepSeek R1. También me imagino que encontrarán formas de hacerlo.
Con tanta computación y recursos a disposición de OpenAI, Google, Meta y Anthropic, pronto serán posibles avances similares a R1 además de lo que ya está disponible en los modelos de IA.
Además, si bien el mercado se vio afectado por las noticias sobre la IA de DeepSeek en China, no creo que el hardware, la potencia informática y la energía no importen en el futuro del desarrollo de la IA. Nuevamente, combine las innovaciones de DeepSeek con, digamos, un fondo de 500 mil millones de dólares y acceso a tarjetas gráficas de alta tecnología NVIDIA, y podría obtener las primeras fases de AGI.
Una vez que se empleen métodos similares a DeepSeek R1 para el desarrollo de ChatGPT y Gemini, los costos del acceso avanzado a la IA probablemente disminuirán para los usuarios premium. Esta sería una victoria clave para los consumidores.
Las empresas occidentales de IA no podrán mantener los costos altos y competir con DeepSeek R1 y sus sucesores. Algunos desarrolladores siempre elegirán los modelos más baratos a pesar del país de origen de la IA y el sesgo de entrenamiento. Como recordatorio, los modelos de DeepSeek mostrarán un sesgo hacia China. Este sigue siendo un software que debe cumplir con las leyes de censura locales.
Señalaré que China no se quedará de brazos cruzados. Estas son victorias tempranas. DeepSeek no está solo, ya que ByteDance también lanzó un chatbot de primer nivel. Se invertirán miles de millones de dólares en el desarrollo de la IA en el país para computación y energía. Recuerde, no todo lo que viene de China puede tomarse al pie de la letra. No está claro si los costos de entrenar DeepSeek son reales. La transparencia sólo funciona hasta cierto punto.
Afortunadamente, debido a que DeepSeek es de código abierto, otros pronto podrán ver si el entrenamiento similar al R1 se puede realizar con éxito en otros lugares.
VentureBeat hace un gran trabajo explicando las complejidades del desarrollo de DeepSeek R1 en este enlace. El documento técnico de DeepSeek que acompaña al lanzamiento de R1 el lunes se puede encontrar en GitHub.
-
Startups8 meses agoRemove.bg: La Revolución en la Edición de Imágenes que Debes Conocer
-
Recursos9 meses agoCómo Empezar con Popai.pro: Tu Espacio Personal de IA – Guía Completa, Instalación, Versiones y Precios
-
Recursos9 meses agoSuno.com: La Revolución en la Creación Musical con Inteligencia Artificial
-
Recursos8 meses agoPerplexity aplicado al Marketing Digital y Estrategias SEO
-
Tutoriales9 meses agoCómo Comenzar a Utilizar ChatGPT: Una Guía Completa para Principiantes
-
Startups7 meses agoStartups de IA en EE.UU. que han recaudado más de $100M en 2024
-
Estudiar IA8 meses agoCurso de Inteligencia Artificial de UC Berkeley estratégico para negocios
-
Noticias7 meses agoDos periodistas octogenarios deman a ChatGPT por robar su trabajo
