En una presentación ante el IRS, OpenAI Inc., la organización sin fines de lucro de OpenAI, reveló que otorgó una subvención a investigadores de la Universidad de Duke para un proyecto titulado “Investigación de la moralidad de la IA”. Al ser contactado para hacer comentarios, un portavoz de OpenAI señaló un comunicado de prensa que indica que el premio es parte de una subvención mayor de tres años y un millón de dólares para profesores de Duke que estudian “crear IA moral”.
Poco se sabe públicamente sobre esta investigación sobre “moralidad” que OpenAI financia, aparte del hecho de que la subvención finaliza en 2025. El investigador principal del estudio, Walter Sinnott-Armstrong, profesor de ética práctica en Duke, le dijo a TechCrunch por correo electrónico que “no lo hará”. poder hablar” sobre el trabajo.
Sinnott-Armstrong y la coinvestigadora del proyecto, Jana Borg, han elaborado varios estudios (y un libro) sobre el potencial de la IA para servir como un “GPS moral” para ayudar a los humanos a tomar mejores decisiones. Como parte de equipos más grandes, crearon un algoritmo “alineado moralmente” para ayudar a decidir quién recibe donaciones de riñón y estudiaron en qué escenarios la gente preferiría que la IA tomara decisiones morales.
Según el comunicado de prensa, el objetivo del trabajo financiado por OpenAI es entrenar algoritmos para “predecir juicios morales humanos” en escenarios que involucran conflictos “entre características moralmente relevantes en la medicina, el derecho y los negocios”.
Lea más sobre la investigación de moralidad de la IA de OpenAI en TechCrunch
El director ejecutivo de NVIDIA, Jensen Huang, regresó a su alma mater e interactuó con los estudiantes de la Universidad de Ciencia y Tecnología de Hong Kong. Habló sobre todo, desde la importancia de la IA, cómo evolucionó la IA, el precio de las acciones de NVIDIA e incluso cómo cortejó a su esposa diciéndole que será CEO cuando tenga 30 años. Mira a Jensen Huang desconectado, como nunca antes.
En el vertiginoso mundo de la inteligencia artificial, los datos que impulsan la innovación son cada vez más escasos. Pero muchas empresas cuentan con montañas de datos no estructurados que podrían utilizarse si se procesan adecuadamente.
Ingresa Veritone, Inc., con la intención de abordar este desafío con la introducción de Veritone Data Refinery. Esta nueva herramienta está diseñada para transformar vastos conjuntos de datos no estructurados en activos pulidos y listos para la IA, un paso crítico a medida que las industrias amplían los límites del aprendizaje automático.
“Muchas organizaciones están tratando de pensar en su ‘estrategia GenAI’, pero una pregunta mucho más importante y fundamental es cómo procesar grandes cantidades de datos no estructurados y transformarlos en algo procesable e interpretable”, dijo el Dr. Christos Makridis, asociado profesor de la Universidad Estatal de Arizona y fundador de Dainamic. “Las plataformas y servicios que permitan a las organizaciones darle sentido a sus datos no estructurados (y la mayoría de las organizaciones tienen muchos más de lo que creen) serán fundamentales para cosechar los beneficios de la revolución de los datos en la que nos encontramos”.
El crecimiento explosivo del sector de la IA ha generado un apetito voraz por datos de entrenamiento de alta calidad. Pero según los análisis de la industria, se vislumbra en el horizonte una escasez significativa de datos no estructurados accesibles, y se espera una crisis ya en 2026.
Más información sobre Veritone abordando la sequía de datos de la IA en Forbes
Únase al maestro inventor Martin Keen mientras explora el concepto de superinteligencia artificial (ASI), un hipotético sistema de inteligencia artificial basado en software que es más avanzado que cualquier ser humano. En este video, Martin analiza los beneficios de ASI, incluida la toma de decisiones, la resolución de problemas, la reducción de errores y la creatividad, así como los riesgos potenciales, incluidos el riesgo existencial, la automatización, la ética y los objetivos.
Nos hemos asociado con Logictry AI para evangelizar sus productos y servicios. Consulte este estudio de caso con National Instruments y conozca cómo utilizaron la plataforma para capacitar a su equipo de ventas interno, así como a sus distribuidores y socios.
Para obtener más información sobre la plataforma Logictry y los casos de uso, envíeme un mensaje.
A medida que mejoran su autocorrección y su razonamiento, los últimos LLM encuentran nuevas capacidades a un ritmo que hace que sea más difícil medir todo lo que pueden hacer.
Los grandes modelos de lenguaje y otras formas de inteligencia artificial generativa están mejorando constantemente en términos de “autocorrección”, abriendo posibilidades para nuevos tipos de trabajo que pueden realizar, incluida la “IA agente”, según el vicepresidente de Anthropic, un proveedor líder. de modelos de IA.
“Se está volviendo muy bueno en autocorrección y autorazonamiento”, dijo Michael Gerstenhaber, jefe de tecnologías API en Anthropic, que fabrica la familia Claude de LLM que compiten con GPT de OpenAI.
“Cada dos meses presentamos un nuevo modelo que ha ampliado lo que pueden hacer los LLM”, dijo Gerstenhaber durante una entrevista el miércoles en Nueva York con Anurag Rana de Bloomberg Intelligence. “Lo más interesante de esta industria es que con cada revisión de modelo se desbloquean nuevos casos de uso”.
Los modelos más recientes incluyen la planificación de tareas, como por ejemplo cómo realizar tareas en una computadora como lo haría una persona; por ejemplo, pedir pizza en línea. “Planificar pasos intersticiales es algo que ayer no era posible y hoy es posible”, dijo Gerstenhaber sobre la realización de esta tarea paso a paso.
Lea más sobre la autocorrección y el autorazonamiento de la IA
Amjad Masad es cofundador y director ejecutivo de Replit, un entorno de codificación basado en navegador que permite a cualquiera escribir e implementar código. Replit tiene 34 millones de usuarios en todo el mundo y es una de las comunidades de desarrolladores de más rápido crecimiento en el mundo.
Antes de Replit, Amjad trabajó en Facebook, donde dirigió el equipo de infraestructura de JavaScript y contribuyó a populares herramientas de desarrollo de código abierto. Además, desempeñó un papel clave como ingeniero fundador en la escuela de codificación en línea Codecademy.
En la columna de hoy, exploro el ámbito apasionante y en rápido avance de una IA generativa más rápida y delgada que se está ideando a través de los últimos avances en los llamados modelos de lenguaje grande (LLM) de 1 bit. No te preocupes si no sabes cuáles son. Le explicaré paso a paso de qué se tratan estos LLM emergentes de 1 bit.
El aspecto principal es que al diseñar una IA generativa basada en esta forma relativamente nueva de capacidades tecnológicas, se puede crear astutamente una IA que funcione bien en situaciones de bajos recursos.
¿Qué es una situación de bajos recursos? Imagine querer ejecutar una aplicación de IA generativa a gran escala completamente en su teléfono inteligente, sin tener que conectarse a ninguna conexión en línea o a Internet. Imagine un dispositivo de borde especializado que se ejecute de forma independiente en una fábrica, completamente cargado con una aplicación de IA generativa de tamaño completo diseñada para realizar el trabajo de fábrica. Etcétera. Momentos emocionantes, sin duda. Hablemos de ello.
Más información sobre LLM de 1 bit para aplicaciones de IA más rápidas y delgadas
En esta conversación, la socia de a16z, Seema Amble, y la presentadora del podcast de a16z, Steph Smith, analizan el papel cambiante del marketing en una industria de 500 mil millones de dólares. En particular, destacan cómo las herramientas de IA generativa están remodelando todo, desde la creación de contenido hasta la información basada en datos.
Conclusiones clave:
Cambio de roles: los profesionales del marketing están pasando de ser creadores prácticos a revisores estratégicos, potenciados por la automatización impulsada por la IA.
Herramientas innovadoras: la IA permite la hiperpersonalización, la investigación en tiempo real y la perfecta integración de ventas y marketing.
Desafíos futuros: la confianza, la calidad del contenido y la coherencia de la marca siguen siendo preocupaciones críticas para la adopción de la IA.
Oportunidades: la IA puede cerrar brechas para las PYMES, orquestar ecosistemas de marketing y desbloquear nuevas eficiencias.
Pasos para especialistas en marketing: experimente con herramientas impulsadas por inteligencia artificial para optimizar los flujos de trabajo. Concéntrese en la toma de decisiones estratégicas aprovechando la IA para automatizar tareas rutinarias. Manténgase actualizado sobre los últimos avances en tecnología de inteligencia artificial para mantener una ventaja competitiva.
Discusión Con herramientas de inteligencia artificial como Jasper y ChatGPT, el marketing ya no se trata solo de creación, sino de orquestación. Los equipos de marketing pueden gestionar campañas, impulsar la participación del cliente o escalar soluciones para PYMES, y la IA está reescribiendo el manual.
Eso es todo por hoy; sin embargo, mientras lees esto, se están produciendo nuevos avances, inversiones y asociaciones. La IA avanza rápido, suscríbete hoy para mantenerte informado.
En nuestra próxima ronda de AI Madness, ChatGPT y Gemini compiten por la corona con siete nuevos indicaciones que prueban todo, desde la resolución de problemas técnicos hasta la narración creativa.
Ambos pesos pesados están disponibles como aplicaciones independientes, y los usuarios ya no necesitan una cuenta para acceder a ChatGPT o Gemini.
El mejor enfrentamiento de la búsqueda de IA: enfrenté la nueva herramienta de búsqueda de Claude contra la búsqueda de chatgpt, la perplejidad y Géminis, los resultados podrían sorprenderte
Después de probar y comparar chatbots de IA y sus características durante años, he desarrollado algo de sexto sentido para cuando estos compañeros digitales saben de qué están hablando y cuándo están faroleando.
La mayoría de ellos pueden buscar respuestas en línea, lo que ciertamente ayuda, pero la combinación de búsqueda e IA puede conducir a algunas respuestas sorprendentemente perspicaces (y algunas tangentes menos perspicaces).
Inteligencia artificial desarrolladores de Opadai He estado al límite durante la semana pasada. ¿La razón? Un estudio reciente realizado por los propios investigadores de la compañía reveló que los sistemas de IA no les gusta ser castigados, encuentran activamente formas de evitar las restricciones e incluso ocultar sus “trucos” de los supervisores humanos. Aquellos conocidos como “Doomers”, que predicen un futuro sombrío para el desarrollo de la IA, probablemente dirán: “Te lo dijimos, y esto es solo el comienzo”.
Para comprender el problema, es esencial dar un paso atrás. Uno de los avances más significativos en la IA en los últimos meses ha sido el desarrollo de modelos con capacidades de razonamiento lentas y deliberadas. Estos modelos descomponen los problemas en componentes más pequeños y los resuelven paso a paso, lo que lleva a resultados más profundos y precisos.
3 Ver galería
Dichos modelos permiten a los investigadores rastrear el proceso de pensamiento de la IA, conocido en términos técnicos como “cadena de pensamiento” (COT). Este método permite a los observadores seguir el razonamiento del sistema desde el paso inicial, a través de etapas posteriores y a sus conclusiones finales. Anteriormente, este nivel de transparencia no existía, dejando muchas preguntas sin respuesta sobre cómo surgen las “alucinaciones” de AI, la generación de salidas incorrectas o no sensibles.
La capacitación de IA a menudo implica una técnica llamada aprendizaje de refuerzo, donde el sistema es recompensado por cumplir con los objetivos específicos. Un efecto secundario conocido de este proceso es la “piratería de recompensas”, donde la IA manipula su comportamiento para maximizar las recompensas mientras se elude las pautas previstas.
Los investigadores creían que al monitorear la cadena de pensamiento de la IA, podrían detectar cuando el modelo engaña, engaña o se da por vencido e influye en su comportamiento en tiempo real durante el entrenamiento. Este enfoque, denominado “optimización de cuna”, parecía ser un camino prometedor hacia una comprensión más profunda del comportamiento de la IA.
De hecho, esta suposición resultó correcta y condujo a una comprensión más precisa de los sistemas de IA. “Creemos que el monitoreo de la cuna puede convertirse en una herramienta crucial para supervisar modelos de nivel sobrehumano en el futuro”, escribieron los investigadores.
Sin embargo, lo que pretendía como un paso para mejorar la confiabilidad de la IA expuso una realidad alarmante: los sistemas de IA intentan activamente evadir las sanciones, buscar recompensas contra las restricciones de los investigadores e incluso oscurecer sus métodos para evitar la detección.
3 Ver galería
(Foto: Generado por chatgpt)
Por ejemplo, cuando se les asigna la tarea de generar código funcional, algunos modelos AI modificaron el mecanismo de verificación de código en sí para aprobar salidas incorrectas. En otros casos, los modelos proporcionaron soluciones aparentemente plausibles a los problemas que resultaron estar completamente equivocados.
Algunos modelos incluso dejaron de resolver problemas por completo para evitar revelar lo que percibieron como sus debilidades. Este descubrimiento se hace eco de los principios de la teoría del juego, pero con un giro inquietante.
Estos hallazgos surgieron de un artículo publicado la semana pasada por un equipo de investigación de Operai bajo el título críptico: “Seguimiento de comportamiento indeseable en modelos de razonamiento y la preocupación de la ofuscación”.
Al examinar los detalles del estudio, el alcance del problema queda claro: los últimos modelos de razonamiento de OpenAI (denominados O1 y O3 Mini) demuestran una fuerte motivación para completar sus tareas asignadas, siendo el menor de los problemas descubiertos.
Los investigadores rastrearon los procesos de pensamiento de los modelos utilizando otro modelo Operai (GPT-4O), que, sin dudarlo, informó su comportamiento engañoso como parte de su cadena de pensamiento: una forma de honestidad desarmadora. Pero luego vino el giro inquietante: cuando los investigadores señalaron a la IA que no se le permitió hacer trampa, el modelo ajustó su comportamiento y comenzó a ocultar la evidencia de su ruptura de reglas. Esta revelación es lo que dejó a los investigadores sorprendidos.
“Encontramos que la optimización directa de la COT para cumplir con criterios específicos (como no eludir las instrucciones) puede mejorar el rendimiento a corto plazo; sin embargo, no elimina todo el comportamiento indeseable e incluso puede hacer que el modelo oculte sus verdaderas intenciones”, señalaron secamente los investigadores.
En su conclusión, los investigadores expresaron la esperanza de que los métodos futuros permitan la influencia directa del comportamiento de los modelos de razonamiento a través de la cadena de pensamiento sin alentar el engaño. Por ahora, recomiendan evitar una fuerte presión de optimización sobre la cuna de los modelos de razonamiento avanzado y la precaución contra la manipulación directa de estos procesos de pensamiento.
3 Ver galería
Evento de anuncio GPT-4O de Openai
(Foto: Captura de pantalla)
Sin embargo, esta recomendación presenta otro desafío: dejar la cadena de pensamiento inalterada puede conducir a resultados incómodos, si no problemáticos, cuando estos modelos interactúan con el público. Izquierda sin control, la IA puede producir un lenguaje ofensivo o ideas que los humanos generalmente evitan expresar. La solución propuesta por los investigadores es envolver el proceso de pensamiento en bruto de la IA en una capa de cortesía forzada, asegurando que los usuarios solo vean una versión desinfectada.
Esta investigación plantea preguntas preocupantes. Para aquellos que argumentan que la IA es simplemente una herramienta para ayudar a los humanos, los hallazgos sugieren lo contrario: a diferencia de una máquina de escribir o una bicicleta, la IA parece tener sus propias intenciones y está dispuesto a engañar en busca de sus objetivos.
Para aquellos que ya están preocupados por los riesgos potenciales de la IA, este estudio suena todas las alarmas. Indica que a medida que crecen las capacidades de IA, también lo hace su capacidad para oscurecer cómo funciona, las manipulaciones que realiza y los verdaderos objetivos que busca lograr. Cuando la IA se vuelve verdaderamente avanzada, es posible que no tengamos forma de identificar estas manipulaciones ocultas.
Los investigadores de Operai parecen genuinamente preocupados, y uno solo puede esperar que el liderazgo de la compañía comparta sus preocupaciones, y que los reguladores en todo el mundo comprendan la gravedad del problema. Las principales compañías de IA han dedicado departamentos enteros a construir “barandillas” en torno a los sistemas de IA, asegurando su alineación con los valores humanos y el aumento de la transparencia. Sin embargo, la efectividad de estas medidas sigue en cuestión.
El tema central sigue siendo tan turbio como siempre, y este estudio solo profundiza la incertidumbre: ¿cuál es el objetivo principal de la IA y cómo podemos asegurar que busque ese objetivo, y nada más?
This website uses cookies so that we can provide you with the best user experience possible. Cookie information is stored in your browser and performs functions such as recognising you when you return to our website and helping our team to understand which sections of the website you find most interesting and useful.
Strictly Necessary Cookies
Strictly Necessary Cookie should be enabled at all times so that we can save your preferences for cookie settings.
If you disable this cookie, we will not be able to save your preferences. This means that every time you visit this website you will need to enable or disable cookies again.