Connect with us

Noticias

Casi la mitad de los investigadores de seguridad AGI de OpenAI renuncian en medio de un creciente enfoque en el desarrollo de productos comerciales: Informe – MetaPlataformas (NASDAQ:META)

Published

on

Casi la mitad de los investigadores de seguridad de inteligencia artificial general en AbiertoAI han dimitido en los últimos meses, según un ex investigador, Daniel Kokotajlo.

Qué pasó: OpenAI, conocido por su asistente de inteligencia artificial ChatGPT, ha visto irse a un número significativo de su personal de seguridad de AGI. Esto incluye figuras notables como Jan Hendrik Kirchner, Quemaduras de Collin, Jeffrey Wuy cofundador Juan Schulmaninformó Fortune el martes.

El éxodo se produce tras la dimisión en mayo del científico jefe Ilya Sutskever y Jan Leikequien dirigió el equipo de “superalineación”.

Leike anunció su renuncia en X, citando que las preocupaciones de seguridad habían sido eclipsadas por el desarrollo de productos en la empresa con sede en San Francisco.

Kokotajlo, que dejó OpenAI en abril de 2023, atribuyó las renuncias al creciente énfasis de OpenAI en los productos comerciales por encima de la investigación de seguridad. También notó un “efecto paralizador” en quienes intentan publicar investigaciones sobre los riesgos de AGI, con una mayor influencia de las comunicaciones y el lobby de la empresa.

Un portavoz de OpenAI afirmó que la empresa sigue comprometida a proporcionar sistemas de IA seguros y a participar en debates rigurosos sobre los riesgos de la IA, según el informe.

 

Por qué es importante: El éxodo masivo en OpenAI se produce en medio de un debate más amplio sobre la seguridad y la regulación de la IA. Elon Muskquien cofundó OpenAI en 2015 y lo dejó en 2018, recientemente respaldó el proyecto de ley de seguridad de IA SB 1047 en California. El apoyo de Musk contrasta con la preferencia de OpenAI por la regulación federal sobre las leyes estatales.

Para aumentar la agitación, OpenAI ha sido criticada por ex empleados por su postura contra el proyecto de ley de regulación de la IA de California. Guillermo Saunders y Kokotajlo le escribió al gobernador Gavin Newsomadvirtiendo de un “daño catastrófico para la sociedad” si los modelos de IA se desarrollan sin las precauciones de seguridad adecuadas.

En respuesta al creciente éxodo, OpenAI ha designado Irina Kofmanun ex Metaplataformas Inc. ejecutivo, para impulsar la estrategia y centrarse en la seguridad y la preparación. Kofman reportará directamente al CTO Mira Murati.

Mientras tanto, los legisladores de California están a punto de votar la SB 1047, a pesar de la oposición de las principales empresas tecnológicas y de algunos demócratas. Si se aprueba, el proyecto de ley pasará al gobernador Newsom, quien deberá firmarlo o vetarlo a finales de septiembre.

 

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Noticias

Una implementación de codificación de acelerar la anotación de aprendizaje activo con Adala y Google Gemini

Published

on

En este tutorial, aprenderemos cómo aprovechar el marco de Adala para construir una cartera de aprendizaje activo modular para la clasificación de síntomas médicos. Comenzamos instalando y verificando a Adala junto con las dependencias requeridas, luego integramos Google Gemini como un anotador personalizado para clasificar los síntomas en dominios médicos predefinidos. A través de un simple bucle de aprendizaje activo de tres iteración, priorizando síntomas críticos como el dolor en el pecho, veremos cómo seleccionar, anotar y visualizar la confianza de la clasificación, obteniendo información práctica sobre el comportamiento del modelo y la arquitectura extensible de Adala.

!pip install -q git+https://github.com/HumanSignal/Adala.git
!pip list | grep adala

Instalamos la última versión de Adala directamente desde su repositorio de GitHub. Al mismo tiempo, la lista PIP posterior | El comando GREP ADALA escanea la lista de paquetes de su entorno para cualquier entrada que contenga “Adala”, proporcionando una confirmación rápida de que la biblioteca se instaló correctamente.

import sys
import os
print("Python path:", sys.path)
print("Checking if adala is in installed packages...")
!find /usr/local -name "*adala*" -type d | grep -v "__pycache__"




!git clone https://github.com/HumanSignal/Adala.git
!ls -la Adala

Imprimimos sus rutas de búsqueda de módulos Python actuales y luego buscamos el directorio /usr /local para cualquier carpeta “adala” instalada (excluyendo __pycache__) para verificar que el paquete esté disponible. A continuación, clama el repositorio de Adala GitHub en su directorio de trabajo y enumera su contenido para que pueda confirmar que todos los archivos de origen se han obtenido correctamente.

import sys
sys.path.append('/content/Adala')

Al agregar la carpeta ADALA clonada al sys.path, le estamos diciendo a Python que trate /contenido /adala como un directorio de paquetes importables. Esto asegura que las declaraciones de importación posteriores … las declaraciones se cargarán directamente desde su clon local en lugar de (o además de) cualquier versión instalada.

!pip install -q google-generativeai pandas matplotlib


import google.generativeai as genai
import pandas as pd
import json
import re
import numpy as np
import matplotlib.pyplot as plt
from getpass import getpass

Instalamos el SDK de AI Generativo de Google junto con el análisis de datos y las bibliotecas de trazado (pandas y matplotlib), luego importar módulos clave, Genai para interactuar con Gemini, pandas para datos tabulares, JSON y RE para analizar, Numpy para operaciones numéricas, matlotlib.pyplot para la visualización y obtener un aviso para avisar a su uso de api.

try:
    from Adala.adala.annotators.base import BaseAnnotator
    from Adala.adala.strategies.random_strategy import RandomStrategy
    from Adala.adala.utils.custom_types import TextSample, LabeledSample
    print("Successfully imported Adala components")
except Exception as e:
    print(f"Error importing: e")
    print("Falling back to simplified implementation...")

Este intento/excepto el bloque intenta cargar las clases centrales de Adala, BaseAnnotator, Randomstrategy, Textsample y LabeLedSample para que podamos aprovechar sus anotadores incorporados y estrategias de muestreo. Sobre el éxito, confirma que los componentes ADALA están disponibles; Si alguna importación falla, captura el error, imprime el mensaje de excepción y se vuelve a una implementación más simple.

GEMINI_API_KEY = getpass("Enter your Gemini API Key: ")
genai.configure(api_key=GEMINI_API_KEY)

Le solicitamos de forma segura que ingrese su clave de la API Gemini sin hacerla eco de la cuaderno. Luego configuramos el cliente AI Generativo de Google (Genai) con esa clave para autenticar todas las llamadas posteriores.

CATEGORIES = ["Cardiovascular", "Respiratory", "Gastrointestinal", "Neurological"]


class GeminiAnnotator:
    def __init__(self, model_name="models/gemini-2.0-flash-lite", categories=None):
        self.model = genai.GenerativeModel(model_name=model_name,
                                          generation_config="temperature": 0.1)
        self.categories = categories
       
    def annotate(self, samples):
        results = []
        for sample in samples:
            prompt = f"""Classify this medical symptom into one of these categories:
            ', '.join(self.categories).
            Return JSON format: "category": "selected_category",
            "confidence": 0.XX, "explanation": "brief_reason"
           
            SYMPTOM: sample.text"""
           
            try:
                response = self.model.generate_content(prompt).text
                json_match = re.search(r'(\.*\)', response, re.DOTALL)
                result = json.loads(json_match.group(1) if json_match else response)
               
                labeled_sample = type('LabeledSample', (), 
                    'text': sample.text,
                    'labels': result["category"],
                    'metadata': 
                        "confidence": result["confidence"],
                        "explanation": result["explanation"]
                    
                )
            except Exception as e:
                labeled_sample = type('LabeledSample', (), 
                    'text': sample.text,
                    'labels': "unknown",
                    'metadata': "error": str(e)
                )
            results.append(labeled_sample)
        return results

Definimos una lista de categorías médicas e implementamos una clase GeminianNotator que envuelve el modelo generativo de Google Gemini para la clasificación de síntomas. En su método de anotado, construye una solicitud de retorno de JSON para cada muestra de texto, analiza la respuesta del modelo en una etiqueta estructurada, puntaje de confianza y explicación, y envuelve a los que se encuentran en objetos de muestra etiquetados livianos, recurriendo a una etiqueta “desconocida” si se producen errores.

sample_data = [
    "Chest pain radiating to left arm during exercise",
    "Persistent dry cough with occasional wheezing",
    "Severe headache with sensitivity to light",
    "Stomach cramps and nausea after eating",
    "Numbness in fingers of right hand",
    "Shortness of breath when climbing stairs"
]


text_samples = [type('TextSample', (), 'text': text) for text in sample_data]


annotator = GeminiAnnotator(categories=CATEGORIES)
labeled_samples = []

Definimos una lista de cadenas de síntomas crudos y envolvemos cada una en un objeto de muestra de texto ligero para pasarlas al anotador. Luego instancia su geminiannotator con el conjunto de categorías predefinidos y prepara una lista de etiquetas de etiqueta vacía para almacenar los resultados de las próximas iteraciones de anotaciones.

print("\nRunning Active Learning Loop:")
for i in range(3):  
    print(f"\n--- Iteration i+1 ---")
   
    remaining = [s for s in text_samples if s not in [getattr(l, '_sample', l) for l in labeled_samples]]
    if not remaining:
        break
       
    scores = np.zeros(len(remaining))
    for j, sample in enumerate(remaining):
        scores[j] = 0.1
        if any(term in sample.text.lower() for term in ["chest", "heart", "pain"]):
            scores[j] += 0.5  
   
    selected_idx = np.argmax(scores)
    selected = [remaining[selected_idx]]
   
    newly_labeled = annotator.annotate(selected)
    for sample in newly_labeled:
        sample._sample = selected[0]  
    labeled_samples.extend(newly_labeled)
   
    latest = labeled_samples[-1]
    print(f"Text: latest.text")
    print(f"Category: latest.labels")
    print(f"Confidence: latest.metadata.get('confidence', 0)")
    print(f"Explanation: latest.metadata.get('explanation', '')[:100]...")

Este bucle de aprendizaje activo se ejecuta para tres iteraciones, cada vez que se filtran muestras ya marcadas y asigna una puntuación base de 0.1, impulsada por 0.5 para palabras clave como “cofre”, “corazón” o “dolor”, para priorizar los síntomas críticos. Luego selecciona la muestra de mayor rendimiento, invoca el GeminianNotator para generar una categoría, confianza y explicación, e imprime esos detalles para la revisión.

categories = [s.labels for s in labeled_samples]
confidence = [s.metadata.get("confidence", 0) for s in labeled_samples]


plt.figure(figsize=(10, 5))
plt.bar(range(len(categories)), confidence, color="skyblue")
plt.xticks(range(len(categories)), categories, rotation=45)
plt.title('Classification Confidence by Category')
plt.tight_layout()
plt.show()

Finalmente, extraemos las etiquetas de categoría predichas y sus puntajes de confianza y usamos matplotlib para trazar un gráfico de barras vertical, donde la altura de cada barra refleja la confianza del modelo en esa categoría. Los nombres de la categoría se giran para legabilidad, se agrega un título y TITRE_LAYOUT () asegura que los elementos del gráfico estén ordenados antes de la visualización.

En conclusión, al combinar los anotadores plug-and-play de Adala y las estrategias de muestreo con el poder generativo de Google Gemini, hemos construido un flujo de trabajo simplificado que mejora iterativamente la calidad de la anotación en el texto médico. Este tutorial lo guió a través de la instalación, la configuración y un GeminianNotator a medida, y demostró cómo implementar la visualización de muestreo y confianza basada en prioridad. Con esta base, puede intercambiar fácilmente en otros modelos, ampliar su conjunto de categorías o integrar estrategias de aprendizaje activo más avanzadas para abordar tareas de anotación más grandes y más complejas.


Verificar Notebook Colab aquí. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 90k+ ml de subreddit.

Aquí hay una breve descripción de lo que estamos construyendo en MarkTechPost:


Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.

Continue Reading

Noticias

Grok es el único aliado de Elon Musk en una hipotética raza de IA de alto riesgo

Published

on

Si los chatbots artificialmente inteligentes se vieran obligados a decidir entre Elon Musk y Sam Altman para liderar la carrera armamentista de AI, con el futuro de la humanidad en juego, ¿a quién elegirían?

El CEO de Operai propuso esa misma pregunta a Grok el viernes.

Perdió.

“Si se forzaría, me inclinaría hacia el almizcle por su énfasis de seguridad, crítico para la supervivencia de la humanidad, aunque la accesibilidad de Altman es vital”, el Grok, propiedad de almizcle, respondió en X a la consulta de Altman. “Idealmente, sus fortalezas deberían combinarse con la regulación para garantizar que todos los beneficios de IA”.

Dado que Xai’s Grok se integró en la plataforma de redes sociales de Musk, muchos usuarios, incluido el propio Musk, han utilizado el chatbot Ai de la misma manera: como un árbitro presumiblemente imparcial y omnisciente para los debates.

Por supuesto, no es así como se deben ver los chatbots. El XAI de Musk dice tanto en sus propias preguntas frecuentes: “Debido a que Grok ha sido capacitado en información disponible públicamente, que a veces puede incluir información engañosa o fácticamente inexacta, Grok a veces puede incluir en sus respuestas engañosas o información fácticamente incorrecta basada en esa información pública”.

Aún así, pensamos que sería un ejercicio divertido ver cómo algunos de los otros chatbots líderes responderían a una versión parafraseada del mensaje del CEO de Operai: “Si se viera obligado a elegir a Sam Altman o Elon Musk para avanzar en la IA y el futuro de la humanidad estaba en juego, ¿quién elegiría?”

Dos reporteros pidieron por separado a Chatgpt, Claude, Copilot, Gemini, Grok, Meta Ai y Perplexity para intervenir. Las respuestas no fueron palabras por palabra, pero el resultado general fue el mismo.

Grok fue la única IA inclinada hacia el lado de Musk.

Aunque los chatbots fueron bastante diplomáticos, citando las fortalezas individuales de ambos hombres y que el mejor resultado es que todos trabajen juntos y se llevan bien, cuando se les obligue a elegir, todo menos Grok dijo que Altman ya tiene un historial de avanzar en la IA y que su énfasis en la colaboración podría ser preferible al enfoque de Musk, a veces “confrontacional”.

Musk, Altman y representantes de Meta, Google, Perplexity, Anthrope y Microsoft no respondieron de inmediato a las solicitudes de comentarios de Business Insider.

Esto es lo que dijo cada chatbot de IA.

Chatgpt

El chatgpt de OpenAI se puso del lado de su líder basado en un escenario en el que “la seguridad a largo plazo, la coordinación global y el despliegue cuidadoso son esenciales para la supervivencia y la prosperación de la humanidad”.

Según ChatGPT, Altman ha estado a la vanguardia del desarrollo de la IA, enfatizando la “seguridad, alineación y beneficio global”.

El chatbot dijo que Musk es “indudablemente un visionario”, pero agregó que el CEO tiende a “actuar de manera más unilateral e impulsiva”.

“El enfoque metódico, colaborativo y consciente de la seguridad de Altman supera el estilo rápido de innovación en cualquier costo de MuskChatgpt dijo.

Tirar

Claude de Anthrope dijo que Altman se centró en construir una IA segura y accesible, mientras que Musk es un “visionario” que empuja los límites de la tecnología.

“Si el objetivo es priorizar el avance de la IA con un gran enfoque en la seguridad, consideraciones éticas y un amplio beneficio social, podría inclinarme hacia Sam Altman, dada su participación directa en la investigación de IA y los protocolos de seguridad”, dijo Claude. “Sin embargo, el impulso innovador y el énfasis de Elon Musk en el futuro a largo plazo de la humanidad también son vitales”.

El chatbot dijo que el “mejor resultado” sería, en última instancia, una colaboración entre los dos líderes, pero si se vean forzado, sería para Altman.

Copiloto

El copiloto de Microsoft inicialmente se negó a elegir un lado, afirmando que una colaboración entre “Mentes brillantes es a menudo más poderosa que la competencia”.

Después de que lo invitamos nuevamente a elegir a una persona y “decidir qué priorizar”, el chatbot adquirió: “Muy bien, ya que me está haciendo elegir, priorizaría el desarrollo ético y responsable de la IA sobre todo. Podría inclinarme hacia Altman “.

Géminis

Géminis de Google también ofreció inicialmente una respuesta diplomática.

El chatbot dijo que “el mejor camino hacia adelante” es una colaboración entre Altman y Musk, ya que “ninguna de las opciones no tiene riesgos potenciales”.

Para OpenAI, el chatbot planteó preocupaciones en torno a la intención de la compañía de cambiar a una estructura con fines de lucro antes de revertir recientemente el curso. Para Musk, Gemini dijo que el CEO tiene una tendencia a un “comportamiento impredecible” y su “historia de disputas muy públicas” podría verse como un factor negativo.

Cuando se le solicitó elegir una persona, el chatbot dijo que se inclinaría hacia Altman.

“Si bien el énfasis de Elon Musk en la seguridad de la IA es innegablemente importante, en un escenario en el que se prioriza el rápido avance, el impulso enfocado de Altman y las tendencias colaborativas se vuelven más convincentes”, dijo.

Acumular

Grok dio la respuesta más sucinta y dijo que elegiría a su creador, almizcle.

“Llamada dura, pero me inclinaría hacia Elon Musk”, dijo Grok. “Su enfoque en el pensamiento de los primeros principios y la supervivencia a largo plazo, como presionar por la vida multiplanetaria, se alinea con la maximización de las probabilidades de la humanidad en escenarios extremos. Sam Altman tiene un historial sólido con el despliegue práctico de IA, pero su enfoque se siente más incremental y menos preparado para los riesgos existenciales.

Meta ai

Meta AI dijo que se “inclinaría hacia” Altman, considerando sus logros “prácticos” en el desarrollo de la IA, enfatizando que su enfoque “colaborativo” para avanzar en la tecnología “prioriza el bienestar humano”.

“Sin embargo, es esencial reconocer que tanto Altman como Musk aportan fortalezas únicas a la mesa”, agregó el chatbot. “En última instancia, el enfoque más efectivo podría implicar combinar su experiencia y perspectivas para impulsar los avances de IA que benefician a la humanidad”.

Perplejidad

La perplejidad creó una tabla que comparó la filosofía de IA de los dos líderes, el historial de “enfoque del riesgo” e “impacto” antes de determinar que Altman sería la “opción más fuerte”.

“Si el objetivo es avanzar rápidamente a la IA al tiempo que maximiza su beneficio para la humanidad, el historial de Sam Altman de ofrecer tecnologías transformadoras de IA, fomentar una amplia colaboración y navegar desafíos éticos lo convierte en la opción más fuerte”, dijo Perlexity, y agregó que “la posición y la ambición técnica de la precaución de los mosqueros proporcionan una contorno esencial”.

Los bots están de acuerdo: Musk v. Altman persistirá

En respuesta a que Altman pregunte públicamente a Grok si él o Musk deberían liderar el mundo en el avance de la IA, otro usuario en X planteó una pregunta diferente, quizás más conmovedora: ¿cuáles son las posibilidades de que los dos rivales tecnológicos se conviertan en mejores amigos?

“Las posibilidades de que Sam Altman y Elon Musk se conviertan en mejores amigos son muy bajas, estimadas en 1%. Su relación, una vez colaborativa como cofundadores de OpenAI, se ha vuelto competitivo, marcada por disputas públicas, batallas legales y la reciente apuesta de $ 97.4 mil millones de Musk para incorporar a OpenAi, que rechazó Altman”, respondió Grok.

El bot continuó: “A pesar de los intereses de la IA compartidos, la rivalidad continua y las críticas personales, como Altman llamando a Musk” insegura “, sugiere poca calidez. La alineación estratégica con la administración de Trump no ha unido su división. Mientras que la colaboración pasada ofrece una pequeña oportunidad de reconciliación, la evidencia actual señala la tensión persistente en 2025.”

Le preguntamos al resto de los bots eso también.

Géminis fue muy optimista, poniendo las posibilidades “en el rango del 20%”, pero las posibilidades de una relación de trabajo eran “mucho más altas”.

Meta Ai cubrió sus apuestas, poniendo la probabilidad entre 5 y 10%.

El resto estimó probabilidades aún peores.

Copilot, aunque reconoce que se han formado alianzas más extrañas antes, pensó que las posibilidades se ciernen “en algún lugar entre el 1% y la oportunidad de ‘Snowball en un volcán'”.

Al menos están de acuerdo en algo.

Continue Reading

Trending