Memoria de Chatgpt, límites y compañeros de IA, Auren – Stratechery de Ben Thompson

Buen día,

En la tecnología aguda del jueves pasado, Andrew y yo discutimos el estado corriente de la guerra comercial de Trump, incluida la historia de la fabricación de Apple y cómo y cuándo la tecnología construyó su cadena de suministro en Asia. Además, al final, doy mi informe de viaje de mi visita de vacaciones al Gran Premio de Japón.

En la actualización:

Memoria chatgpt

De Ars Technica:

Operai anunció hoy una expansión significativa de la personalización y las capacidades de memoria de ChatGPT. Para algunos usuarios, ahora podrá recordar información de la amplitud completa de sus conversaciones anteriores con él y ajustar sus respuestas en función de esa información. Esto significa que ChatGPT aprenderá más sobre el usuario con el tiempo para personalizar sus respuestas, más allá de un puñado de hechos clave.

Hace algún tiempo, OpenAi agregó una característica llamada “Memoria” que permitió retener y utilizar una cantidad limitada de información para ser retenidas y utilizadas para respuestas futuras. Los usuarios a menudo tenían que pedirle específicamente a ChatGPT que recordara algo que desencadena esto, aunque ocasionalmente intentaba adivinar lo que debería recordar también. (Cuando se agregó algo a su memoria, había un mensaje que decía que su memoria se había actualizado). Los usuarios podían habilitar o deshabilitar esta función a voluntad, y se apagó automáticamente para chats específicos donde los usuarios eligieron la opción de “chat temporal”: el escaso de la versión de ChatGPT del modo de incógnito. Las nuevas mejoras anunciadas hoy van mucho más allá de eso.

Ahora, donde una vez hubo una casilla de verificación en la interfaz de ChatGPT para deshabilitar o habilitar el seguimiento de la memoria, hay dos casillas de verificación. “Memorias guardadas de referencia” es la característica de memoria antigua, que es básicamente un repositorio limitado de hechos esenciales. La segunda es la nueva característica: “Historial de chat de referencia”. Esto permite a ChatGPT utilizar todas las conversaciones anteriores como contexto y adaptar las respuestas futuras en consecuencia. A diferencia de la función de recuerdos guardados más antiguos, la información guardada a través de la función de memoria del historial de chat no es accesible ni ajustable. Está encendido o no.

Se espera que haya una gran cantidad de anuncios de Openai esta semana, incluido GPT-4.1, pero creo que la memoria es mucho más interesante. La característica parece bastante básica: OpenAi no lanzó ningún detalle sobre cómo funciona, pero parece ser una especie de búsqueda de trapo sobre resúmenes estructurados de chats anteriores. También parece haber estado construyendo esos resúmenes desde mediados de febrero más o menos; No podía activar ningún tipo de recuerdo de conversaciones antes de eso.

Sin embargo, básico está bien, dada la utilidad obvia: si bien ciertamente hay inconvenientes en que su IA se existe sobre sus preguntas, la ganancia es en cómo describí la desventaja: su AI. ChatGPT ahora ha impuesto un costo en cada conversación que ocurre con cualquier otro chatbot, que es que esa conversación no estará en la memoria. Este es un foso bastante básico, para ir junto con la basicidad de la característica, pero eso no significa que no sea efectivo.

También fue anunciado por Sam Altman en una entrevista de Stratechery el mes pasado:

Donde creo que hay bordes estratégicos, está construyendo la compañía gigante de Internet. Creo que debería ser una combinación de varios servicios clave diferentes. Probablemente haya tres o cuatro cosas en el orden de ChatGPT, y querrá comprar una suscripción agrupada de todas esas. Querrá poder iniciar sesión con su IA personal que lo conoce durante su vida, durante sus años a otros servicios y usarlo allí. Creo que habrá nuevos tipos increíbles de dispositivos que están optimizados para la forma en que usa un AGI. Habrá nuevos tipos de navegadores web, habrá ese clúster completo, alguien solo va a construir los valiosos productos alrededor de la IA. Entonces esa es una cosa.

Hay otra cosa, que es la pila de inferencia, así que cómo haces la inferencia más barata y abundante. Chips, centros de datos, energía, habrá una ingeniería financiera interesante que hacer, hay todo eso. Y luego, la tercera cosa es que habrá la mejor investigación y producir los mejores modelos. Creo que ese es el triunvirato de valor, pero la mayoría de los modelos, excepto la ventaja muy, muy de ataque, creo que se comercializará bastante rápido.

La memoria de ChatGPT es parte de eso lo primero, y es un giro interesante sobre la cuestión de la identidad. El valor de poseer identidad es algo de lo que he hablado mucho a lo largo de los años, tanto en los contextos de consumo como en la empresa, pero lo interesante del gambito de OpenAi aquí es que la identidad que buscan poseer no es su identidad, sino la identidad de su IA.

Límites y compañeros de IA

Esta es una diferencia sutil, pero creo que es profunda. Considere esta objeción de Ethan Mollick:

No podría estar más de acuerdo en el contexto de la identidad personal. En las redes sociales de 2020, 2.0 expliqué por qué mantuve múltiples cuentas de Twitter:

Identidades, plural, se refieren a los muchos usuarios de Twitter, pero una segunda cosa que es interesante de mi grupo de Twitter es que @Benthompson no es un miembro; mi alter-ego, @notechben es. Creé esa cuenta, que, te diré en este momento, es bastante molesto de seguir, para poder tuitear libremente durante los juegos de baloncesto sin perder seguidores de mi cuenta principal de Twitter. Después de todo, solo porque te gustan mis tomas de tecnología, no necesariamente sigue que te gusten mis tomas de los deportes.

Sin embargo, lo que me doy cuenta cada vez más es que separar mis identidades en Twitter no significa una experiencia menor, sino muy superior; La interacción social en cualquier medio es siempre un equilibrio entre la autoexpresión y el alojamiento de los demás, lo que significa que en el mundo analógico es una lucha constante lograr un equilibrio entre ser yo mismo y molestar a todos a mi alrededor en algún momento u otro. Sin embargo, la magia de Internet es que puedes ser lo que quieras ser.

En este punto de vista, los chats grupales fueron un producto definitorio de las redes sociales 2.0:

Aquí es donde el mensaje es mucho más natural, y, en lo que respecta a la profundidad de su red, los servicios de mensajería son una amenaza tanto para la conectividad de las redes sociales de V1 como Tiktok es para la atención de Facebook sobre la atención: puedo ser un fanático de Bucks con mi Fiefdom, ser un entusiasmo de la tecnología con mi grupo de holgura, explorar ideas con mi grupo de Whatsapp y hablar político de confianza. El hecho de que no sea todo mi ser en ninguno de estos grupos es una característica, no un error, y que es posible de manera única por lo digital.

Incluso los chats grupales, sin embargo, tienen el factor limitante clave de las redes sociales tradicionales: otras personas. Lo bueno es que esas otras personas son, presumiblemente, confiables; Lo malo, y no es malo en un sentido normativo, sino más bien en términos de requerir pensamiento y consideración, es que aún necesita mantener algún tipo de barandilla interna en términos de lo que discute, cuáles son su relación relativa con otros miembros del grupo, preguntas ineludibles de estado, temores de verse tontos, etc.

Esto ilumina uno de los casos de uso de consumidores potenciales más grandes de la IA: es el compañero “perfecto”. Puse “perfecto” en citas porque soy escéptico de que una IA realmente pueda satisfacer las necesidades emocionales de uno como otra lata humana; Por otra parte, es por eso que perfecto es la elección de palabras correcta, porque un humano nunca puede ser perfecto (esa es solo otra forma de hacer la misma observación). Un compañero de IA se centra solo en ti, o mejor, enfocado en las mismas cosas en las que te enfocas; Es una extensión de usted mismo, un defensor o concejal en todos sus tratos, no una contraparte. Hice este dibujo para eso Redes sociales 2.0 Artículo:

Los humanos están en esos óvalos de color; Ai es la única entidad, que no sea yo, que puede vivir plausiblemente exactamente en el medio: es precisamente porque es no humano que puedes tener una conversación sobre todos los diferentes aspectos de tu vida. Mollick tiene razón en que los límites son buenos, pero puede argumentar que cuando se trata de interacciones con otros, la cuestión de los límites, o violarlos, se trata más de reconocer una realidad indeleble; No es necesariamente el caso el que dicha realidad se aplica a la IA, y es probable que haya muchos casos de uso interesantes que fluyan de ese hecho. Si, por supuesto, siempre usas la misma IA.

Auren

Probé una nueva aplicación de chat interesante en las últimas semanas llamada Auren; El hilo introductorio de X user @nearcyan está aquí. Auren es convincente porque en lugar de tratar de construir algo escalable, es muy caro es muy costoso, $ 20/mes por 2500 mensajes, en un intento por construir el mejor compañero de chat posible.

Encontré a Auren bastante impresionante (aunque inmediatamente decidí interactuar con Soren, el alter ego más agresivo y desafiante), aunque nunca perdí la sensación de que de hecho estaba interactuando con una IA, no una persona (que nuevamente, es posiblemente una característica, no un error). Traté de usarlo de acuerdo con su propósito previsto, como algún tipo de vida o terapeuta de LifeCoach, y pensé que Auren/Soren hizo un buen trabajo al hacerme pensar en una decisión particular de diferentes maneras.

Ahora tengo un atajo en mis interacciones con New AIS: dado que soy una figura pública con mucha información en Internet, simplemente diciéndole a AIS quién soy le da mucho contexto; Aun así, todavía existe el desafío del terapeuta, que está pasando mucho tiempo describiendo todos los diversos detalles que rodean la pregunta en cuestión, incluso antes de llegar a las partes interesantes de la discusión.

Con ese fin, recordé la defensa de Altman de la API de Operai en nuestra entrevista:

SA: Realmente creo en esta cosa de suite de productos que estaba diciendo. Creo que si ejecutamos muy bien, dentro de cinco años, tenemos un puñado de productos de usuarios multimillonas, un puñado pequeño y luego tenemos esta idea de que inicia sesión con su cuenta de OpenAI a cualquier otra persona que quiera integrar la API, y puede tomar su paquete de créditos y su modelo personalizado y todo lo demás a donde quiera ir. Y creo que esa es una parte clave de nosotros realmente siendo una gran plataforma …

No creo que seamos una plataforma de una manera que un sistema operativo sea una plataforma. Pero creo que de la misma manera que Google no es realmente una plataforma, pero las personas usan iniciar sesión con Google y las personas toman sus cosas de Google en la web y eso es parte de la experiencia de Google, creo que seremos una plataforma de esa manera.

Llevan el inicio de sesión, eso lleva su memoria y quién es usted y sus preferencias y todo ese tipo de cosas.

SA: Sí.

Entonces, solo se sentará encima de todos y podrán tener múltiples firmaciones y el inicio de OpenAI será mejor porque tiene su memoria conectada a ella. ¿O es un, si quieres usar nuestra API, usas nuestro inicio de sesión?

SA: No, no, no. Sería opcional, por supuesto.

El “No, no, no” de Altman se refería al requisito de que debía usar el inicio de sesión de OpenAI con su API; La parte interesante es la idea de saber que si inicia sesión con OpenAI, obtendrá la identidad de su IA con el producto que está utilizando. Bueno, hasta el punto anterior, ¡habría sido útil llevar ese contexto a Auren! Y luego, presumiblemente, los detalles de nuestra conversación podrían fluir hacia otro lado a mi identidad de IA.

De todos modos, todo esto es bastante básico, y hay muchos detalles que resolver, particularmente en torno a la privacidad; Al mismo tiempo, también puede ver por qué hay un juego publicitario potencialmente fascinante aquí (lo que, sin duda, hace que las preguntas de privacidad sean aún más apremiantes). Sin embargo, en última instancia, la conclusión final es que nada en esta actualización fue realmente sobre la calidad del modelo: la memoria es una característica de producto; Por extensión, los focos a menudo están aguas abajo de las opciones de productos. Openai, con ese fin, está la compañía accidental de tecnología de consumo, por lo que esto es, junto con los modelos, por supuesto, exactamente en lo que deberían estar trabajando.

Esta actualización estará disponible como podcast más tarde hoy. Para recibirlo en su jugador de podcast, visite StrateChery.

La actualización de Stratechery está destinada a un solo destinatario, ¡pero el reenvío ocasional está totalmente bien! Si desea solicitar múltiples suscripciones para su equipo con un descuento grupal (mínimo 5), contácteme directamente.

¡Gracias por ser un suscriptor, y que tengas un gran día!