Noticias
Llega la búsqueda profunda abierta para desafiar la perplejidad y la búsqueda de chatgpt
Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información
Los investigadores de la Fundación Sentient han publicado Open Deep Search (ODS), un marco de código abierto que puede igualar la calidad de las soluciones de búsqueda de IA patentadas, como la perplejidad y la búsqueda de CHATGPT. ODS equipa modelos de idiomas grandes (LLM) con agentes de razonamiento avanzado que pueden usar la búsqueda web y otras herramientas para responder preguntas.
Para las empresas que buscan herramientas de búsqueda de IA personalizables, ODS ofrece una alternativa convincente y de alto rendimiento a las soluciones comerciales cerradas.
El paisaje de búsqueda de IA
Las herramientas de búsqueda de IA modernas como Perplexity y ChatGPT Search pueden proporcionar respuestas actualizadas combinando las capacidades de conocimiento y razonamiento de LLMS con la búsqueda web. Sin embargo, estas soluciones son típicamente patentadas y de código cerrado, lo que dificulta la personalización de ellas y adoptarlas para aplicaciones especiales.
“La mayoría de la innovación en la búsqueda de IA ha sucedido a puerta cerrada. Los esfuerzos de código abierto se han retrasado históricamente en usabilidad y rendimiento”, dijo a VentureBeat de Himanshu Tyagi, cofundador de Sentient. “ODS tiene como objetivo cerrar esa brecha, mostrando que los sistemas abiertos pueden competir, e incluso superar, las contrapartes cerradas sobre la calidad, la velocidad y la flexibilidad”.
Arquitectura de búsqueda profunda (ODS) abierta
Open Deep Search (ODS) está diseñado como un sistema plug-and-play que puede integrarse con modelos de código abierto como Deepseek-R1 y modelos cerrados como GPT-4O y Claude.
ODS comprende dos componentes centrales, ambos aprovechando la base elegida LLM:
Herramienta de búsqueda abierta: Este componente toma una consulta y recupera información de la web que se puede dar al LLM como contexto. La herramienta de búsqueda Open realiza algunas acciones clave para mejorar los resultados de búsqueda y asegurarse de que proporcione un contexto relevante para el modelo. Primero, reformula la consulta original de diferentes maneras para ampliar la cobertura de búsqueda y capturar diversas perspectivas. Luego, la herramienta obtiene resultados de un motor de búsqueda, extrae el contexto de los resultados superiores (fragmentos y páginas vinculadas), y aplica técnicas de fragmentación y reanimación para filtrar el contenido más relevante. También tiene un manejo costumbre para fuentes específicas como Wikipedia, ARXIV y PubMed, y puede solicitarse a priorizar fuentes confiables al encontrar información contradictoria.
Agente de razonamiento abierto: Este agente recibe la consulta del usuario y utiliza la base LLM y varias herramientas (incluida la herramienta de búsqueda abierta) para formular una respuesta final. Sentient proporciona dos arquitecturas de agentes distintos dentro de ODS:
ODS-V1: Esta versión emplea un marco de agente React combinado con el razonamiento de la cadena de pensamiento (COT). Los agentes reaccionados intercalan pasos de razonamiento (“pensamientos”) con acciones (como usar la herramienta de búsqueda) y las observaciones (los resultados de las herramientas). ODS-V1 usa reaccionar iterativamente para llegar a una respuesta. Si el agente React lucha (según lo determinado por un modelo de juez separado), es predeterminado a una autoconsistencia de COT, que muestra varias respuestas de cuna del modelo y usa la respuesta que aparece con más frecuencia.
ODS-V2: Esta versión aprovecha la cadena de código (COC) y un agente CodeAct, implementado utilizando la biblioteca de Sumolagents Face. COC utiliza la capacidad de LLM para generar y ejecutar fragmentos de código para resolver problemas, mientras que CodeAct usa la generación de código para las acciones de planificación. ODS-V2 puede orquestar múltiples herramientas y agentes, lo que le permite abordar tareas más complejas que pueden requerir una planificación sofisticada y iteraciones de búsqueda potencialmente múltiples.
“Si bien herramientas como ChatGPT o Grok ofrecen ‘investigación profunda’ a través de agentes de conversación, ODS opera en una capa diferente, más similar a la infraestructura detrás de la perplejidad de IA, que proporciona la arquitectura subyacente que impulsa la recuperación inteligente, no solo los resúmenes”, dijo Tyagi.
Rendimiento y resultados prácticos
Sentient evaluó ODS emparejándolo con el modelo de código abierto Deepseek-R1 y probándolo contra competidores populares de código cerrado como Perplexity AI y la vista previa de búsqueda GPT-4O de OpenAI, así como LLMS independientes como GPT-4O y LLAMA-3.1-70B. Usaron los marcos y los puntos de referencia de SimpleQA Pregunta-Respuesta, adaptándolos para evaluar la precisión de los sistemas de IA habilitados para la búsqueda.
Los resultados demuestran la competitividad de ODS. Tanto ODS-V1 como ODS-V2, cuando se combinan con Deepseek-R1, superaron a los productos insignia de Perplexity. En particular, ODS-V2 combinado con Deepseek-R1 superó la vista previa de búsqueda GPT-4O en el complejo punto de referencia de marcos y casi lo coincidió en SimpleQA.
Una observación interesante fue la eficiencia del marco. Los agentes de razonamiento en ambas versiones de ODS aprendieron a usar la herramienta de búsqueda juiciosamente, a menudo decidieron si era necesaria una búsqueda adicional en función de la calidad de los resultados iniciales. Por ejemplo, ODS-V2 utilizó menos búsquedas web en las tareas SimpleQA más simples en comparación con las consultas más complejas y múltiples en marcos, optimizando el consumo de recursos.
Implicaciones para la empresa
Para las empresas que buscan potentes capacidades de razonamiento de IA basadas en información en tiempo real, ODS presenta una solución prometedora que ofrece una alternativa transparente, personalizable y de alto rendimiento a los sistemas de búsqueda de IA patentados. La capacidad de enchufar LLM y herramientas de código abierto preferidos brinda a las organizaciones un mayor control sobre su pila de IA y evita el bloqueo del proveedor.
“ODS fue construido con modularidad en mente”, dijo Tyagi. “Selecciona qué herramientas usar dinámicamente, en función de las descripciones proporcionadas en la solicitud. Esto significa que puede interactuar con herramientas desconocidas con fluidez, siempre y cuando estén bien descritadas, sin requerir exposición previa”.
Sin embargo, reconoció que el rendimiento de ODS puede degradarse cuando el conjunto de herramientas se hincha, “un diseño tan cuidadoso importa”.
Sensient ha lanzado el código para ODS en GitHub.
“Inicialmente, la fuerza de la perplejidad y el chatgpt era su tecnología avanzada, pero con ODS, hemos nivelado este campo de juego tecnológico”, dijo Tyagi. “Ahora nuestro objetivo es superar sus capacidades a través de nuestra estrategia de ‘Entradas abiertas y salidas abiertas’, lo que permite a los usuarios integrar sin problemas a los agentes personalizados en un chat sensible”.
