Ricerca / Direzioni aperte
Ricerca, valutazione e direzioni aperte
Modelli che imparano il percorso verso le evidenze
Studiamo modelli piccoli e specializzati nella navigazione di UKS/TRAMA e nella pianificazione di interrogazioni su Trino/lakehouse. L’obiettivo è scegliere dove cercare, quali relazioni seguire e quali passaggi di esecuzione proporre. Non è fine-tuning per memorizzare la conoscenza aziendale: questa resta nei sistemi collegati, con i suoi permessi e aggiornamenti.
È una direzione di ricerca. Nessun modello specializzato Ando viene presentato come funzionalità disponibile e le valutazioni in questa pagina non dimostrano un suo vantaggio di costo o qualità. Ogni esperimento deve confrontare correttezza e completezza rispetto alla domanda e alle fonti autorizzate, latenza e costo per risposta corretta.
Cosa sviluppiamo
Ando Engine collega la conoscenza aziendale e seleziona il contesto per applicazioni AI. Questo sito descrive l’architettura UKS e TRAMA e permette di richiedere accesso alla beta privata. Il prodotto è in sviluppo attivo.
Come leggere i numeri pubblicati
La landing contiene misure interne ed esempi. Non sono certificazioni indipendenti né una promessa di prestazioni sui tuoi dati. Carico, corpus, modello, hardware, concorrenza e policy di accesso possono cambiare il risultato. Qui non sono ancora disponibili un dataset pubblico scaricabile e un report completo per riprodurre le misure.
Cosa deve includere una valutazione riproducibile
Specificare corpus e versioni dei documenti, query rappresentative e giudizi di rilevanza, permessi, configurazione del retrieval, versioni dei modelli e hardware. Confrontare carichi identici e riportare rilevanza (per esempio recall@k e nDCG), correttezza delle citazioni, latenza p50/p95, costo per query, freschezza e risultati non autorizzati. Pubblicare numerosità del campione, casi di errore e procedura esatta.
Valutare Engine sul proprio caso d’uso
Richiedi accesso alla beta e concorda dataset rappresentativo e criteri di accettazione prima di una decisione di acquisto. Includi casi negativi, documenti modificati o eliminati e utenti con permessi diversi. Non dichiariamo un primato universale su tutti i prodotti RAG o retrieval.
Risultati interni e riferimenti pubblici
- HERB (n=125): Hit@5 0.512 → 0.608 (+18.8%); MRR@10 0.378 → 0.412 (~9%); Hit@1 0.296 → 0.272 (−8.1%). La graph fusion migliora alcune metriche ma peggiora la precisione del primo risultato. HERB.
- FinQA (n=500): MRR@5 0.782. Il riferimento di letteratura 0,618 è un risultato complessivo su una popolazione diversa (23.088 query), non un confronto FinQA appaiato né una prova di superiorità. From BM25 to Corrective RAG, Table VI.
- BRIGHT/pony (n=20): MRR@10 0.239 → 0.338. Test interno esplorativo su un solo dominio; non è un risultato sull’intero benchmark BRIGHT. BRIGHT.
Dataset e articoli collegati sono riferimenti esterni, non validazioni indipendenti di Ando. Gli aggregati provengono da valutazioni interne; risultati per singola query, configurazione esatta e pacchetto pubblico di riproducibilità non sono ancora pubblicati qui.