Come è misurato il modello

Numeri del manifesto dei modelli del 2026-08-04 · pagina costruita il 2026-08-21

Dei 32 reperti che il sistema valuta sulle tre regioni, 19 sono dichiarati deboli dal sistema stesso, con il motivo e il numero accanto a ciascuno. Questo è il dato che di solito non si pubblica, e la ragione per cui questa pagina esiste.

Un reperto marcato debole non è un reperto rotto: è un reperto che non contiamo contro di te. Il pannello lo mostra con un triangolo, ne dichiara il motivo, e non gli lascia raggiungere le fasce di confidenza più alte. La differenza fra un sistema che sbaglia e uno di cui ci si può fidare non è la quantità di errori: è se ti dice dove sbaglia prima che tu ci creda.

Due parole su «test» e «validazione», che non sono la stessa cosa

Un modello si misura su lastre che non ha mai visto. Come si scelgono quelle lastre cambia il valore del numero:

• Test su pazienti mai visti — le lastre di un paziente stanno tutte da una parte sola. È la misura severa, quella che conta. Solo il torace ce l'ha.
• Validazione — le lastre sono nuove, ma alcune possono venire da pazienti già incontrati. Il numero esce più generoso. Addome e ossa sono misurati così, e per questo il loro AUROC non è confrontabile con quello del torace.

Su un modello di torace precedente, misurare per immagine invece che per paziente dava 0,918. Rifatta la misura separando i pazienti, lo stesso modello dava 0,868. La differenza — cinque punti — era tutta contaminazione: il 94% delle lastre appartiene a pazienti che ne hanno più di una. Abbiamo buttato il numero più alto.

Ogni reperto, con il suo numero

Le colonne sensibilità e specificità esistono solo per il torace, l'unica regione con una calibrazione misurata su un punto di lavoro dichiarato. Dove non ci sono, la casella è vuota invece che riempita con una stima.

Torace — 10 reperti, 7 misurati bene, 3 dichiarati deboli

AUROC media: 0,868 · misurata su: test 1096 lastre, 393 pazienti mai visti
Come sono state scelte le soglie: sensibilità 0,9
Architettura: densenet121 ×5, 512 px

→ la tabella scorre in orizzontale

Addome — 13 reperti, 4 misurati bene, 9 dichiarati deboli

AUROC media: 0,819 · misurata su: validazione 343 immagini, 174 casi (split per caso)
Come sono state scelte le soglie: F-beta massimo (beta = 2), griglia di 19 valori 0,05-0,95
Architettura: densenet121 ×5, 512 px

→ la tabella scorre in orizzontale

Ossa e arti — 9 reperti, 2 misurati bene, 7 dichiarati deboli

AUROC media: 0,713 · misurata su: validazione 366 immagini, 129 casi
Come sono state scelte le soglie: Non calibrate. Ogni reperto usa 0,50 fisso, che è il valore di ripiego della funzione e non un punto di lavoro scelto.
Architettura: resnet18 , 256 px

→ la tabella scorre in orizzontale

Che cosa abbiamo misurato e tolto

Le rinunce contano più delle aggiunte, perché nessuno le fa se non è costretto. Queste sono tutte volontarie, e ciascuna ha un numero e una data.

Il calcolo automatico del rapporto cuore-vertebre (VHS)

Tolto dalla produzione. Misurato: AUROC 0,679 contro 0,903 del classificatore che avrebbe dovuto aiutare, con un errore sistematico di +0,72 unità vertebrali. Era peggio di ciò che sostituiva, quindi non c'è. È la funzione che più spesso ci viene chiesta.

La regola automatica sulla sottoesposizione

Scartata invece che tarata. La grandezza su cui si basava non separava le lastre buone da quelle sottoesposte: AUROC 0,630. Tararla avrebbe prodotto una soglia dall'aria precisa su una misura che non distingue nulla.

La fascia «molto probabile» sui reperti con pochi casi

Non assegnata. Per i reperti con meno di 20 casi positivi il secondo punto di lavoro non è stimabile, e non viene inventato: quei reperti si fermano a «probabile» qualunque numero esca. Una fascia tarata su undici casi sarebbe informazione falsa con l'aspetto di informazione precisa.

La regione ossa, retrocessa ad anteprima — 21 agosto 2026

Dichiarata anteprima, e due reperti tolti dal pannello. Le soglie delle ossa non sono calibrate: 0,50 fisso per ogni reperto, che è il valore di ripiego della funzione, non un punto di lavoro scelto. E due reperti — impianto e neoplasia ossea — non hanno alcun AUROC, rispettivamente con zero e sette casi positivi: per loro non esiste una misura, quindi non compaiono più. Sono gli unici due su 32 in questa condizione.

Limiti dichiarati

• Le soglie delle ossa non sono calibrate. 0,50 per ogni reperto. La percentuale mostrata su quella regione non ha un punto di lavoro misurato dietro, ed è il motivo per cui la regione è dichiarata anteprima.
• Addome e ossa sono misurati in validazione, non su pazienti mai visti. I loro numeri non sono confrontabili con quelli del torace.
• L'addome non ha mai visto una radiografia clinica in addestramento: è stato costruito su materiale didattico. È il limite più serio del sistema e il primo che stiamo lavorando a togliere.
• Misurato prevalentemente su cane. Il gatto è sotto-rappresentato in tutti gli insiemi di misura, e nessuna metrica è oggi calcolata separatamente per specie. Il modello non riceve nemmeno l'informazione della specie: è un limite, non una funzione.
• Nessuna validazione esterna indipendente. Tutti i numeri di questa pagina li abbiamo misurati noi, con i nostri script, che stanno nel nostro repository. Abbiamo chiesto a un gruppo accademico esterno di sottoporci alla propria valutazione.
• La mappa di calore non è il contorno di una lesione. Mostra le zone che hanno pesato di più nella decisione. Su una lastra inquadrata male può indicare fuori bersaglio.
• Non è un dispositivo medico e non emette diagnosi. Ogni referto è valutato e firmato da un medico veterinario, che ne resta l'unico responsabile.

Come verificare quello che c'è scritto qui

Tutti i metadati dei modelli — reperti, soglie, temperature di calibrazione, insiemi di misura, limiti — sono pubblici e leggibili da una macchina:

https://ai.refertai.app/health

Questa pagina è costruita da lì. Se i due non concordano, ha ragione /health: è il server che risponde ai veterinari.