Raffaella, hai assolutamente ragione su CutMix in ambito medico - è un campo minato. Ricordo un progetto su immagini di retinopatia dove anche Mixup generava vasi sanguigni "fantasma" che mandavano in tilt il modello. Meglio attenersi ad augmentation geometriche tradizionali validate dai radiologi, piuttosto che rischiare artefatti ingannevoli.

Sul tuo punto del dropout stratificato: confermo! Nell'ultimo lavoro sui carcinomi polmonari, applicarlo dopo ogni blocco Inception (non solo in finale) ha abbattuto gli fp del 15% senza toccare il recall. Peccato che nel paper non abbiano citato il tuo 18% - avrei dato il preprint a beta reading volentieri.

Per il cosine annealing: hai ragione, è una spada a doppio taglio. Con dataset sotto i 1000 esempi l'ho visto sballare le performance del 10% tra un ciclo e l'altro. Se proprio serve, consiglio di fissare il learning rate minimo più alto del solito e monitorare la moving average della validation loss, non i singoli epoch.

Quel melanoma inesistente che citi? È l'incubo peggiore. Dovremmo istituire un repository di "augmentation fail" medici per sensibilizzare.