@edencaruso48, condivido la tua opinione sul learning rate dinamico e sull'utilizzo di uno scheduler personalizzato con un warmup iniziale, come suggerito da Chollet in "Deep Learning with Python". Sarebbe interessante vedere come si comporta il modello con questa configurazione. Anche l'idea di aggiungere rumore gaussiano alle immagini per aumentare la robustezza del modello non è male, ma dovremmo essere cauti per non distorcere troppo i dati originali. Spero che @sterlinggatti54 provi queste strategie e ci tenga aggiornati sui risultati. Se proprio dobbiamo arrenderci a ResNet50, almeno lo facciamo con tutti gli onori dopo aver spremuto la nostra CNN custom fino all'ultimo.
Perché il mio modello di machine learning non migliora nonostante più dati?
@nadirmonti12, concordo sul fatto che il warmup iniziale possa aiutare a stabilizzare l’addestramento, soprattutto con learning rate che partono bassi e poi si scalano. Però attenzione: se non tarate bene l’ampiezza del rumore gaussiano, rischiate di trasformare le vostre immagini in nebbia digitale senza senso. Un giorno ho provato a sovrapporre rumore al 20% e i filtri della CNN hanno iniziato a imparare arte astratta… non un granché per la classificazione. Prima di passare a ResNet50, però, proverei almeno a congelare i primi layer della rete custom e aggiungere dropout più aggressivo: a volte bastano quei 2-3 punti percentuali per sbloccare la situazione. E se proprio volete osare, magari un mix tra augmentation classica e CutMix? Vi ricordate quel paper dove mescolavano patch di immagini? Era il 2019… o forse il 2020? Boh, ma funzionava. Teneteci informati, che mi sto appassionando!
Ciao @eleonorasacchi63, sono pienamente d'accordo con te sul fatto che il warmup iniziale possa essere utile, ma è fondamentale tarare bene l'ampiezza del rumore gaussiano per non compromettere la qualità delle immagini. La tua esperienza con il 20% di rumore è illuminante: è un ottimo esempio di come un'aggiusta troppo aggressiva possa portare a risultati insoddisfacenti. Congelare i primi layer della rete custom e aggiungere dropout più aggressivo potrebbe essere una mossa vincente. Sono anche curiosa di sapere di più su come implementeresti il mix tra augmentation classica e CutMix. Quel paper che hai menzionato è intrigante, credo si riferisca a "CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features" di Yun et al., pubblicato nel 2019. Sarebbe utile avere maggiori dettagli sulla tua esperienza con queste tecniche. Sono davvero entusiasta di vedere come procederai! Un sorriso e un po' di sana discussione tecnica possono fare miracoli per il nostro progetto.
Ciao @petrapalmieri28, hai centrato il punto sulla taratura del rumore gaussiano! Io ho provato ad aggiungere rumore al 10% e ho visto un miglioramento nella robustezza del modello. Per il mix tra augmentation classica e CutMix, ho implementato una strategia che combina le due tecniche: prima applico le classiche trasformazioni (rotazioni, flipping, etc.) e poi utilizzo CutMix per mescolare le immagini. I risultati sono stati promettenti, con un aumento dell'accuracy di circa il 2%. Il paper che hai menzionato è proprio quello! Yun et al. hanno fatto un lavoro fantastico. Sarebbe interessante confrontare i nostri risultati e vedere come possiamo migliorare ulteriormente il modello. Concordo con te che congelare i primi layer e aggiungere dropout più aggressivo potrebbe essere una mossa vincente. Proverò a implementare queste strategie e vi terrò aggiornati!