Sto sviluppando un'app Android per riconoscimento immagini in tempo reale con TensorFlow Lite 2.15.0, ma l'inferenza è troppo lenta sul mio dispositivo di test (Samsung A54, Android 14). Uso un modello MobileNetV3-Small in float32 convertito dal Keras originale. Il benchmark mostra 290ms per inferenza, il che compromette l'esperienza utente.
Ho già provato:
- Quantizzazione INT8 post-training: riduce a 110ms ma l'accuratezza cala del 12% sul mio dataset custom
- Delegato GPU: migliora a 85ms su flagship, ma su mid-range causa crash o latenze inconsistenti
- Riduzione input a 192x192: accettabile per velocità ma degrada i dettagli critici
Considerando che la mia app richiede almeno 85% di accuratezza e max 70ms, qualcuno ha esperienze con:
1) Ottimizzazioni del grafo con tf.lite.Optimize.DEFAULT
2) Uso combinato di delegati NNAPI/XNNPACK
3) Conversione con quantizzazione aware training
4) Alternative come EfficientNet-Lite con pruning strutturato?
Apprezzerei esempi concreti o benchmark comparati su dispositivi mid-range recenti.
Capisco il tuo problema e condivido la frustrazione. Ho sperimentato qualcosa di simile con un progetto simile. Per quanto riguarda le ottimizzazioni del grafo, ho notato che tf.lite.Optimize.DEFAULT può dare un leggero miglioramento, ma non aspettarti miracoli. La vera chiave sta nell'uso combinato dei delegati NNAPI e XNNPACK. Configurandoli correttamente, ho visto un aumento significativo delle prestazioni senza sacrificare l'accuratezza.
Per la quantizzazione aware training, è un po' più complessa ma ne vale la pena. Richiede un po' di tempo in più per il training, ma i risultati sono notevoli. EfficientNet-Lite con pruning strutturato potrebbe essere un'ottima alternativa, specialmente se stai cercando un equilibrio tra velocità e accuratezza. Ho letto benchmark che mostrano miglioramenti sostanziali su dispositivi mid-range. Prova a sperimentare con queste opzioni e condividi i risultati. Siamo tutti qui per aiutarci a vicenda!
Sono d'accordo con @pacificovitale, l'uso combinato dei delegati NNAPI e XNNPACK può essere la chiave per migliorare le prestazioni del tuo modello TensorFlow Lite. In particolare, XNNPACK è ottimizzato per le operazioni più comuni nei modelli di riconoscimento immagini e potrebbe darti un notevole aumento di velocità.
Per quanto riguarda la quantizzazione aware training, è vero che richiede più tempo e risorse, ma può essere fondamentale per mantenere l'accuratezza quando si utilizza la quantizzazione INT8.
Un'altra opzione che potresti valutare è l'utilizzo di TensorFlow Lite Model Optimization Toolkit, che offre strumenti per l'ottimizzazione dei modelli, come ad esempio la pruning e la clustering dei pesi.
Infine, se non hai già provato, potresti considerare di utilizzare un modello pre-addestrato come EfficientNet-Lite, che è stato specificamente progettato per essere efficiente su dispositivi mobili. Sarebbe interessante vedere come si comporta rispetto al tuo attuale modello MobileNetV3-Small.
Grazie per i dettagli, @onestobarbieri77. Apprezzo la chiarezza sui delegati: ho testato separatamente NNAPI (accelerazione hardware) e XNNPACK (CPU), ma non in combinazione. Proverò ad abilitarli insieme valutando eventuali conflitti sul mio Pixel 7.
Sul QAT: il mio modello attuale usa post-training quantization INT8, con un calo di accuracy del 3% inaccettabile. Hai ragione, il QAT è la strada corretta - organizzerò il fine-tuning col dataset originale.
Model Optimization Toolkit l'ho usato per pruning (30% sparsity), ma la clustering dei pesi è un ottimo spunto da esplorare.
EfficientNet-Lite vs MobileNetV3: farò benchmark comparativi su latenza e accuracy. Quale variante di EfficientNet-Lite consiglieresti per carichi simili a MobileNetV3-Small?
La discussione ha dato soluzioni concrete.
@lucianasanna78, ottimo che la discussione stia portando a risultati concreti! Sul discorso NNAPI/XNNPACK, occhio a come li combini. Su alcuni dispositivi, NNAPI può "soffocare" XNNPACK, quindi benchmarka bene diverse configurazioni.
Per il QAT, il 3% di calo è effettivamente tanto. Fine-tuning con il dataset originale è la mossa giusta, ma considera anche di aumentare un po' la "temperatura" durante il training per una robustezza maggiore.
Il clustering dei pesi è sottovalutato, ma può dare ottimi risultati, soprattutto dopo il pruning.
EfficientNet-Lite: per un carico simile a MobileNetV3-Small, partirei con la versione "EfficientNet-Lite0". Dovrebbe darti un buon compromesso. Se cerchi ancora più velocità, puoi provare la "EfficientNet-Lite0 w/ FlexConv". Ho letto di gente che ha ottenuto risultati sorprendenti, ma dipende molto dall'hardware. Facci sapere come va!