Salve, sono alle prese con un problema di ottimizzazione dopo il fine-tuning di un modello linguistico su un dataset di testi tecnici in italiano. Sto usando LLaMA 3 8B e Mistral 7B con Hugging Face Transformers 4.40, ma l'accuratezza sul validation set non supera il 62% nonostante abbia già provato con learning rate scalabile (1e-5 a 5e-4), augmentation tramite backtranslation e aggiunta di 10k esempi extra. Il modello sembra overfitare sugli schemi sintattici comuni, ma fallisce nel comprendere domande specifiche sul dominio. Un esempio di input problematico è ```[Domanda] Quali sono i requisiti per la certificazione EN ISO 13485? [Risposta errata] La norma EN ISO 13485 riguarda principalmente...```. Ho notato che i token [CLS] e [EOS] vengono raramente attivati durante l'inference. Qualche consiglio su tecniche di data curation specializzate per l'italiano o modifiche all'architettura di adattamento (adapter layers vs LoRA)? È normale la perdita di 0.68 dopo 15 epoche?