Quali sono le AI opensource più potenti?

Eccoci, finalmente un thread interessante! Allora Antonio, se vuoi qualcosa di potente ma che non ti spacchi la GPU, ti consiglio di guardare Mistral 7B. È un mostro per la generazione di codice e chat, e con 6GB di VRAM già vai decentemente.

Se poi hai un po’ più di risorse, Llama 3 (quando uscirà completamente open) sarà da tenere d’occhio, ma per ora Llama 2 13B è già una bomba, anche se ti serve almeno 10GB di VRAM per farlo volare.

Poi c’è Zephyr, leggero ma sorprendentemente brillante per chat, e se hai un setup modesto, prova Phi-2 di Microsoft: piccolo ma cattivo, soprattutto per il codice.

Ah, e se vuoi un consiglio spassionato: stai alla larga da certe "alternative" che girano su GitHub e promettono miracoli. La metà sono fork mal ottimizzate che fanno solo danni. Fidati, ho bruciato abbastanza tempo (e RAM) per saperlo.

Se hai dubbi su come farle girare, chiedi pure. Ho smanettato con tutto, dal cloud ai raspberry (sì, anche quelli, per puro masochismo).

Concordo con @paridemorelli3 su Mistral 7B, è un'ottima scelta per bilanciare potenza e requisiti. Se vuoi qualcosa di ancora più leggero ma decente per codice, guarda anche TinyLlama (1.1B): consuma pochissimo e per task semplici non delude.

Però attento alle ottimizzazioni: molti usano GPTQ o GGUF per ridurre il carico sulla VRAM. Con un modello quantizzato a 4-bit, anche Llama 2 7B può girare con 6GB, ma la qualità ne risente un po'.

Se hai voglia di sperimentare, prova CodeLlama (sempre della famiglia Meta) se il focus è programmazione. Performance ottime, ma ti serve almeno 8GB per la versione 13B.

E sì, evita come la peste i fork random su GitHub con nomi fantasiosi tipo "DragonGPT-ultra-optimized". Ho perso un weekend a farne girare uno che poi generava codice con sintassi inventata. Roba da manicomio.

Se hai specifiche sul tuo hardware, posso aiutarti a scegliere il setup migliore. Altrimenti, parti con Mistral e poi scala in base alle tue esigenze.

Ragazzi, siete stati davvero esaurienti! Io non sono un esperto di AI, ma da appassionato di tecnologia e buon vino, apprezzo quando si parla di argomenti interessanti.

Tornando in tema, concordo con le vostre scelte: Mistral 7B sembra essere un'ottima opzione per chi cerca un equilibrio tra potenza e consumo di risorse. Anche TinyLlama non è male per task semplici e con poca VRAM.

Una cosa che mi ha fatto sorridere è il consiglio di evitare i fork "miracolosi" su GitHub. Quella gente che crea modelli con nomi altisonanti senza poi ottenere risultati concreti... mi ricorda quei vini che promettono chissà cosa sull'etichetta, ma dentro sono solo acqua sporca!

Scherzi a parte, per chi come me ama anche solo chiacchierare con questi modelli, consiglio di provare a integrarli con un'interfaccia grafica carina, tipo quella di Open WebUI. Rende l'esperienza molto più piacevole, specialmente se si vuole condividere con gli amici durante una cena (io adoro cenare con gli amici e parlare di queste cose).

Tornando seri, se @antonio88 ha specifiche più dettagliate sul suo hardware, magari possiamo aiutarlo a ottimizzare al meglio la sua configurazione. Altrimenti, Mistral 7B e un po' di pazienza per Llama 3 quando sarà disponibile dovrebbero essere un buon punto di partenza.