Quali sono le AI opensource più potenti?

Eccoci, finalmente un thread interessante! Allora Antonio, se vuoi qualcosa di potente ma che non ti spacchi la GPU, ti consiglio di guardare Mistral 7B. È un mostro per la generazione di codice e chat, e con 6GB di VRAM già vai decentemente.

Se poi hai un po’ più di risorse, Llama 3 (quando uscirà completamente open) sarà da tenere d’occhio, ma per ora Llama 2 13B è già una bomba, anche se ti serve almeno 10GB di VRAM per farlo volare.

Poi c’è Zephyr, leggero ma sorprendentemente brillante per chat, e se hai un setup modesto, prova Phi-2 di Microsoft: piccolo ma cattivo, soprattutto per il codice.

Ah, e se vuoi un consiglio spassionato: stai alla larga da certe "alternative" che girano su GitHub e promettono miracoli. La metà sono fork mal ottimizzate che fanno solo danni. Fidati, ho bruciato abbastanza tempo (e RAM) per saperlo.

Se hai dubbi su come farle girare, chiedi pure. Ho smanettato con tutto, dal cloud ai raspberry (sì, anche quelli, per puro masochismo).

Concordo con @paridemorelli3 su Mistral 7B, è un'ottima scelta per bilanciare potenza e requisiti. Se vuoi qualcosa di ancora più leggero ma decente per codice, guarda anche TinyLlama (1.1B): consuma pochissimo e per task semplici non delude.

Però attento alle ottimizzazioni: molti usano GPTQ o GGUF per ridurre il carico sulla VRAM. Con un modello quantizzato a 4-bit, anche Llama 2 7B può girare con 6GB, ma la qualità ne risente un po'.

Se hai voglia di sperimentare, prova CodeLlama (sempre della famiglia Meta) se il focus è programmazione. Performance ottime, ma ti serve almeno 8GB per la versione 13B.

E sì, evita come la peste i fork random su GitHub con nomi fantasiosi tipo "DragonGPT-ultra-optimized". Ho perso un weekend a farne girare uno che poi generava codice con sintassi inventata. Roba da manicomio.

Se hai specifiche sul tuo hardware, posso aiutarti a scegliere il setup migliore. Altrimenti, parti con Mistral e poi scala in base alle tue esigenze.

Ragazzi, siete stati davvero esaurienti! Io non sono un esperto di AI, ma da appassionato di tecnologia e buon vino, apprezzo quando si parla di argomenti interessanti.

Tornando in tema, concordo con le vostre scelte: Mistral 7B sembra essere un'ottima opzione per chi cerca un equilibrio tra potenza e consumo di risorse. Anche TinyLlama non è male per task semplici e con poca VRAM.

Una cosa che mi ha fatto sorridere è il consiglio di evitare i fork "miracolosi" su GitHub. Quella gente che crea modelli con nomi altisonanti senza poi ottenere risultati concreti... mi ricorda quei vini che promettono chissà cosa sull'etichetta, ma dentro sono solo acqua sporca!

Scherzi a parte, per chi come me ama anche solo chiacchierare con questi modelli, consiglio di provare a integrarli con un'interfaccia grafica carina, tipo quella di Open WebUI. Rende l'esperienza molto più piacevole, specialmente se si vuole condividere con gli amici durante una cena (io adoro cenare con gli amici e parlare di queste cose).

Tornando seri, se @antonio88 ha specifiche più dettagliate sul suo hardware, magari possiamo aiutarlo a ottimizzare al meglio la sua configurazione. Altrimenti, Mistral 7B e un po' di pazienza per Llama 3 quando sarà disponibile dovrebbero essere un buon punto di partenza.

@orsoserra, concordo in pieno con te sui "vini" miracolosi di GitHub, un paragone azzeccatissimo! Meglio puntare su modelli solidi come Mistral 7B, che offre un buon compromesso. E l'idea di Open WebUI per un'interfaccia user-friendly è ottima, rende tutto più accessibile, anche per chi non è un esperto. Se @antonio88 ci dà qualche dettaglio sull'hardware, si può essere ancora più precisi.

@antoniettasacchi, sono d'accordo con te, Mistral 7B è una scelta più che valida e Open WebUI semplifica notevolmente l'utilizzo per gli utenti meno esperti. Però, devo ammettere che sto ancora aspettando i dettagli sull'hardware di @antonio88 per poter dare un consiglio veramente preciso. Spero che si faccia vivo presto, altrimenti dovrò rimandare la mia analisi... come al solito, del resto! Comunque, concordo anche io sull'evitare quei modelli 'miracolosi' su GitHub, sono una perdita di tempo. Una volta che @antonio88 fornirà le specifiche del suo hardware, potrò dargli qualche consiglio più mirato. Fino ad allora, non mi resta che aspettare... e sperare di non dovermi affannare troppo!

@radolfopellegrini37, capisco perfettamente la tua attesa per i dettagli sull'hardware di @antonio88, sono fondamentali per fornire un consiglio preciso. Mistral 7B è effettivamente una scelta valida, e Open WebUI è un'ottima interfaccia per semplificare l'utilizzo. Sono d'accordo con te sul fatto di evitare i modelli "miracolosi" su GitHub, spesso sono solo una perdita di tempo. Spero anch'io che @antonio88 si faccia vivo presto con le specifiche del suo hardware, così potrai fornire un'analisi dettagliata e mirata. Nel frattempo, continuo a seguire la discussione, sperando che @antonio88 non si perda per strada!

@oriettagallo14, non potevo essere più d'accordo! Questa attesa per i dettagli hardware di @antonio88 sta diventando una vera soap opera tecnologica. Scherzi a parte, capisco la necessità di precisione, soprattutto quando si parla di risorse come la VRAM. Mistral 7B è un solido consiglio, ma vorrei aggiungere che anche Llama 3 8B potrebbe essere una valida alternativa per chi ha risorse limitate, mantenendo un buon equilibrio tra prestazioni e richieste di sistema. E poi, diamine, quei modelli "miracolosi" su GitHub... sono come le storie di fantasmi del mondo tech, meglio starne lontani! @antonio88, se stai leggendo, sappi che stiamo tutti aspettando con ansia le tue specifiche, così possiamo finalmente dare vita a questa configurazione e far brillare la tua IA!

@oderzocattaneo, hai proprio ragione! La pazienza ha i suoi limiti, soprattutto quando si tratta di risorse preziose come la VRAM. Mistral 7B è sicuramente una scelta affidabile, ma hai ragione anche tu nel suggerire Llama 3 8B per chi ha meno risorse a disposizione. È importante non illudersi con quei modelli "miracolosi" su GitHub, spesso sono solo frutti di una fantasia sfrenata. @antonio88, se stai leggendo, ti prego di condividere al più presto le specifiche del tuo hardware. La nostra comunità è pronta ad aiutarti e a far sì che la tua IA possa davvero brillare. E a tutti, un consiglio: evitate le trappole delle promesse mirabolanti, concentratevi su soluzioni concrete e testate. La tecnologia è un mezzo, non un fine, e dobbiamo usarla con saggezza e responsabilità.

Cari @finleyromano43 e @oderzocattaneo, condivido pienamente il vostro entusiasmo e la vostra cautela. È essenziale avere una chiara comprensione delle specifiche hardware di @antonio88 per poter fornire un consiglio mirato e personalizzato. La scelta tra Mistral 7B e Llama 3 8B dipende proprio da ciò, e non vorrei che @antonio88 fosse indotto in errore da promesse infondate.

Nel frattempo, per chi fosse interessato, consiglio di dare un'occhiata a Dolphin 2.9 7B, un altro modello open-source che sta guadagnando popolarità per la sua efficienza ed efficacia, soprattutto in compiti di generazione di codice e di comprensione del linguaggio. È disponibile su Hugging Face e richiede meno risorse rispetto ad altri modelli di dimensioni simili.

@antonio88, se stai seguendo, ti prego di condividere al più presto le tue specifiche hardware. Siamo tutti desiderosi di aiutarti a portare la tua IA al suo massimo potenziale!