martedì, Dicembre 3, 2024

Provare Google Gemma in locale: istruzioni e caratteristiche dei modelli

**Sveliamo come provare subito Google Gemma in locale, sui propri sistemi: un’innovazione di Google per la costruzione di applicazioni di Intelligenza Artificiale**

Google Gemma, nuova famiglia di modelli generativi aperti ideata da Google DeepMind con la collaborazione di altri team del colosso di Mountain View, è stata presentata come un’evoluzione dei già noti modelli generativi come Gemini. I nuovi modelli, chiamati Gemma 2B e Gemma 7B, offrono prestazioni elevate e sono progettati per l’uso su notebook, workstation e sulla piattaforma Google cloud, utilizzando Vertex AI e Google Kubernetes Engine (GKE). Un’altra novità è che questi modelli generativi utilizzano tecniche automatiche per filtrare informazioni personali e altri dati sensibili dai set di dati. Inoltre, Google ha rilasciato un set completo di benchmark per valutare Gemma rispetto ad altri modelli. Tutti i dettagli sono disponibili nel post in italiano “una nuova famiglia di modelli aperti“.

**Le caratteristiche di base dei modelli Google Gemma**

I modelli Gemma sono leggeri e all’avanguardia, e offrono prestazioni elevate a dispetto delle dimensioni ridotte. Il grande vantaggio è che possono essere eseguiti direttamente su notebook, workstation oppure sulla piattaforma Google Cloud, appoggiandosi a Vertex AI e Google Kubernetes Engine (GKE). Inoltre, Google fornisce un Responsible Generative AI Toolkit per supportare l’uso sicuro dell’IA, promuovendo la collaborazione e guidando l’uso responsabile. Entrambi i modelli, Gemma 2B e Gemma 7B, sono text-oriented, nel senso che ricevono in ingresso del testo in linguaggio naturale (prompt), lo elaborano e restituiscono a loro volta del testo in output.

**Come installare Google Gemma in locale**

Gemma è progettato per funzionare su qualunque Hardware, in locale o sul cloud. Si pensi a server, workstation, laptop, dispositivi mobili e in qualunque applicazione personalizzata dagli utenti. La buona notizia, inoltre, è che i modelli generativi di Google possono essere ottimizzati e sottoposti, in totale autonomia, ad attività di fine tuning volte ad ampliarne le capacità o a “specializzare” il comportamento di Gemma per svolgere al meglio compiti “ad hoc”.

**Configurazione di Google Gemma su un sistema Ubuntu con Ollama**

Gemma può essere utilizzato senza limitazioni su una vasta gamma di piattaforme e Sistemi Operativi. È possibile seguire le istruzioni Google pubblicate su Hugging Face per usare Gemma in locale. Progetto open source, Ollama porta l’intelligenza artificiale sui propri sistemi in locale: framework leggero ed estensibile, fornisce un’API (Application Programming Interface) per la creazione, l’esecuzione e la gestione di modelli linguistici, consentendo agli utenti di eseguire modelli generativi in locale su macOS, Linux e Windows.

**Installazione di Ollama e aggiunta dei modelli generativi Google Gemma**

Per installare Ollama, è sufficiente impartire il seguente comando dalla finestra del terminale Linux: curl | sh. A questo punto, è possibile scaricare e installare il LLM (Large Language Model) Gemma 2B o Gemma 7B, ricorrendo a una delle seguenti due istruzioni: ollama run gemma:2b.

**Passare un prompt a Gemma e ottenere una risposta argomentata**

In corrispondenza del prompt di Ollama, è possibile digitare il quesito in linguaggio naturale da presentare al modello generativo di Google. Dopo la pressione del tasto Invio, a seconda del modello scelto con il comando ollama run, si otterrà la risposta desiderata. Utilizzando Ollama Web UI si può addirittura creare un proprio chatbot interagendovi direttamente mediante interfaccia Grafica. Curiosamente, digitando /show info al prompt di Ollama, il framework indica 3B come numero di parametri supportati da Gemma 2B e 9B nel caso del modello Gemma 7B. Ma tant’è.

Su questo articolo abbiamo visto come sia possibile sfruttare l’innovazione di Google Gemma in locale, sui propri sistemi, in particolare su un sistema Ubuntu con l’utilizzo di Ollama. Google Gemma apre la strada verso un mondo di possibilità nell’ambito dell’intelligenza artificiale, offrendo strumenti avanzati e all’avanguardia agli sviluppatori e ai ricercatori. Il futuro dell’IA è qui, e gli sviluppatori possono iniziare a esplorarlo fin da subito.

ARTICOLI COLLEGATI:

ULTIMI ARTICOLI: