Gemma: una nuova famiglia di modelli aperti

Noi di Google crediamo nel rendere l'intelligenza artificiale utile per tutti. Abbiamo una lunga storia di contributi innovativi alla comunità aperta, come con Transformers , TensorFlow , BERT , T5 , JAX , AlphaFold e AlphaCode . Oggi siamo entusiasti di presentare una nuova generazione di modelli aperti di Google per assistere sviluppatori e ricercatori nella creazione di un'intelligenza artificiale responsabile.

Modelli aperti Gemma

Gemma è una famiglia di modelli aperti leggeri e all'avanguardia, costruiti con la stessa ricerca e tecnologia utilizzata per creare i modelli Gemini . Sviluppato da Google DeepMind e altri team di Google, Gemma si ispira ai Gemelli e il nome riflette il latino gemma , che significa "pietra preziosa". Insieme al peso dei nostri modelli, stiamo rilasciando anche strumenti per supportare l'innovazione degli sviluppatori, promuovere la collaborazione e guidare l'uso responsabile dei modelli Gemma.

Gemma è disponibile in tutto il mondo a partire da oggi. Ecco i dettagli chiave da sapere:

• Stiamo rilasciando due misure: Gemma 2B e Gemma 7B . Ogni dimensione viene rilasciata con varianti pre-addestrate e ottimizzate per le istruzioni.
• Un nuovo toolkit di intelligenza artificiale generativa responsabile fornisce indicazioni e strumenti essenziali per creare applicazioni di intelligenza artificiale più sicure con Gemma.
• Forniamo toolchain per l'inferenza e la messa a punto supervisionata (SFT) in tutti i principali framework: JAX, PyTorch e TensorFlow tramite Keras 3.0 nativo .
• Colab e Kaggle pronti all'uso , insieme all'integrazione con strumenti popolari come Hugging Face , MaxText , NVIDIA NeMo e TensorRT-LLM , semplificano l'avvio con Gemma.
• I modelli Gemma pre-addestrati e ottimizzati con le istruzioni possono essere eseguiti sul tuo laptop, workstation o Google Cloud con una facile implementazione su Vertex AI e Google Kubernetes Engine (GKE).
• L'ottimizzazione su più piattaforme hardware AI garantisce prestazioni leader del settore, comprese le GPU NVIDIA e i TPU Google Cloud .
• I termini di utilizzo consentono un utilizzo e una distribuzione commerciale responsabile per tutte le organizzazioni, indipendentemente dalle dimensioni.

Prestazioni all'avanguardia in termini di dimensioni

I modelli Gemma condividono componenti tecnici e infrastrutturali con Gemini , il nostro modello di intelligenza artificiale più grande e capace oggi ampiamente disponibile. Ciò consente a Gemma 2B e 7B di ottenere le migliori prestazioni della categoria per le loro dimensioni rispetto ad altri modelli aperti. Inoltre, i modelli Gemma possono essere eseguiti direttamente sul laptop o sul computer desktop dello sviluppatore. In particolare, Gemma supera modelli significativamente più grandi rispetto ai parametri di riferimento chiave, aderendo al tempo stesso ai nostri rigorosi standard per risultati sicuri e responsabili. Consulta la relazione tecnica per dettagli su prestazioni, composizione del set di dati e metodologie di modellazione.

Responsabile fin dalla progettazione

Gemma è progettata tenendo in primo piano i nostri principi di intelligenza artificiale. Per rendere sicuri e affidabili i modelli pre-addestrati Gemma, abbiamo utilizzato tecniche automatizzate per filtrare determinate informazioni personali e altri dati sensibili dai set di addestramento. Inoltre, abbiamo utilizzato un'ampia messa a punto e l'apprendimento di rinforzo dal feedback umano (RLHF) per allineare i nostri modelli ottimizzati per le istruzioni con comportamenti responsabili. Per comprendere e ridurre il profilo di rischio dei modelli Gemma, abbiamo condotto valutazioni approfondite tra cui red-teaming manuale, test contraddittori automatizzati e valutazioni delle capacità del modello per attività pericolose. Queste valutazioni sono delineate nella nostra Scheda Modello .

Insieme a Gemma, stiamo inoltre rilasciando un nuovo Responsible Generative AI Toolkit per aiutare gli sviluppatori e i ricercatori a dare priorità alla creazione di applicazioni AI sicure e responsabili. Il kit di strumenti include:

• Classificazione di sicurezza: forniamo una nuova metodologia per creare robusti classificatori di sicurezza con esempi minimi.
• Debug: uno strumento di debug del modello ti aiuta a indagare sul comportamento di Gemma e ad affrontare potenziali problemi.
• Linee guida: puoi accedere alle best practice per gli sviluppatori di modelli in base all'esperienza di Google nello sviluppo e nell'implementazione di modelli linguistici di grandi dimensioni.

Ottimizzato su framework, strumenti e hardware

Puoi ottimizzare i modelli Gemma sui tuoi dati per adattarli a esigenze applicative specifiche, come il riepilogo o la generazione aumentata con recupero (RAG). Gemma supporta un'ampia varietà di strumenti e sistemi:

• Strumenti multi-framework: porta il tuo framework preferito, con implementazioni di riferimento per l'inferenza e la messa a punto su Keras 3.0 multi-framework, PyTorch nativo, JAX e Hugging Face Transformers.
• Compatibilità tra dispositivi: i modelli Gemma funzionano sui tipi di dispositivi più diffusi, tra cui laptop, desktop, IoT, dispositivi mobili e cloud, consentendo funzionalità AI ampiamente accessibili.
• Piattaforme hardware all'avanguardia: abbiamo collaborato con NVIDIA per ottimizzare Gemma per le GPU NVIDIA , dal data center al cloud fino ai PC AI RTX locali, garantendo prestazioni leader del settore e integrazione con tecnologia all'avanguardia.
• Ottimizzato per Google Cloud: Vertex AI fornisce un ampio set di strumenti MLOps con una gamma di opzioni di ottimizzazione e implementazione con un clic utilizzando ottimizzazioni di inferenza integrate. La personalizzazione avanzata è disponibile con gli strumenti Vertex AI completamente gestiti o con GKE autogestito, inclusa l'implementazione in un'infrastruttura conveniente su GPU, TPU e CPU da entrambe le piattaforme.

Crediti per ricerca e sviluppo

Gemma è pensato per la comunità aperta di sviluppatori e ricercatori che alimentano l'innovazione dell'intelligenza artificiale. Puoi iniziare a lavorare con Gemma oggi stesso utilizzando l'accesso senza costi a Kaggle, un livello senza costi per i notebook Colab e $ 300 in crediti per i nuovi utenti di Google Cloud. I ricercatori possono anche richiedere crediti Google Cloud fino a 500.000 dollari per accelerare i loro progetti.

Puoi scoprire di più su Gemma e accedere alle guide rapide su ai.google.dev/gemma . Mentre continuiamo ad espandere la famiglia di modelli Gemma, non vediamo l'ora di introdurre nuove varianti per diverse applicazioni. Resta sintonizzato per eventi e opportunità nelle prossime settimane per connetterti, imparare e costruire con Gemma.