Google I/O ‘23: PaLM 2 - Sprachmodell für die nächste Generation

Wenn man auf die größten Durchbrüche in der künstlichen Intelligenz (KI) in den letzten zehn Jahren zurückblickt, war Google bei so vielen davon an vorderster Front dabei. Unsere bahnbrechende Arbeit im Bereich der Basismodelle ist die Grundlage für die Branche und die KI-gestützten Produkte, die Milliarden von Menschen täglich nutzen. Wenn wir diese Technologien weiterhin verantwortungsbewusst weiterentwickeln, besteht ein großes Potenzial für transformative Anwendungen in Bereichen wie dem Gesundheitswesen und eurer eigenen Kreativität.

Die letzten zehn Jahre in der KI-Entwicklung haben gezeigt, dass bei der Skalierung neuronaler Netze noch sehr viel möglich ist. Wir verfolgen den Ansatz “größer ist besser” bewusst nicht, sondern setzen darauf, dass Kreativität in der Forschung der Schlüssel zum Aufbau eines großartigen Modells ist. Jüngst hat sich beim Training von Modellen gezeigt, wie wir Multimodalität nutzen können, wie wichtig menschliches Feedback ist und wie wir Modelle effizienter erstellen können. Dies sind wichtige Bausteine, um den Stand der Technik in der KI weiter voranzutreiben und gleichzeitig Modelle zu entwickeln, die den Menschen im Alltag einen Mehrwert bieten.

Wir stellen vor: PaLM 2

Aufbauend auf dieser Arbeit stellen wir PaLM 2 vor, unser Sprachmodell der nächsten Generation. PaLM 2 ist ein hochmodernes Sprachmodell mit verbesserten Fähigkeiten im Bereich Mehrsprachigkeit, logischer Argumentation und Programmierung.

• Mehrsprachigkeit: PaLM 2 ist auf mehrsprachige Texte trainiert und umfasst mehr als 100 Sprachen. Dies hat seine Fähigkeit, nuancierte Texte - einschließlich Redewendungen, Gedichten und Rätseln - in einer Vielzahl von Sprachen zu verstehen, zu generieren und zu übersetzen, erheblich verbessert - eine nicht ganz einfache Aufgabe.
• Logische Argumentation: Der umfangreiche Datensatz von PaLM 2 umfasst wissenschaftliche Arbeiten und Webseiten, die mathematische Ausdrücke enthalten. Dadurch ist es fähig, mit Logik, Common Sense und Mathematik zu agieren.
• Coding: PaLM 2 wurde mit einer großen Anzahl öffentlich zugänglicher Quellcode-Datensätze trainiert. Das bedeutet, dass es gängige Programmiersprachen wie Python und JavaScript besonders gut beherrscht, aber auch speziellen Code in Sprachen wie Prolog, Fortran und Verilog generieren kann.

Eine vielseitige Familie von Modellen

PaLM 2 ist nicht nur leistungsfähiger, sondern auch schneller und effizienter als die Vorgängermodelle - und ist in verschiedenen Größen verfügbar, so dass es sich für eine Vielzahl von Anwendungsfällen leicht einsetzen lässt. Wir werden PaLM 2 in vier Größen anbieten, von der kleinsten bis zur größten: Gecko, Otter, Bison und Unicorn. Gecko ist so schlank angelegt, dass es auf mobilen Geräten eingesetzt werden kann und schnell genug für interaktive Anwendungen auf dem Gerät ist, selbst wenn das Gerät offline ist. PaLM 2 kann fein abgestimmt werden und ist somit für mehr Produktklassen und mehr Nutzer:innen verfügbar.

25 Google-Produkte und -Funktionen unterstützt

Auf der I/O haben wir 25 neue Produkte und Funktionen angekündigt, die von PaLM 2 unterstützt werden. Das bedeutet, dass PaLM 2 die neuesten fortschrittlichen KI-Funktionen direkt in unsere Produkte einfließen lässt. Hier sind einige Beispiele:

• Die verbesserten mehrsprachigen Fähigkeiten von PaLM 2 ermöglichen es uns, Bard - beginnend heute - auf neue Sprachen auszuweiten. Außerdem ist es die Grundlage für unser kürzlich angekündigtes Programmierungsupdate.
• Unsere Workspace-Funktionen, die euch beim Schreiben in Gmail undGoogle Docs helfen und bei der Organisation in Google Tabellen unterstützen, nutzen PaLM 2 damit Nutzer:innen Arbeiten besser und schneller erledigen können
• Med-PaLM 2, das von unseren Forschungsteams mit medizinischem Wissen trainiert wurde, kann Fragen beantworten und Erkenntnisse aus einer Vielzahl von komplexen medizinischen Texten zusammenfassen. Nun ergänzen wir es mit multimodalen Fähigkeiten, um Informationen wie Röntgenbilder und Mammogramme zu synthetisieren, und damit eines Tages die Ergebnisse für Patient:innen zu verbessern. Med-PaLM 2 wird später in diesem Sommer einer kleinen Gruppe von Cloud-Kunden für Feedback zur Identifizierung von sicheren, hilfreichen Anwendungsfällen vorgestellt.

• Sec-PaLM ist eine spezialisierte Version von PaLM 2, die im Sicherheitsbereich trainiert wurde und eine maßgebliche Weiterentwicklung in der Cybersicherheitsanalyse darstellt. Sie ist über Google Cloud verfügbar und nutzt KI, um das Verhalten potenziell schädlicher Skripte zu analysieren und zu erklären und besser undschneller zu erkennen, welche Skripte tatsächlich eine Bedrohung für Menschen und Organisationen darstellen.
• Seit März haben wir mit einer kleinen Gruppe von Entwickler:innen eine Vorschau der PaLM-API durchgeführt. Ab heute können sich Entwickler:innen für die Nutzung des PaLM 2-Modells anmelden, und Kunden können das Modell in Vertex AI mit Datenschutz, Sicherheit und Governance für Unternehmen nutzen. PaLM 2 ist auch die Grundlage für Duet AI for Google Cloud, eine generative KI-Kollaborationslösung, die euch dabei hilft, schneller zu lernen, zu entwickeln und zu arbeiten.

Die Zukunft der KI vorantreiben

PaLM 2 zeigt uns die Auswirkungen hochleistungsfähiger Modelle verschiedener Größen und Geschwindigkeiten - und dass vielseitige KI-Modelle für uns alle einen echten Nutzen bringen. Doch genauso, wie wir uns dafür einsetzen, die hilfreichsten und verantwortungsvollsten KI-Tools auf den Markt zu bringen, arbeiten wir auch daran, die bisher besten Grundlagenmodelle für Google zu schaffen.

Unsere Brain- und DeepMind-Forschungsteams haben in den letzten zehn Jahren viele entscheidende Momente in der KI erreicht. Wir führen diese beiden Weltklasse-Teams in einer einzigen Einheit zusammen, um unseren Fortschritt weiter zu beschleunigen. Google DeepMind, unterstützt durch die Rechenressourcen von Google, wird nicht nur unglaubliche neue Fähigkeiten für die Produkte bringen, die ihr täglich nutzt, sondern auch verantwortungsvoll den Weg für die nächste Generation von KI-Modellen ebnen.

Wir arbeiten bereits an Gemini - unserem nächsten Modell, das von Grund auf multimodal und hocheffizient bei der Integration von Tools und APIs ist und zukünftige Innovationen wie Gedächtnis und Planung ermöglicht. Gemini befindet sich noch in der Trainingsphase, aber es zeigt bereits multimodale Fähigkeiten, die in früheren Modellen noch nie gesehen wurden. Nach der Feinabstimmung und den strengen Sicherheitstests wird Gemini wie PaLM 2 in verschiedenen Größen und Leistungsmerkmalen erhältlich sein, um sicherzustellen, dass es zum Nutzen aller über verschiedene Produkte, Anwendungen und Geräte hinweg eingesetzt werden kann.