Google AI erleben – mit Android

Wir leben in einer sehr spannenden Zeit: Durch immer größere Fortschritte bei der Entwicklung künstlicher Intelligenz (KI) wird völlig neu definiert, was mit einem Smartphone alles möglich ist. Mit Google AI als Kernstück des Android-Betriebssystems können zahlreiche Android-Nutzer*innen jetzt auf völlig neue Weise mit ihren Smartphones interagieren.

Heute stellen wir Updates vor, durch die ihr Google AI auf Android selbst erleben könnt.

Circle to Search: Unterstützung bei Hausaufgaben

Mit der Funktion „Circle to Search“ ¹ könnt ihr auf kompatiblen Geräten mit einer einfachen Geste nach allem suchen, was ihr auf eurem Smartphone-Bildschirm seht. Ihr müsst dazu weder eure Arbeit unterbrechen noch zu einer anderen App wechseln. Seit Circle to Search bei Samsung Unpacked vorgestellt wurde, haben wir neue Funktionen hinzugefügt, zum Beispiel die Übersetzung des gesamten Texts auf einem Bildschirm. Außerdem ist Circle to Search jetzt auf weiteren Pixel- und Samsung-Geräten verfügbar.

Ab heute kann Circle to Search Schüler*innen und Student*innen direkt auf ihren Smartphones oder Tablets bei den Hausaufgaben unterstützen. Wenn sie den Teil einer Aufgabe einkreisen, bei dem sie nicht weiterkommen, erhalten sie eine detaillierte Anleitung zur Lösung einer Reihe von Physik- und Mathematikaufgaben ² , ohne ihr digitales Aufgabenblatt oder ihre Lern-App verlassen zu müssen. ¹ Im Laufe dieses Jahres wird Circle to Search noch komplexere Probleme lösen können, in denen unter anderem symbolische Formeln, Grafiken und Diagramme vorkommen. Möglich ist dies durch LearnLM, unserer neuen Familie an Lernmodellen, die auf das Thema „Lernen“ spezialisiert sind.

Circle to Search ist schon heute auf mehr als 100 Millionen kompatiblen Geräten verfügbar. Da wir planen, die Funktion auf weiteren Geräten anzubieten, sind wir auf dem besten Weg, diese Zahl bis zum Ende des Jahres zu verdoppeln.

Gemini versteht Kontext immer besser und bietet dadurch noch mehr Unterstützung beim Erledigen von Aufgaben

Gemini für Android ist ein neuartiger Assistent, der generative KI nutzt, damit ihr kreativer und produktiver werden könnt. Gemini ist in Android-Geräten integriert ³ und wird immer besser darin, den Kontext dessen zu verstehen, was auf eurem Bildschirm zu sehen ist – und zu erkennen, welche App ihr gerade verwendet.

Es wird sehr bald möglich sein, das Gemini-Overlay über die App zu legen, die ihr gerade nutzt. Dadurch kann Gemini noch einfacher und vielfältiger genutzt werden. Ihr könnt zum Beispiel KI-generierte Bilder per Drag-and-drop in Gmail, Google Messages und an anderen Stellen einfügen, oder über „Video zusammenfassen“ bestimmte Informationen aus einem YouTube-Video zusammenfassen. In Gemini Advanced habt ihr auch die Option „PDF zusammenfassen“, die schnell Antworten liefert, ohne dass ihr durch unendlich viele Seiten scrollen müsst. Dieses Update wird in den nächsten Monaten auf mehreren Hundert Millionen Geräten eingeführt.

Und wir werden Gemini weiter verbessern, um euch dynamischere Vorschläge zum Inhalt eures Bildschirms bieten zu können.

Umfassende multimodale Funktionen demnächst mit Gemini Nano

Android ist das erste Betriebssystem für Mobilgeräte, das euch ein integriertes Foundation Model bietet, das auf dem Gerät ausgeführt wird. Mit Gemini Nano erhaltet ihr schnell Unterstützung, wobei eure Informationen vollkommen privat bleiben. Unser neuestes Modell Gemini Nano wird im Laufe dieses Jahres zuerst auf Pixel-Smartphones umfassende multimodale Funktionen haben. Das bedeutet, dass das Smartphone außer der reinen Verarbeitung von Texteingaben auch Kontextinformationen verarbeiten kann – z. B. Bilder, Ton und gesprochene Sprache.

Bessere Beschreibungen mit TalkBack

Im Laufe dieses Jahres werden die multimodalen Funktionen von Gemini Nano auch in TalkBack verfügbar sein. Menschen mit einer Sehbehinderung oder eingeschränktem Sehvermögen erhalten dadurch bessere und präzisere Beschreibungen von Bildinhalten. TalkBack-Nutzer*innen stoßen pro Tag im Schnitt auf 90 nicht gekennzeichnete Bilder. Dieses Update trägt dazu bei, die fehlenden Informationen zu ergänzen – dies können mehr Details dazu sein, wer und was auf einem Familienfoto zu sehen ist, oder eine Beschreibung des Stils oder Schnitts von Kleidungsstücken beim Online-Shopping. Da ihr Gemini Nano direkt auf dem Gerät nutzt, erfolgen diese Beschreibungen sehr schnell und funktionieren sogar dann, wenn keine Netzwerkverbindung besteht.

Warnmeldungen bei mutmaßlichem Betrug während eines Anrufs

Laut eines vor einigen Monaten veröffentlichten Berichts haben Betrüger*innen in einem Zeitraum von 12 Monaten mehr als 1 Billion US-Dollar erbeutet. Wir testen derzeit eine neue Funktion, bei der Gemini Nano verwendet wird, um während eines Anrufs Sofortbenachrichtigungen auszugeben, wenn Unterhaltungsmuster festgestellt werden, die auf Betrug hindeuten. Beispielsweise würde eine Warnmeldung ausgegeben, wenn von einem „Bankmitarbeiter“ die Aufforderung ausgesprochen wird, dringend Geld zu überweisen, eine Zahlung über eine Geschenkkarte zu leisten oder Informationen wie PIN oder Passwort anzugeben – alles ungewöhnliche Bankanfragen. Dieser Schutz ist in das Gerät integriert und die Unterhaltung bleibt daher vertraulich. Wir werden im Laufe des Jahres weitere Informationen zu dieser Opt-in-Funktion veröffentlichen.

Weitere geplante Neuerungen bei Android

Integrierte Google AI kann die Möglichkeiten eines Smartphones deutlich erweitern. Wir beginnen gerade erst, dieses Potenzial zu nutzen, und werden Google AI weiterhin in alle Pixel-, Samsung- und weiteren Smartphones integrieren. Entwickler*innen erfahren im Android Developers Blog, wie unsere neuesten KI-Modelle und ‑Tools, zum Beispiel Gemini Nano und Gemini in Android Studio, in Entwicklungsprojekte einbezogen werden können.

Morgen gibt es weitere Informationen zu den neuesten Android 15- und Ökosystem-Updates.