Google Maps 101: Wie KI und Bilddaten Immersive View für Routen zum Leben erwecken
Wenn ihr auf dem Weg zu eurem Zielort seid, ist es hilfreich, sich einen Überblick über eure Route zu verschaffen. Nehmen wir an, ihr fahrt mit dem Fahrrad zum Park, um euch mit Freund:innen zu treffen. Vielleicht schaut ihr euch das Wetter an, prüft nach, ob es unterwegs gesperrte Straßen gibt – oder checkt die Parkplatzsituation für Fahrräder in Street View. Aus diesem Grund haben wir Immersive View für Routen eingeführt, eine Funktion, die euch alle Informationen, die ihr für eure Reise benötigt – wie Wetter und Verkehr – in einer einzigen, mehrdimensionalen Ansicht zeigt: egal ob ihr zu Fuß, mit dem Motorrad oder Fahrrad unterwegs seid. Diese Funktion, die nun in 15 Städten eingeführt wird, baut auf Immersive View für Orte auf. Mit diesem Feature könnt ihr einen Ort bereits virtuell erleben, bevor ihr ihn besucht.
Hier ist ein Blick hinter die Kulissen, wie KI und Bilddaten Immersive View für Routen in Google Maps zum Leben erwecken.
Ein Puzzlespiel aus 2D-Bildern zusammensetzen
Zunächst werden Milliarden von hochauflösenden Bildern zusammengetragen. Diese Bilder werden dann in einem Prozess zusammengefügt: fast so, als würde man das größte Puzzle der Welt zusammensetzen.
Verschiedene Google Maps-„Schichten“ zeigen Objektlabels, Höhe, Vegetation und Farbe.
Theoretisch klingt das recht simpel, aber mehrere Faktoren machen diesen Prozess recht komplex: Das gesamte Bildmaterial muss mit den vorhandenen Google Maps-Daten abgeglichen werden, damit alle Straßen, Wege und Geschäftsnamen zusammenpassen. Dies ist nur mit unseren fortschrittlichen Photogrammetrietechniken möglich, die Bilder und Daten auf den Zentimeter genau abgleichen können.
Eine Visualisierung, wie das 3D-Material für Immersive View ausgespielt wird.
Nützliche Informationen erfassen und kennzeichnen – dank maschinellem Lernen
Sobald wir die Bilddaten zusammengefügt haben, setzen wir KI und Computer Vision ein, um zu verstehen, was auf ihnen zu sehen ist. Innerhalb von Sekunden können unsere Modelle für maschinelles Lernen Elemente auf einem Foto erkennen – wie Gehwege, Straßenschilder, Schilder mit Geschwindigkeitsbegrenzungen, Straßennamen, Adressen, die angegebenen Öffnungszeiten und Gebäudeeingänge. Diese Modelle wurden anhand von Millionen von Fotos aus der ganzen Welt trainiert, so dass sie in der Lage sind, sich an verschiedene Regionen anzupassen und zu lernen. So können sie zum Beispiel ein „SLOW“-Schild in den USA erkennen, das eine gelbe oder orangefarbene Raute ist – und in Japan, das dreieckig und überwiegend weiß und rot ist.
Das Verständnis dieser Bildelemente hilft uns, euch die nützlichsten Informationen in Immersive View für Routen anzuzeigen. So könnt ihr euch zum Beispiel direkt zum Eingang eines Gebäudes navigieren lassen, was euch davor bewahrt, ein paar Runden um den Block zu drehen!
Unsere AI kennzeichnet nützliche Objekt-Kategorien wie Bürgersteige, Straßen- und Geschwindigkeitsbegrenzungschilder, Adressen, Öffnungszeiten sowie Eingangstüren von Geschäftsgebäuden.
Wie aus 2D-Aufnahmen 3D-Bilder entstehen
Eine der größten Herausforderungen bei der Erstellung einer 3D-Karte ist die Modellierung des Straßenverlaufs und der Höhe von Gebäuden. Zu diesem Zweck verwenden wir die Bilder von hochmodernen Luftbild-Kamerasystemen, die den 3D-Kameras für Hollywood-Filme ähneln. Diese Systeme verfügen über Gruppen von Kameras, die in leicht unterschiedliche Richtungen gerichtet sind, so dass sie Bilder aus verschiedenen Blickwinkeln aufnehmen und die Tiefe genau erfassen können. Sobald wir diese Bilder haben, können wir sie mit Hilfe unserer fortschrittlichen Photogrammetrietechniken über unser 2D-Modell der Welt legen und es in ein 3D-Modell verwandeln.
Vorschau einer Route in der 3D-Ansicht von „Immersive View für Routen“.
So entsteht eine realistische, hilfreiche Route
Sobald wir ein 3D-Modell haben, wollen wir euch zeigen, wie ihr navigieren könnt. Dies ist der Unterschied zwischen Immersive View für Routen und Immersive View für Orte. Eine der größten Herausforderungen bei der Überlagerung der Routenlinie in 3D besteht darin, einen realistischen und hilfreichen Überblick über euren Reiseweg zu schaffen: egal ob es sich dabei um eine Straße, einen Radweg oder einen Gehweg handelt. Wir lösen dieses Problem mit mehreren Techniken.
Wir verwenden viele aufwändige Kamerazooms, -schwenks und -neigungen, um euch sowohl einen Überblick über das Gesamtbild als auch Details auf Straßenebene über eure Route zu zeigen. Wir verwenden eine Technik namens Okklusion, um die blaue Routenlinie zu verbergen, wenn sie hinter Gebäuden, unter Brücken oder um Bäume herum verläuft. Damit all diese dynamischen Bewegungen für euch nicht ruckartig oder störend sind, verwenden wir ein mathematisches Konstrukt namens „B-Spline“-Kurve, um einen reibungslosen Kamerapfad zu erstellen, der eine klare Sicht auf die Route bietet. Durch die Kombination dieser Techniken kann unser System schnell berechnen, was bei jedem Schritt zu sehen sein sollte – und immer einen Pfad erzeugen, der leicht zu verfolgen ist.
Informationen aus Google Maps werden hinzugefügt
Abschließend fügen wir die vertrauten Informationen von Google Maps hinzu – wie Wetter, Luftqualität und Verkehr –, damit ihr euch ein Bild davon machen könnt, wie eure Route aussehen wird, wenn sich die Bedingungen im Laufe des Tages oder der Woche ändern.
Um den aktuellen und zukünftigen Verkehr zu simulieren, arbeiten wir mit dem Google Research-Team zusammen, um vergangene, aggregierte Verkehrstrends zu analysieren. Wenn also bekannt ist, dass eine Straße donnerstags um 17 Uhr aufgrund des hohen Verkehrsaufkommens durch Lieferwagen überlastet ist, werden in Immersive View mehr Lastwagen angezeigt. So bekommt ihr ein Gefühl dafür, was euch auf der Straße wahrscheinlich begegnen wird.
Unsere Modelle können simulieren, wie der Verkehr zu beliebigen Uhrzeiten aussehen könnte – dank aggregierten und anonymisierten Verkehrsdaten.
Alles auf einen Blick
All diese Informationen und das Bildmaterial werden nun zusammengeführt, um euch eure Route auf dem Smartphone zu zeigen. Dabei wird das Rendering auf dem Gerät und in der Cloud in Echtzeit genutzt, so dass ihr euer Ziel direkt sehen könnt. Immersive View für Routen wird demnächst in Amsterdam, Barcelona, Dublin, Florenz, Las Vegas, London, Los Angeles, Miami, New York, Paris, San Francisco, San Jose, Seattle, Tokio und Venedig eingeführt.
