Maak kennis met Gemini Omni
Vorig jaar brachten we met Nano Banana de intelligentie van Gemini naar beeldgeneratie en -bewerking. Sindsdien hebben miljoenen mensen hiermee oude foto’s hersteld, schetsen omgezet in ontwerpen en ideeën kunnen visualiseren op manieren die daarvoor onmogelijk waren. We hebben Gemini vanaf dag één en vanuit de basis multimodaal ontwikkeld, en nu zetten we hierin de volgende stap.
Vandaag introduceren we Gemini Omni, waarin de mogelijkheid van Gemini om te redeneren samenkomt met de mogelijkheid om te maken. Met Omni kun je afbeeldingen, audio, video en tekst als invoer combineren en video’s van hoge kwaliteit genereren, gebaseerd op wat Gemini weet van de echte wereld. Bovendien kun je je video’s makkelijk bewerken door met Gemini te praten.
Vanaf nu rollen we het eerste Omni-model, Gemini Omni Flash, uit naar de Gemini-app, Google Flow en YouTube Shorts. De komende maanden ondersteunen we uitvoermodaliteiten zoals beeld en audio. Hieronder vind je meer informatie over wat Omni zo bijzonder maakt.
Bewerk je video’s via een gesprek
Omni biedt een makkelijkere manier om video’s te bewerken, namelijk door middel van natuurlijke taal. Elke instructie bouwt voort op de vorige. Je personages blijven consistent, de fysieke aspecten blijven behouden en de scène onthoudt wat er daarvoor gebeurde.
Transformeer de wereld om je heen. Pas bepaalde dingen aan, of alles. Je video wordt het begin van iets dat je zelf nooit had kunnen filmen.
Prompt: Make the sculpture out of bubbles.
Bedenk compleet nieuwe acties. Kies een video die je gemaakt hebt en vraag Omni gewoon om te veranderen wat erin gebeurt. Bewerk de actie, voeg nieuwe personages of objecten toe of transformeer een moment naar iets onverwachts.
Prompt: When the person touches the mirror, make the mirror ripple beautifully like liquid, and the person's arm turns into reflective mirror material.
Prompt: Dim the lights in the room. Put a black and white checkerboard room inside a glass sphere that floats tracking above the hand, inside it contains a recursive representation of the same hand holding the sphere, creating an infinite recursive of rooms. Camera slowly gets closer into the sphere, creating a video loop.
Prompt: The lights of the apartments start turning on in sync with the music.
Verfijn je video’s in meerdere stappen. Pas de omgeving, de hoek, de stijl of zelfs specifieke details aan zonder dat je de draad van je originele scène kwijtraakt.
A video of a violinist playing a song.
Prompt: Transport the violinist to the image environment
Prompt: Change the camera angle to be over the violinist’s shoulder.
Breng ideeën tot leven, gebaseerd op wat Gemini weet over de wereld
Omni maakt niet alleen scènes die er levensecht uitzien, het redeneert ook over wat er vervolgens zou kunnen gebeuren. Het combineert een intuïtief begrip van natuurkundige aspecten met de kennis die Gemini heeft over geschiedenis, wetenschap en culturele context. Daarmee slaat Omni een brug tussen fotorealisme en zinvolle verhalen vertellen.
Maak visuals met een grotere natuurkundige nauwkeurigheid. Omni heeft een beter intuïtief begrip van natuurkundige aspecten zoals zwaartekracht, kinetische energie en vloeistofmechanica om nog realistischere scènes te maken.
Prompt: A marble rolling fast on a chain reaction style track, continuous smooth shot.
Combineer kennis en creativiteit. Omni is in staat om wat Gemini weet over taal, afbeeldingen en betekenis toe te passen, en gaat hierin veel verder dan het herkennen van patroonovereenkomsten.
Prompt: The video shows items of the alphabet. An unusual item starting with each letter is shown sitting on a table (like a Capybara for C, disco globe for D and Lava Lamp for L). All 26 letters must be represented by 26 items with matching lower thirds displaying the letter. Only one item and lower third at a time. Each lower third must look like a black marker written on a slip of paper in the bottom left. Rapid fire, roughly 9 frames per item at 24FPS. Last frame is a slip of paper "THE END". The whole video is accompanied by calm smooth music.
Complexe ideeën gevisualiseerd. Omni kan overtuigende uitlegvideo’s maken van korte prompts door visuals te genereren waarin complexere concepten worden uitgesplitst.
Prompt: claymation explainer of protein folding, everything is made out of clay, no hands, stop motion, accurate
Maak video’s van elke combinatie van invoer
Gebruik elk soort referentiemateriaal. Omni maakt van elk referentiemateriaal eenduidige, samenhangende uitvoer, of je nu afbeeldingen, tekst, video of audio invoert. Momenteel wordt alleen stemgeluid als audiomateriaal ondersteund, maar binnenkort rollen we ook andere typen audio uit.
Prompt: Dynamic sci-fi film style video based on image_0.png. Elements light up similar to video_0.mp4 synchronized to the beat of the music from audio_0.wav
Prompt: Referring to the extreme camera movement, perspective, and distortion in video-0, create a front-facing full-body walk cycle of the character from image-0, quickly style-shifting into multiple visual styles during the walk cycle, starting from realistic cinema. Keep the environment, only change styles. Hard cut backgrounds always centering the sky. Continuous walking, continuous audio, and style shifts in perfect sync to the beat of the audio. Cinematic, 16:9.
Prompt: Add harp sounds synchronized to when I touch each fern leaf. Change the leaf structure to all resemble semi translucent 3d bioluminescent plant life, with bioluminescent fireflies flying around it that react as I play, in sync with the sounds, subtle bokeh depth of field dynamic lighting, reflecting off the walls in the room, keeping the room structure the same
Begin met wat je hebt. Met referentiemateriaal als invoer kun je afbeeldingen van personages, scènes of tekeningen gebruiken om video’s te maken die aansluiten bij je visie.
Prompt: Imagine the world gradually changing into retro futuristic style (grainy and moody as image-1) as I walk. Use the audio for a retro-futuristic background music. 10s.
Prompt: turn this into realistic footage, using the drawing only as a guide for movement, do not show the drawing in the final video
Prompt: Apply the pose and motion from input video to provided character from this image. Apply style from image reference to the new video
Pas stijlen, beweging en effecten toe. Bepaal de visuele taal die je wilt overbrengen door referentiemateriaal als invoer te gebruiken, of beschrijf wat je wilt in natuurlijke taal. Omni combineert de gegeven referenties om een samenhangend videofragment te maken.
Prompt: edit this keeping everything the same. add animated motion effects coming out of the skateboard
Prompt: Apply the motion of the whale swimming from the provided video to the provided image of fluid reflective material. Do not show the whale or water; instead, have this reflective moving material form a shape that resembles the whale as it swims. Replace water with white smooth material shapes that move
Maak video’s met je eigen digitale avatar
We verwachten dat de mogelijkheid om audio en spraak aan te passen een van de meest voorkomende verzoeken voor videobewerking zal zijn. We werken eraan om deze functie beter te testen en te achterhalen hoe we die op een verantwoorde manier naar gebruikers kunnen uitrollen. Om te beginnen kun je video’s maken met daarin je eigen stem door je eigen AI-avatar te gebruiken. Avatars maken een digitale versie van jezelf, zodat je video’s kan genereren die eruitzien en klinken zoals jij.
Alle video’s die met Omni worden gemaakt, bevatten ons onzichtbare, digitale SynthID-watermerk en C2PA Content Credentials. Via de Gemini-app, Gemini in Chrome en Google Zoeken kun je makkelijk verifiëren dat video’s gemaakt zijn met Gemini Omni. In onze blogpost vind je meer over hoe we onze transparantie over content en verificatietools uitbreiden, zodat je kunt nagaan hoe content op het web is gemaakt en bewerkt.
Probeer Omni vandaag nog
Vanaf vandaag kunnen alle abonnees van Google AI Pro en Ultra wereldwijd Gemini Omni Flash gebruiken via de Gemini-app en Google Flow. Het model wordt vanaf deze week ook kosteloos uitgerold naar gebruikers op YouTube Shorts en de YouTube Create-app.
Verder gaan we het model de komende weken ook via API’s uitrollen naar ontwikkelaars en zakelijke klanten.
