Vă prezentăm Gemini Omni
Anul trecut, Nano Banana a adus inteligența Gemini în domeniul generării și editării de imagini. De atunci, a ajutat milioane de oameni să restaureze fotografii vechi, să creeze designuri pornind de la schițe și să vizualizeze idei în moduri care nu erau posibile anterior. Am construit Gemini de la bun început pentru a fi nativ multimodal, iar acum facem următorul pas.
Vă prezentăm Gemini Omni , unde capacitatea de raționament a Gemini se îmbină cu cea de creație. Omni este noul nostru model capabil să creeze orice pornind de la orice tip de input — începând cu videoclipurile. Cu Omni, puteți combina imagini, conținut audio, video și text pentru a genera videoclipuri de înaltă calitate, bazate pe cunoștințele Gemini despre lumea reală. De asemenea, puteți edita cu ușurință videoclipurile prin intermediul conversației.
Astăzi lansăm primul model din familia Omni – Gemini Omni Flash – în aplicația Gemini, Google Flow și YouTube Shorts. În timp, vom oferi suport și pentru modalități de output precum imagini și audio. Iată câteva dintre aspectele care fac Omni special:
Editează-ți videoclipurile prin conversație
Gemini Omni îți oferă o modalitate mai simplă de a edita videoclipuri — folosind limbajul natural. Fiecare instrucțiune se bazează pe cea anterioară. Personajele își păstrează consistența, legile fizicii sunt respectate, iar scena reține elementele anterioare.
Transformă lumea din jurul tău. Modifică anumite aspecte sau schimbă totul. Videoclipul tău devine punctul de plecare pentru ceva ce nu ai fi putut filma niciodată pe cont propriu.
Cerință: Realizează sculptura din bule.
Reimaginează acțiunea. Ia un videoclip pe care l-ai filmat și cere-i pur și simplu lui Omni să schimbe ceea ce se întâmplă. Modifică acțiunea, adaugă personaje sau obiecte noi ori transformă un moment în ceva neașteptat.
Cerință: Atunci când persoana atinge oglinda, fă ca suprafața acesteia să creeze unde frumoase, asemenea unui lichid, iar brațul persoanei să se transforme într-un material reflectorizant, precum cel al oglinzii.
Redu intensitatea luminii din încăpere. Plasează o cameră cu podea în carouri alb-negru în interiorul unei sfere de sticlă care plutește deasupra mâinii, urmărindu-i mișcarea; în interiorul sferei se află o reprezentare recursivă a aceleiași mâini care ține sfera, creând astfel o recursivitate infinită de încăperi. Camera se apropie lent de sferă, generând o buclă video.
Luminile din apartamente încep să se aprindă în sincron cu muzica.
Rafinează-ți videoclipurile prin iterații succesive. Modifică mediul, unghiul, stilul sau chiar detalii specifice, fără a pierde vreodată firul scenei originale. Parcurge caruselul pentru a vedea cum modificările se dezvoltă unele pe baza celorlalte.
Solicitare: Un videoclip cu un violonist care cântă o piesă.
Solicitare: Plasează violonistul în cadrul imaginii.
Cerință: Fă vioara invizibilă.
Indiciu: Schimbă unghiul camerei astfel încât să fie deasupra umărului violonistului.
Transformă ideile în realitate, bazându-te pe cunoștințele globale ale Gemini.
Gemini Omni nu doar creează scene cu aspect realist, ci și raționează cu privire la ceea ce ar trebui să urmeze. Acesta îmbină o înțelegere intuitivă a legilor fizicii cu cunoștințele Gemini despre istorie, știință și context cultural, făcând trecerea de la fotorealism la o narațiune plină de semnificație.
Creează elemente vizuale cu o fizică mai precisă. Omni dispune de o înțelegere intuitivă îmbunătățită a unor forțe precum gravitația, energia cinetică și dinamica fluidelor, permițându-ți să creezi scene mai realiste.
Prompt: O bilă care se rostogolește rapid pe un traseu de tip „reacție în lanț”, cadru continuu și fluid.
Îmbină cunoașterea și creativitatea. Omni valorifică baza de cunoștințe a Gemini pentru a conecta limbajul, imaginile și semnificația în moduri care depășesc cu mult simpla identificare a tiparelor.
Videoclipul prezintă elemente asociate literelor alfabetului. Pentru fiecare literă, pe o masă este afișat un obiect neobișnuit care începe cu acea literă (de exemplu, o capibară pentru C, un glob disco pentru D și o lampă cu lavă pentru L). Toate cele 26 de litere trebuie reprezentate prin 26 de obiecte, însoțite de elemente grafice suprapuse (lower thirds) care afișează litera respectivă. Se afișează un singur obiect și o singură literă simultan. Fiecare element grafic trebuie să arate ca un text scris cu marker negru pe o bucată de hârtie, poziționată în colțul din stânga jos. Succesiunea este rapidă, aproximativ 9 cadre per obiect la o rată de 24 FPS. Ultimul cadru constă într-o bucată de hârtie pe care scrie „THE END”. Întregul videoclip este însoțit de o muzică calmă și relaxantă.
Idei complexe transpuse vizual. Omni poate crea materiale explicative captivante pornind de la instrucțiuni succinte, generând elemente vizuale care explică pe înțelesul tuturor ideile complexe.
Solicitare: animație din plastilină care explică plierea proteinelor; totul este realizat din plastilină; fără mâini vizibile; tehnică stop-motion; acuratețe științifică.
Creează videoclipuri din orice combinație de surse de intrare.
Folosește orice ca referință. Omni transformă orice referință — imagine, text, video sau audio — într-un rezultat unitar și coerent. Deși inițial vor fi acceptate doar referințe vocale pentru partea audio, în curând vom introduce și alte tipuri de input audio.
Prompt: Videoclip dinamic în stilul filmelor SF, bazat pe image_0.png. Elementele se aprind similar cu video_0.mp4, sincronizate cu ritmul muzicii din audio_0.wav.
Prompt: Pornind de la mișcarea extremă a camerei, perspectivă și distorsiune din video-0, creează o secvență de mers (corp întreg, vedere frontală) a personajului din imagine-0, alternând rapid între diverse stiluri vizuale pe parcursul mișcării, începând cu stilul cinematografic realist. Păstrează mediul înconjurător, schimbând doar stilul vizual. Utilizează tăieri bruște (hard cuts) între fundaluri, păstrând întotdeauna cerul în centrul cadrului. Asigură un mers continuu, sunet continuu și schimbări de stil perfect sincronizate cu ritmul audio. Aspect cinematografic, format 16:9.
Cerință: Adaugă sunete de harpă sincronizate cu momentul în care ating fiecare frunză de ferigă. Modifică structura frunzelor astfel încât toate să semene cu plante 3D bioluminescente și semitransparente, înconjurate de licurici bioluminescenți care reacționează pe măsură ce cânt, în sincron cu sunetele; include iluminare dinamică cu efect subtil de profunzime a câmpului (bokeh), care se reflectă pe pereții încăperii, păstrând neschimbată structura camerei.
Pornește de la ceea ce ai. Folosind referințe, poți utiliza imagini cu personaje, scene sau desene pentru a crea într-un mod care corespunde viziunii tale.
Prompt: Imaginează-ți cum lumea se transformă treptat într-un stil retro-futurist (cu granulație și o atmosferă specifică, precum în imaginea 1) pe măsură ce merg. Folosește pista audio pentru o muzică de fundal retro-futuristă. 10 secunde.
Cerință: transformă acest lucru într-o înregistrare realistă, folosind desenul doar ca ghid pentru mișcare; nu afișa desenul în videoclipul final.
Prompt: Aplică postura și mișcarea din videoclipul sursă personajului din această imagine. Aplică stilul din imaginea de referință noului videoclip.
Aplică stiluri, mișcări sau efecte. Definește limbajul vizual folosind referințe sau pur și simplu descrie-l în limbaj natural. Omni îmbină referințele pentru a crea un clip unitar.
Cerință: modifică acest element păstrând totul neschimbat. Adaugă efecte de mișcare animate care pornesc de la skateboard.
Instrucțiune: Aplică mișcarea balenei din videoclipul furnizat asupra imaginii cu material fluid și reflectorizant. Nu afișa balena sau apa; în schimb, fă ca acest material reflectorizant în mișcare să ia o formă care amintește de balena care înoată. Înlocuiește apa cu forme din material alb și neted, aflate în mișcare.
Creează videoclipuri cu propriul tău avatar digital
Ne angajăm să dezvoltăm inteligența artificială în mod responsabil și avem politici clare pentru a proteja utilizatorii de eventuale riscuri și pentru a reglementa utilizarea instrumentelor noastre bazate pe IA. Pentru început, puteți crea videoclipuri folosind propria voce prin intermediul avatarurilor ; acestea generează o versiune digitală a dumneavoastră, permițându-vă să creați videoclipuri în care aspectul și vocea vă sunt redate fidel. Dincolo de funcția de avatar, în ceea ce privește editarea videoclipurilor pentru modificarea sunetului și a vorbirii, continuăm să testăm și să analizăm modul în care putem oferi această funcționalitate utilizatorilor în mod responsabil.
Toate videoclipurile create cu Omni includ filigranul nostru digital imperceptibil SynthID . Poți verifica cu ușurință dacă videoclipurile au fost generate cu Gemini Omni prin intermediul aplicației Gemini, al funcției Gemini din Chrome și al Căutării Google. Poți afla mai multe despre modul în care extindem instrumentele de transparență și verificare a conținutului – pentru a te ajuta să înțelegi cum a fost creat și editat conținutul pe web – consultând articolul nostru de pe blog .
Încearcă Gemini Omni acum
Astăzi lansăm primul model din familia Omni — Gemini Omni Flash. Gemini Omni Flash este disponibil începând de astăzi pentru toți abonații Google AI Plus, Pro și Ultra din întreaga lume, prin intermediul aplicației Gemini și al Google Flow . De asemenea, acesta va fi disponibil gratuit utilizatorilor YouTube Shorts și ai aplicației YouTube Create, începând din această săptămână.
În săptămânile următoare, îl vom pune la dispoziția dezvoltatorilor și a clienților din segmentul enterprise prin intermediul API-urilor.
