La Beauty Tech Data Platform di L’Oréal - una Data story di Terabytes e serverless

L'Oréal è nata dalla scienza. Da oltre 100 anni, plasmiamo il futuro del mercato beauty e portiamo la sua eterna ricerca verso nuovi orizzonti. Questo ci ha permesso di conquistare l'attuale posizione di leader mondiale incontrastato del beauty (~ 32 miliardi di euro di fatturato annuo nel 2021), con una presenza in 150 paesi e un organico di oltre 85.000 dipendenti.

Oggi, con la forza della nostra scienza rivoluzionaria, potenziata da tecnologie all'avanguardia, continuiamo il nostro viaggio per disegnare il futuro del beauty.

In qualità di azienda Beauty Tech, puntiamo sulla nostra esperienza decennale e sugli importanti asset di dati che consentono di potenziare il nostro processo decisionale con analisi istantanee e sofisticate.

Operando con marchi globali, che devono adattarsi a esigenze locali, è necessario conservare una profonda comprensione di ciò che i dati di un brand rappresentano, garantendo al contempo la gestione di differenti requisiti legali e normativi di diversi paesi. Il nostro obiettivo finale è quello di gestire un data warehouse sicuro, compliant e sostenibile nel modo più efficiente ed efficace possibile.

Sincronizziamo e aggreghiamo dati interni ed esterni provenienti da un'ampia varietà di fonti attraverso organizzazioni e negozi al dettaglio. Questo ha reso la gestione della nostra infrastruttura di data warehouse molto complessa, prima dell'avvento di Google Cloud. L'impronta di L'Oréal era talmente vasta da rendere impossibile disporre di un metodo standardizzato per gestire i dati. Ogni processo era legato al fornitore e l'infrastruttura era quindi vulnerabile. Abbiamo cercato una soluzione alle nostre complesse esigenze di infrastruttura di dati e abbiamo definito i seguenti criteri non negoziabili:

• No Ops: Il lavoro di un developer in L'Oreal non è quello di gestire i server. Abbiamo la necessità di un'infrastruttura flessibile e scalabile on demand, in modo da permettere ai nostri developer di concentrarsi sull'offerta di esperienze beauty personalizzate e inclusive per tutti i consumatori e non sulla gestione dei server.
• Sicuro: Abbiamo requisiti di sicurezza e conformità severi (che variano a seconda del paese) e ci atteniamo a una strategia di sicurezza "zero trust". Dobbiamo mantenere i dati interni e dei clienti sicuri e criptati.
• Sostenibile: I nostri dati provengono da più ambienti, compresi data center e cloud pubblici. È necessario poter accedere e analizzare questi dati in modo sicuro, evitando le complessità e gli impatti ambientali legati allo spostamento e alla duplicazione degli stessi.
• Supervisione end-to-end: Poiché i nostri developer non gestiscono i server, abbiamo la necessità di accedere a una dashboard "single pane of glass" che ci supporti nel monitoraggio e nell’organizzazione del sistema qualora insorgessero complicazioni.
• Easy to deploy: Implementare il codice in modo sicuro non dovrebbe compromettere la produttività. Sviluppiamo costantemente innovazioni che estendono i confini della scienza e reinventano i rituali di bellezza. Abbiamo necessità di strumenti integrati che rendano il nostro processo di distribuzione del codice lineare e sicuro.
• Architettura event-driven: I nostri dati sono impiegati a livello globale dai team di ricerca, prodotto, business e ingegneria con elevate aspettative in termini di qualità e disponibilità dei dati stessi. Molti dei nostri processi e analisi interni si servono di dati quasi in real-time.
• Prodotti di dati "as a service": Desideriamo dare la possibilità ai nostri dipendenti di generare valore per il business a velocità record. A tal fine, necessitiamo di soluzioni che ci permettano di sollevare il più possibile i developer dalle criticità legate alla consegna.
• Extract-load-transform (ELT): il nostro obiettivo è implementare il pattern per il caricamento dei dati nel data warehouse in tempi brevi per beneficiare delle trasformazioni SQL.

Dopo aver considerato molteplici fornitori presenti sul mercato e tenendo conto dei criteri esposti, abbiamo optato per l’end-to-end serverless e gli strumenti per la gestione dei dati di Google Cloud. Utilizzavamo già Google Cloud per alcuni processi, per esempio BigQuery, e abbiamo veramente apprezzato il servizio.

Ora abbiamo ampliato il nostro utilizzo di Google Cloud, per supportare completamente la L’Oréal Beauty Tech Data Platform.

L'Oreal Beauty Tech Data Platform integra dati provenienti da due tipi di fonti: diretti tramite API, ovvero dati che si adattano facilmente al nostro modello e vengono inseriti direttamente in BigQuery, e dati in blocco provenienti da integrazioni che richiedono trasformazioni event-driven che utilizzano meccanismi Eventarc. Tali trasformazioni vengono eseguite in Cloud Run, e Cloud Functions (2nd gen) o direttamente in SQL. Con Google Cloud riusciamo ad adattarci molto rapidamente.

Attualmente, disponiamo di 8.500 flussi per circa 5.000 utenti, utilizzando le funzionalità native Zero Trust offerte da Google Cloud Platform. I flussi provengono da GCP e da servizi di terze parti.

BigQuery ci ha consentito di adottare SQL standard come linguaggio universale nel nostro data warehouse e di soddisfare tutte le aspettative per le query e il reporting. Siamo riusciti anche a caricare i dati originali usando caratteristiche come le query aggregate e a migrare in modo efficiente da ETL al caricamento dei dati ELT gestendo i dati semi-strutturati con SQL. Questo approccio con caricamento dei dati originali dalle fonti in BigQuery con trasformazioni non distruttive, ci permette di rielaborare i dati per nuovi casi d'uso in modo semplice, direttamente in BigQuery.

Le nostre applicazioni sono collocate in più ambienti - on premise, in Google Cloud e in altri cloud pubblici. Ciò rendeva l’analisi nativa dei dati tra i cloud molto complessa per i nostri data engineer e analisti, fino a quando non abbiamo introdotto BigQuery Omni. Questa funzionalità di BigQuery ci ha consentito di accedere ed analizzare i dati tra i cloud a livello globale grazie ad un unico pannello di controllo nell' interfaccia utente nativa di BigQuery. In assenza di BigQuery Omni, sarebbe stato impossibile per i nostri team condurre analisi cross-cloud in modo nativo. Inoltre, questo ci ha permesso di eliminare la necessità di spostare i dati sensibili, un'operazione costosa, a causa delle tasse locali e del trasporto sottomarino, ma anche molto rischiosa - talvolta persino vietata - dalle normative locali.

Oggi Google Cloud alimenta la nostra Beauty Tech Data Platform che immagazzina 100TB di dati di produzione in BigQuery ed elabora 20TB di dati ogni mese. Disponiamo di oltre 8.000 dataset gestiti, 2 milioni di piattaforme BigQuery provenienti da diverse fonti di dati come Salesforce, SAP, Microsoft e Google Ads.

Quando si tratta di trasformazioni più complesse in cui sono previste dogane e librerie specifiche, Cloud Workflows ci aiuta a gestire le complessità in modo molto efficiente, orchestrando i passaggi in container attraverso Cloud Run, Cloud Functions e anche processi in BigQuery - il metodo maggiormente utilizzato per trasformare e creare valore per dati di L'Oréal.

Inoltre, utilizzando BigQuery e il calcolo Serverless per la generazione di API di Google Cloud, il caricamento di dati in blocco e le trasformazioni post-loading, è possibile mantenere l'intero sistema entro un unico perimetro sicuro e a un prezzo ridotto. Con l'ingest, le query e le trasformazioni flessibili e on-demand, non siamo più vincolati alla capacità di pianificazione dei componenti di calcolo o di analisi del sistema. E naturalmente, il modello pay-as-you-go di questi servizi si adatta perfettamente alla strategia di L'Oréal di pagare unicamente nel momento in cui si usufruisce di un servizio.

Google Cloud ha soddisfatto tutti i requisiti della nostra Beauty Tech Data Platform. Inoltre, offrendoci una piattaforma no-ops, sicura, semplice da implementare, con personalizzazione gratuita, event-based e con una supervisione end-to-end, Google Cloud ci supporta anche nei nostri impegni di sostenibilità.

La capacità di misurare e analizzare l'impronta ambientale del nostro utilizzo del Public Cloud è uno dei principi cardine della nostra roadmap per una tecnologia sostenibile. Con Google Cloud Carbon Footprint, siamo ora in grado di osservare l’impatto del nostro approccio all'infrastruttura e dei nostri criteri di architettura sostenibile. La nostra Beauty Tech Platform è un'ambizione strategica per L'Oréal: ideare i prodotti di bellezza del futuro e diventare l'azienda del futuro.

La tecnologia sostenibile è un imperativo e un passo molto importante verso l’ambizione di creare una bellezza responsabile per i nostri consumatori e servizi tecnologici sostenibili per i nostri dipendenti. Tutti noi abbiamo un ruolo da svolgere, e unendo le forze possiamo avere un impatto positivo.

L'ecosistema di dati e gli strumenti serverless di Google Cloud sono altamente complementari e hanno reso possibile costruire una piattaforma di analisi dei dati di nuova generazione che soddisfa tutte le nostre esigenze.

Inizia oggi ad utilizzare Serverless e BigQuery con Google Cloud.