Quando i computer imparano a riconoscere gli insulti: l'uso del machine learning per migliorare le conversazioni online
Immaginate di avere una conversazione con un vostro amico su una notizia che avete letto questa mattina, ma ogni volta che dite qualcosa qualcuno vi urla in faccia, vi insulta o vi accusa di un terribile crimine. Se così fosse, probabilmente mettereste fine alla conversazione. Sfortunatamente, questo avviene sempre più frequentemente online, quando la gente cerca di esprimere le proprie opinioni sul suo sito di informazione preferito e viene invece attaccata con commenti offensivi.
Il 72% degli utenti internet americani è stato testimone di episodi di questo tipo e almeno la metà di loro ha avuto un’esperienza diretta. Almeno un terzo di loro si autocensura per paura delle reazioni. Pensiamo che la tecnologia possa aiutare a risolvere questo fenomeno.
Oggi Google e Jigsaw lanciano Perspective, una tecnologia ancora in fase sperimentale che usa il machine learning per identificare i commenti offensivi. Attraverso una API (un’interfaccia di programmazione) gli editori – inclusi i membri della Digital News Initiative - e le piattaforme possono avere accesso a questa tecnologia e utilizzarla per i propri siti.
Come funziona
Perspective rivede i commenti e assegna loro un punteggio basato su quanto siano simili a commenti che gli utenti hanno indicato come “tossici” o tali da spingere le persone ad abbandonare la conversazione. Per imparare a identificare un linguaggio potenzialmente ingiurioso, Perspective ha esaminato decine di migliaia di commenti che sono stati etichettati manualmente da revisori umani. Ogni volta che Perspective trova nuovi esempi di commenti potenzialmente offensivi, o la sua valutazione viene corretta dagli utenti, migliora la capacità di valutare i commenti in futuro.
Gli editori possono scegliere cosa fare con le informazioni che ottengono da Perspective. Ad esempio, un editore potrebbe decidere di segnalare i commenti ai propri moderatori in modo che questi li rivedano e decidano se includerli o meno in una conversazione. Oppure, l’editore potrebbe utilizzare questo strumento per aiutare le persone della sua community a capire l’impatto di quanto stanno scrivendo, ad esempio permettendo agli utenti che commentano di vedere il potenziale di “tossicità” dei propri commenti mentre li stanno scrivendo. Ancora, gli editori potrebbero anche solo permettere ai lettori di ordinare i commenti in base a quanto sono offensivi, facilitando così l’individuazione di conversazioni interessanti nascoste in mezzo a quelle offensive.
Abbiamo testato una versione di questa tecnologia con il New York Times, dove c’è un team che controlla e modera ogni commento prima che venga pubblicato, revisionando oltre 11mila commenti ogni giorno. Sono davvero moltissimi commenti, troppi per essere letti da un solo team. E infatti il Times offre la possibilità di commentare solo sul 10% circa dei propri articoli. Abbiamo lavorato insieme per educare dei modelli che consentano ai moderatori del Times di selezionare i commenti più velocemente e speriamo che questo possa aumentare il numero di articoli commentabili.
Il futuro
Perspective si aggiunge alla libreria Open Source di TensorFlow e alla Google Cloud Machine Learning Platform come una ulteriore risorsa di machine learning che Google rende disponibile per gli sviluppatori. Questa tecnologia è ancora in fase di apprendimento, ma proprio questo rende il machine learning unico: anche se i modelli sono complessi, continueranno a migliorare nel tempo. Quando Perspective comincerà ad essere usato da un editore, sarà esposto a un maggior numero di commenti, sviluppando così una migliore comprensione di cosa rende certi commenti offensivi.
Mentre miglioriamo la tecnologia, stiamo anche lavorando per ampliarla. Il nostro primo modello è pensato per identificare il linguaggio offensivo, ma nel corso del prossimo anno ci piacerebbe avviare nuove collaborazioni per offrire modelli che funzionino anche in lingue diverse dall’inglese e che siano capaci di identificare commenti che siano attacchi personali oppure fuori tema.
Perspective offre agli editori uno strumento per ospitare discussioni inclusive fra gli utenti; nel lungo periodo, potrà fare di più che migliorare i commenti. Speriamo di poter dare il nostro contributo per rendere possibili conversazioni online migliori.
