Facebook desarrolla y pone a prueba una IA para detectar contenido ofensivo en imágenes y videos de su plataforma

Facebook y su inteligencia artificial detectora de memes

Facebook cuenta con moderadores pero estos no pueden ver todas las imágenes que se publican en una plataforma tan grande, por lo que se pusieron manos a la obra y ya están creando inteligencia artificial para ayudarlos en semejante tarea. En su blog, Facebook describe un sistema llamado Rosetta que utiliza aprendizaje automático para identificar texto en imágenes y videos y luego transcribirlo en algo que sea legible por una maquina. Facebook encuentra muy útil esta herramienta por ejemplo para transcribir el texto en los famosos memes que se multiplican a diario de diferentes formas y con diferentes contenidos que pueden herir muchas veces susceptibilidades.

Obviamente, las herramientas de transcripción de texto no son nada nuevo, pero Facebook enfrenta diferentes desafíos debido al tamaño de su plataforma y la variedad de imágenes que maneja. Se dice que Rosetta ya se encuentra funcionando actualmente extrayendo texto de mil millones de imágenes y videos por día en Facebook e Instagram.

Al momento no está del todo claro qué es lo que está haciendo o hará Facebook con los datos recabados por Rosetta solo sabemos que es útil para funciones básicas como la búsqueda de fotografías y lectores de pantalla para personas con impedimentos visuales tal y como señalan en su publicación del blog que enlazamos más arriba. De igual forma parece que Facebook está empezando a apuntar a objetivos mucho más grandes, como por ejemplo averiguar qué sería interesante incluir en su News Feed y, lo que es más importante, averiguar qué memes son simplemente memes tontos y cuáles están propagando discursos de odio u otros comentarios ofensivos.

Desde la red social informan que la extracción de texto y el aprendizaje automático se utilizan para “identificar automáticamente el contenido que infringe nuestra política de odio y lenguaje” y que lo está haciendo en varios idiomas. Teniendo en cuenta los problemas de moderación de público conocimiento que ya ha tenido la compañía, un sistema que funcione correctamente y pueda marcar automáticamente las imágenes potencialmente problemáticas podría ser una gran ayuda para todos.