En la era digital actual, el contenido generado por los usuarios está en constante aumento, lo que plantea desafíos en términos de moderación y filtrado de contenido inapropiado, siendo aspectos cruciales para garantizar la integridad y la seguridad de las plataformas en línea. Estos desafíos se presentan muchas veces en la ausencia de ejemplos concretos a moderar dentro del dominio de imágenes contenido en nuestra aplicación, obligándonos -en caso de querer construir un modelo de clasificación propio de aprendizaje automático- a buscar y/o adquirir datasets externos para entrenarlo, lo que no solo dificulta la solución, sino que también la encarece a nivel monetario de forma directamente proporcional a los tipos de escenarios a filtrar.
En este artículo, exploraremos la moderación a través de etiquetas y su probabilidad de ocurrencia mediante el método DetectModerationLabels de Amazon Rekognition, un servicio de análisis de imágenes y vídeo de AWS basado en aprendizaje automático.
¿Qué son las etiquetas de moderación?
Las etiquetas de moderación son categorías o clasificaciones que se aplican a un contenido multimedia para identificar aspectos que pueden requerir moderación. Estas etiquetas proporcionan información sobre el contenido que podría ser inapropiado o que podría violar las pautas o políticas establecidas por una plataforma o servicio en línea. Algunos ejemplos comunes de etiquetas de moderación incluyen «Desnudez», «Violencia», «Drogas» o «Contenido sexualmente explícito».
El método DetectModerationLabels
AWS Rekognition ofrece una API sencilla de utilizar que permite a los desarrolladores integrar capacidades de reconocimiento de imágenes y videos en sus aplicaciones y servicios. El método DetectModerationLabels es una de las funciones clave proporcionadas por Rekognition para la detección de contenido ofensivo o inapropiado.
Este método utiliza algoritmos de aprendizaje automático y análisis de imágenes avanzado para examinar una imagen o video y generar una lista de etiquetas de moderación asociadas a su contenido. Estas etiquetas proporcionan información sobre el contenido que podría requerir moderación o atención adicional, asociandoles una probabilidad de ocurrencia.
Cada etiqueta asociada al contenido posee una etiqueta padre, la cuál adquirirá la mayor probabilidad de ocurrencia encontrada por las etiquetas de segundo nivel. Esto permite agrupar escenarios a moderar, facilitando la algoritmia, o bien analizar etiquetas puntuales de segundo nivel.
A continuación se muestra un ejemplo de respuesta y las etiquetas de moderación contenidas por el método:
Figura 1: JSON de respuesta al analizar una imagen perteneciente a una campaña de publicidad de ropa interior masculina.
Tabla 1: categorías y etiquetas de moderación abarcadas por el método
Configuración de Amazon Rekognition
Para comenzar a utilizar el servicio, necesitaremos una cuenta de AWS y un usuario con permisos habilitados para hacer uso de esta herramienta. A continuación se muestra un ejemplo de una política simplificada:
Figura 2: JSON con política simplificada para utilizar el método DetectModerationLabels.
Luego de configurado el usuario, y valiéndonos en esta oportunidad del SDK de Python y nuestras credenciales 3, ya nos encontramos en condiciones de probar si la configuración fue correcta mediante un simple script:
Figura 3: script en Python para verificar la correcta conexión a Rekognition.
3 Si bien existen otras formas de autenticarse, utilizaremos las credenciales explícitas por ser una de las más difundidas.
Análisis de contenido de imágenes
Para analizar el contenido de una imagen, bastará con implementar una función que nos permita desglosar las etiquetas y actuar en consecuencia. A continuación se adjunta una función de ejemplo para lograr este objetivo:
Figura 4: función en Python que permite explorar las etiquetas presentes en una imagen.
Umbralización de dominio
Dependiendo del contexto donde se encuentre trabajando nuestra aplicación y del dominio de imágenes que esta posea, existe la posibilidad de obtener falsos positivos como puede observarse en el siguiente ejemplo analizado con la función implementada anteriormente:
Figura 5: imagen obtenida mediante IA emulando la portada de un libro de contenido bélico.
Al trabajar con libros, prendas de vestir estampadas o -incluso- videojuegos, es menester acotar nuestro máximo umbral de tolerancia ante ciertas etiquetas, tomando como estimador la mayor de las cotas obtenidas luego de haber analizado exhaustivamente las categorías que consideremos conflictivas, obligándonos a semaforizar la toma de decisiones por sobre las imágenes..
Conclusiones
Amazon Rekognition proporciona herramientas potentes para analizar y moderar el contenido de las imágenes de manera efectiva. A través de ejemplos de código, hemos demostrado cómo analizar imágenes, obtener etiquetas de moderación y tomar acciones basadas en los resultados. Utilizar servicios como el mostrado en este artículo puede ayudar a automatizar y simplificar el proceso de moderación de contenido, brindando una experiencia segura, económica y positiva para todos los usuarios.
