Entenda como o Facebook detecta conteúdo nocivo automaticamente

O que você precisa saber

Atualmente, grande parte da moderação de conteúdo do Facebook é feita automaticamente pelos sistemas de aprendizado de máquina da empresa, reduzindo a quantidade de material que seus moderadores humanos precisam revisar. 

Em um documento que aponta a aplicação dos padrões de comunidade, publicado no início de novembro, o Facebook destaca que 98% dos vídeos e fotos com conteúdo sensível foram removidos antes que alguém tivesse que denunciá-los ou sequer vê-los.

Isso foi possível porque a empresa treina seus sistemas para identificar e rotular objetos em vídeos – do comum como vasos e pessoas – aos perigosos, como armas ou facas. O sistema de inteligência artificial (IA) do Facebook usa duas abordagens principais para procurar conteúdo perigoso. A principal delas usa rede neural que busca características e comportamentos de objetos conhecidos e os rotulam com porcentagens variadas de “confiança”.

Para treinar esse sistema, a empresa usa uma combinação de vídeos previamente identificados por revisores humanos, denúncias de usuários e, em breve, usará imagens fornecidas pela Polícia Metropolitana de Londres. Após a disponibilização do material, a IA usa as informações disponibilizadas para “entender” o que a cena mostra e se contém algum comportamento ou imagem que deve ser sinalizada.

Se o sistema decidir que um arquivo contém imagens ou comportamentos considerados problemáticos, poderá removê-lo automaticamente ou enviá-lo a um revisor humano para que uma análise mais aprofundada seja realizada.

Caso seja comprovado que o conteúdo viola as diretrizes de utilização do Facebook, a rede social cria um hash – uma sequência única de números – para que, toda vez que alguém tentar fazer o upload desse material, ele seja automaticamente bloqueado e excluído.