Em outros países, como a Etiópia, não podem nem ter os padrões comunitários da empresa traduzidos para todos os idiomas oficiais. Classificadores de aprendizado de máquina para poder detectar discursos de ódio e outros danos não estão disponíveis. Não tem parceiros de verificação de fatos e as salas de guerra nunca abrem.
Para uma empresa normal, dificilmente é controverso alocar recursos de forma diferente com base nas condições de mercado. Mas dado o papel fundamental do Facebook no discurso cívico – ele efetivamente substitui a internet em alguns países – as disparidades são motivo de preocupação.
Há anos, ativistas e legisladores de todo o mundo, criticam a empresa pela desigualdade em sua abordagem à moderação de conteúdo. Mas os Facebook Papers oferecem uma visão detalhada de onde o Facebook oferece um padrão de atendimento mais elevado – e onde não.
Entre as disparidades:
O Facebook não tinha classificadores de desinformação em Mianmar, Paquistão e Etiópia, países designados como de maior risco no ano passado.
Também faltaram classificadores de discurso de ódio na Etiópia, que está no meio de um conflito civil sangrento.
Em dezembro de 2020, um esforço para colocar especialistas em idiomas em países teve sucesso apenas em seis dos dez países de “nível um” e em nenhum país de nível dois.
O diretor de política de direitos humanos do Facebook, Miranda Sissons, disse que a alocação de recursos dessa forma reflete as melhores práticas sugeridas pelas Nações Unidas em seus Princípios Orientadores sobre Negócios e Direitos Humanos . Esses princípios exigem que as empresas considerem o impacto de seu trabalho sobre os direitos humanos e trabalhem para mitigar quaisquer problemas com base em sua escala, gravidade e se a empresa pode projetar uma solução eficaz para eles.
Sissons é um ativista de direitos humanos e diplomata de carreira, em 2019 ingressou no Facebook. Esse ano a empresa começou a desenvolver sua abordagem para o que a empresa chama “países em risco”, lugares onde a coesão social está em declínio e onde a rede e os poderes do Facebook amplificação do risco de incitação à violência.
Outros documentos nos Facebook Papers detalham como as novas contas criadas na Índia naquele ano seriam rapidamente expostas a uma onda de discurso de ódio e desinformação se seguissem as recomendações do Facebook. ( O New York Times detalhou essa pesquisa no sábado). E mesmo em casa nos Estados Unidos, onde o Facebook investe mais em moderação de conteúdo, os documentos refletem o grau onde os funcionários foram oprimidos pela enxurrada de desinformação na plataforma que levou ao ataque ao Capitólio de 6 de janeiro.
O Facebook pode conduzir operações sofisticadas de inteligência quando quiser mostram os documentos. Um estudo de caso não datado sobre “redes de dano adversário na Índia” examinou o Rashtriya Swayamsevak Sangh, ou RSS – uma organização paramilitar nacionalista e anti-muçulmana, e seu uso de grupos e páginas para espalhar conteúdo inflamatório e enganoso.
A investigação descobriu que um único usuário no RSS gerou mais de 30 milhões de visualizações. Mas a investigação observou que, em grande medida, o Facebook está voando às cegas: “Nossa falta de classificadores em hindi e bengali significa que muito desse conteúdo nunca é sinalizado ou acionado”.
Uma solução poderia ser penalizar as contas RSS. Mas os laços do grupo com o governo nacionalista da Índia tornavam essa proposta delicada. “Ainda temos que propor uma indicação para designar este grupo devido às sensibilidades políticas”, disseram os autores.
O Facebook provavelmente gasta mais em esforços de integridade do que qualquer um de seus pares, embora também seja a maior das redes sociais. Sissons me disse que, idealmente, os padrões da comunidade da empresa e os recursos de moderação de conteúdo de IA seriam traduzidos para os idiomas de todos os países onde o Facebook está operando. Mas mesmo as Nações Unidas suportam apenas seis idiomas oficiais; O Facebook tem falantes nativos moderando postagens em mais de 70.
Mesmo em países onde as camadas do Facebook parecem limitar seus investimentos, disse Sissons, os sistemas da empresa regularmente examinam o mundo em busca de instabilidade política ou outros riscos de escalada de violência para que a empresa possa se adaptar. Alguns projetos, como o treinamento de novos classificadores de discurso de ódio, são caros e levam muitos meses. Mas outras intervenções podem ser implementadas mais rapidamente.
Os documentos analisados pelo The Verge mostram como as pressões de custo parecem afetar a abordagem da empresa para o policiamento da plataforma.
Em uma nota de maio de 2019 intitulada “Maximizing the Value of Human Review”, o Facebook anunciou que criaria novos obstáculos para os usuários que relatassem discurso de ódio na esperança de reduzir a carga sobre seus moderadores de conteúdo. Ele disse que fecharia automaticamente os relatórios sem resolvê-los nos casos em que poucas pessoas tivessem visto a postagem ou o problema relatado não fosse grave.
O autor da nota disse que 75% do tempo, os revisores descobriram que as denúncias de discurso de ódio não violam os padrões da comunidade e que o tempo dos revisores seria mais bem gasto de forma proativa procurando violações piores.
Havia também preocupações com as despesas. “Estamos claramente ultrapassando nosso orçamento de revisão [de moderação de conteúdo de terceiros] devido ao trabalho de aplicação antecipada e teremos que reduzir a capacidade (através de melhorias de eficiência e desgaste natural de representação) para cumprir o orçamento”, escreveu o autor. “Isso exigirá reduções reais na capacidade do visualizador até o final do ano, forçando compensações.”
Os funcionários descobriram que seus recursos eram limitados nos países de alto risco identificados pelo sistema.
“Essas não são escolhas fáceis de fazer”, observa a introdução de uma nota intitulada “Gerenciando de forma sustentável o discurso hostil em países em risco”.
“Apoiar os ARCs também tem um alto custo para a equipe em termos de resposta a crises. Nos últimos meses, fomos chamados para um tiroteio para as eleições na Índia, confrontos violentos em Bangladesh e protestos no Paquistão”.
Na nota diz que depois que um país é designado como “prioridade”, normalmente leva um ano para construir classificadores para discurso de ódio e para melhorar a aplicação. Mas nem tudo passa a ser uma prioridade, e as compensações são realmente difíceis.
“Devemos priorizar a construção de classificadores para países com violência contínua… em vez de violência temporária”, diz a nota. “Para o último caso, devemos confiar em ferramentas de resposta rápida.”
Apos revisar centenas de documentos e entrevistar funcionários atuais e antigos do Facebook sobre eles, fica claro que uma grande contingente de trabalhadores na empresa está tentando diligentemente controlar os piores abusos da plataforma, utilizando uma variedade de sistemas que são estonteantes em seu escopo, escala e sofisticação. Está claro que eles estão enfrentando pressões externas sobre as quais não têm controle, como o crescente autoritarismo de direita dos Estados Unidos e da Índia não começou na plataforma, e o poder de figuras individuais como Donald Trump e Narendra Modi para promover a violência e a instabilidade não deve ser subestimada.
é difícil não se maravilhar mais uma vez com o tamanho do Facebook; complexidade é incrível de entender como funciona, mesmo para as pessoas encarregadas de operá-lo; a natureza opaca de sistemas como o “fluxo de trabalho” de seus países em risco; e a falta de responsabilidade nos casos em que, como em Mianmar, tudo saiu violentamente do controle.
Alguns dos documentos mais fascinantes nos jornais do Facebook também são os mais mundanos: casos em que um funcionário ou outro se pergunta em voz alta o que poderia acontecer se o Facebook mudasse essa entrada para aquela ou reduzisse esse dano às custas dessa métrica de crescimento. Outras vezes, os documentos os encontram lutando para explicar porque o algoritmo mostra mais “conteúdo cívico” para homens do que mulheres ou por que um bug permitiu que algum grupo incitador de violência no Sri Lanka adicionasse automaticamente meio milhão de pessoas a um grupo , sem seu consentimento, durante um período de três dias.
Nos documentos, os tópicos de comentários se acumulam enquanto todos coçam a cabeça. Os funcionários pedem demissão e os vazam para a imprensa. A equipe de comunicação analisa as descobertas e escreve uma postagem sombria no “blog”, afirmando haver mais trabalho a fazer.
