Discriminação algorítmica: saiba o que é

Tecnologia Nov 05, 2021

Certa vez, usuários do Twitter notaram que, ao postar uma foto, o próprio site centralizava o trecho da imagem que reconhecia como importante. Em todos os casos, eram pessoas brancas que tinham seu rosto centralizado, ao passo que as fotos de pessoas negras não eram reconhecidas. Por que isso aconteceu?

Neste texto vamos apresentar o conceito de "algoritmos preconceituosos" e os principais debates que têm sido feitos a respeito.

Navegue pelo conteúdo:

O que é um algoritmo

A palavra algoritmo se popularizou e é utilizada com frequência pelos meios de comunicação. Vamos, então, relembrar o que ela significa.

As estruturas da web, como conhecemos, são compostas por códigos. Esses códigos são escritos em um "idioma" próprio para a máquina, que funciona como uma lista de comandos. Ou seja, ao escrever um código, se estabelece uma sequência de tarefas para que a máquina entenda e execute como o esperado.

Ao ato de pensar logicamente e estipular uma sequência de passos para executar uma tarefa, se dá o nome de lógica de programação. E, para a sequência narrativa desses eventos, se dá o nome de algoritmo. Assim, um algoritmo se comporta da forma com que foi programado para se comportar.

Para ilustrar, podemos pensar em uma receita culinária, em que existem os ingredientes, o passo a passo do modo de preparo e o prato finalizado. Em um algoritmo, essas etapas seriam, respectivamente: os dados de entrada, as instruções lógicas e o resultado final.

O que é discriminação algorítmica

Em situações em que o algoritmo toma decisões excludentes em relação a um gênero ou a uma raça, se diz que este é um caso de discriminação algorítmica.

Um exemplo disso é o caso do Spotify, em que uma pesquisa demonstrou que artistas mulheres são pouco sugeridas pela plataforma. Ou seja, é mais comum que o usuário seja exposto aos artistas do gênero masculino, criando um favorecimento pelo viés do gênero – o que impacta diretamente no gosto e no comportamento do usuário.

No caso do Twitter, mencionado no início do texto, o algoritmo não reconhecia o rosto de pessoas não-brancas nas imagens postadas pelos usuários. Esse fato repercutiu, e o diretor de design do Twitter admitiu o erro e disse que a plataforma faria a reparação.

Em muitos casos, os algoritmos de reconhecimento facial são treinados a partir de bancos de dados enviesados, ou seja, que possuem pouca diversidade dentre as informações que disponibilizam. Caso este processo de aprendizagem do algoritmo tenha sido baseado apenas no rosto de pessoas brancas, o reconhecimento de todos os outros tipos será prejudicado.

"Se os conjuntos de treinamento não são realmente tão diversos, qualquer rosto que se desvie muito da norma estabelecida será mais difícil de detectar", afirmou Joy Buolamwini, cientista de dados. Em seu Ted Talk, sobre o funcionamento do racismo algorítmico, ela conta que "o viés algorítmico, assim como o viés humano, resulta em injustiça. No entanto, algoritmos podem espalhar preconceitos em grande escala em um ritmo rápido."

Além disso, o modo de pensar da sociedade também se expressa através dos algoritmos: em uma sociedade em que o padrão de beleza elege determinados elementos, por exemplo, tudo aquilo que for diferente é classificado como feio e fora do padrão. Esse tipo de input impacta os mecanismos de seleção algorítmica.

Há solução para o algoritmo preconceituoso?

Reconhecer que este é um problema a ser enfrentado pelas empresas é o primeiro passo. Em entrevista ao UOL, a pesquisadora Denise Carvalho apontou que "estamos tratando de meios digitais muito recentes, mas que envolvem um problema que é antigo. A sociedade brasileira, em seu contexto histórico, foi consolidada sobre as bases do racismo, do patriarcado e do classismo. Não podemos deixar isso de lado." Assim, o problema do viés algorítmico, que por vezes discrimina determinados grupos, é reflexo de um problema social, que não será resolvido apenas com mudanças na tecnologia, mas no modo de pensar das pessoas.

Algumas big techs têm pensado em formas de reverter esse cenário. O Pinterest, por exemplo, criou um algoritmo de sugestões de imagens a partir de um banco de dados diverso, para que apresente um funcionamento refinado, capaz de diferenciar, por exemplo, variados tipos de cabelo. Assim, o intuito é que o usuário possa fazer, cada vez mais, pesquisas assertivas, relacionadas a suas características pessoais, sem que a plataforma privilegie apenas um tipo físico. Segundo Annie Ta, líder da equipe de Produtos Inclusivos do Pinterest, existe um compromisso com os grupos sub-representados: “como uma plataforma visual e como um site que acreditamos oferecer refúgio na Internet, é importante pensarmos em como podemos inspirar todas as pessoas, sem discriminação”.

Já o Spotify possui uma iniciativa voltada ao destaque de conteúdos dos grupos sub-representados. Na página inicial da plataforma, é possível encontrar uma seção chamada "Vozes Negras", em que podcasts feitos por comunicadores(as) negros(as) são sugeridos aos usuários.

Esses são alguns passos para a construção de plataformas éticas e diversas.

Conclusão

O algoritmo não está desassociado de seu contexto social, ele foi criado em uma sociedade que possui inúmeros preconceitos e também é alimentado por ela. Assim, esse tipo de falha da tecnologia deve ser sempre apontado e reparado pelas empresas responsáveis, ao passo que o debate sobre diversidade e inclusão também deve avançar.

Este texto compõe uma ação do Comitê de Diversidade da Caiena, criado para que essas discussões tenham sempre espaço e relevância. E se você deseja somar a um time que considera que uma equipe diversa cria soluções melhores e mais criativas, aqui estão nossas vagas.

Marta Barbieri

Cientista Social e Assistente de Comunicação na Caiena.

LinkedIn icon Instagram icon Facebook icon Twitter icon
Great! You've successfully subscribed.
Great! Next, complete checkout for full access.
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.
manage cookies