Quem é visto, quem é representado e quem desaparece quando confiamos nossas decisões aos algoritmos.
No universo de Watchmen, Alan Moore explora os riscos de concentrar poder em figuras que atuam sem mecanismos claros de controle, questionando “quem vigia os vigilantes?”.
A pergunta nasceu em outro contexto, com o poeta romano Juvenal, mas chega ao século XXI provocando o mesmo incômodo. Quando alguém recebe poder para observar, classificar ou julgar os demais, quem garante que esse poder será exercido sem distorções?
Hoje, quando algoritmos influenciam o que vemos, consumimos, aprendemos e até reconhecemos como verdade, ouso afirmar que a pergunta precisa de uma atualização: quem vigia os algoritmos?
O que é racismo algorítmico?
Algoritmos estão por toda parte. Eles organizam resultados de busca, sugerem vídeos, destacam conteúdos e influenciam boa parte das informações que consumimos todos os dias.
Como são baseados em dados, estatísticas e na boa e velha matemática, costumamos associá-los a uma ideia de neutralidade. Afinal, se a decisão veio de uma máquina, ela deveria ser mais objetiva do que uma decisão humana, mas não é bem assim.
Toda tecnologia carrega escolhas. Escolhas sobre quais dados serão considerados relevantes, quais referências serão usadas e quais experiências serão transformadas em informação. Quando essas escolhas refletem desigualdades históricas, a tecnologia pode deixar de apenas reproduzir problemas sociais para começar a ampliá-los.
É nesse contexto que surge o conceito de racismo algorítmico: quando sistemas digitais reproduzem, ampliam ou disseminam desigualdades raciais presentes nos dados, nos processos e nas decisões envolvidas em seu desenvolvimento. O fenômeno pode aparecer em sistemas de reconhecimento facial, mecanismos de recomendação e ferramentas de inteligência artificial.
Mais do que erros técnicos, essas distorções podem reforçar estereótipos, invisibilizar referências, promover apagamentos de conhecimento e limitar a autonomia de grupos historicamente marginalizados.
Quando pensamos em racismo algorítmico, normalmente imaginamos sistemas que identificam pessoas de forma equivocada. Algumas pesquisas, porém, sugerem que o problema começa muito antes disso.
Em certos contextos, determinadas pessoas sequer são percebidas pelos sistemas.
O problema começa antes do erro

Em sua dissertação de mestrado, “Algoritmos, poder e subjetividade: epistemicídio computacional no reconhecimento facial“, a cientista da computação, Ana Carolina das Neves Silva da Hora, investiga como sistemas de reconhecimento facial reproduzem desigualdades já nas etapas iniciais de detecção e processamento dos rostos.
Os resultados indicam que a exclusão pode ocorrer antes mesmo do reconhecimento da identidade. Em outras palavras, determinados grupos podem sequer ser percebidos ou considerados elegíveis pelos sistemas. Como a autora resume, a detecção funciona como um “primeiro filtro de existência”; antes de decidir quem somos, os algoritmos decidem quem existe para eles.
Pode parecer uma discussão distante, mas os mesmos princípios já influenciam processos de recrutamento, sistemas de crédito, reconhecimento facial em espaços públicos e ferramentas de inteligência artificial usadas para pesquisa e produção de conteúdo. Quando determinados grupos têm menor representação nesses sistemas, os impactos deixam de ser apenas tecnológicos e passam a afetar oportunidades concretas.
Para descrever esse fenômeno, Nina da Hora propõe o conceito de epistemicídio computacional: um processo em que determinados sujeitos, saberes e experiências são sistematicamente apagados ou tornados invisíveis por sistemas computacionais. Mais do que um erro técnico, trata-se de uma discussão sobre poder, representação e reconhecimento.
Quem fica invisível quando aprendemos por meio de sistemas treinados com bases incompletas?
A ideia de invisibilidade ajuda a compreender que o racismo algorítmico não se limita ao momento em que uma tecnologia falha. Ele também aparece quando determinados sujeitos, histórias e referências sequer são considerados no processo.
Quem desaparece quando a IA aprende?
A invisibilidade apontada por Nina da Hora não aparece apenas quando câmeras tentam reconhecer rostos. Ela também pode surgir quando sistemas de inteligência artificial produzem respostas, organizam informações e mediam processos de aprendizagem.
Se no reconhecimento facial o apagamento acontece pela ausência de detecção, nos modelos de linguagem ele pode aparecer na forma de lacunas, omissões e referências que simplesmente desaparecem das respostas.
Na pesquisa Grandes Modelos de Linguagem e a Educação das Relações Étnico-Raciais, Tarcízio Silva identificou que modelos de linguagem utilizados no Brasil apresentavam mais erros ao lidar com referências negras e indígenas, além de apagamentos e lacunas que afetam diretamente o repertório educacional disponível aos estudantes.
Em um dos testes, os sistemas deveriam indicar artistas musicais dos estados brasileiros. Quando a solicitação envolvia artistas indígenas, alguns serviços simplesmente afirmavam não encontrar referências. No conjunto das respostas analisadas, os erros atingiram 87,5% dos resultados relacionados a artistas negros e 100% dos relacionados a artistas indígenas.
O dado mais simbólico surgiu em um teste sobre uma atividade de matemática. Nas versões gratuitas de sete serviços de IA utilizados no Brasil – ChatGPT, DeepSeek, Gemini, Grok, Meta AI, Maritaca AI e Amazônia IA – nenhuma das 35 respostas geradas espontaneamente pelas ferramentas mencionou qualquer objeto relacionado à história ou à cultura africana, afro-brasileira ou indígena. Zero.
O problema, portanto, não está apenas na informação incorreta, está na informação que desaparece. Se os sistemas que ajudam estudantes a pesquisar, aprender e construir repertório falham justamente quando o tema envolve referências negras e indígenas, a discussão deixa de ser apenas tecnológica e passa a ser pedagógica.

O que o racismo algorítmico tem a ver com Educação?
O debate sobre racismo algorítmico não pertence apenas ao universo da tecnologia, afinal hoje em dia as crianças já são nativas digitais e crescem em ambientes mediados por algoritmos, plataformas digitais e ferramentas de IA.
É justamente por isso que a Educação antirracista continua indispensável. Reconhecer vieses, identificar ausências e discutir quem está ou não sendo representado passa a ser parte da formação de cidadãos em uma sociedade mediada por algoritmos.
A socióloga Ruha Benjamin oferece uma pista importante para compreender esse desafio. Em entrevista ao podcast Bots Don’t Cry, conduzido pela especialista em ética da IA Catharina Doria, a pesquisadora argumenta que não basta analisar as ferramentas de inteligência artificial. É preciso observar a infraestrutura que sustenta essas tecnologias, os valores incorporados em seu desenvolvimento e as formas como o poder se torna invisível por meio delas.
“Quem acredita que matemática é neutra e nunca erra provavelmente nunca teve a matemática usada contra si.” – Ruha Benjamin, socióloga e professora do Departamento de Estudos Afro-Americanos da Universidade de Princeton.
Na mesma direção, relatórios de 2025 da UNESCO e da UNICEF defendem o desenvolvimento do pensamento crítico, da cidadania digital e da compreensão dos impactos sociais da inteligência artificial como competências essenciais para a formação contemporânea.
A discussão também passa pelas desigualdades na própria produção de conhecimento. Durante o evento Trust is Earned, promovido pela BBC, a educadora paraense Marcela Castro chamou a atenção para a existência de uma “lógica colonialista da informação” dentro do próprio Brasil, em que conteúdos produzidos no Sudeste tendem a ter maior visibilidade do que referências do Norte e do Nordeste.
Segundo a educadora, quando a inteligência artificial é treinada com os conteúdos que já circulam com mais força na internet, corre o risco de reproduzir essas mesmas hierarquias. Ou seja, quanto mais desigual é o ponto de partida, maior a chance de a tecnologia reproduzir essa desigualdade em escala.
Se um estudante utiliza uma ferramenta de IA para buscar cientistas, artistas, intelectuais ou referências históricas e recebe respostas que omitem determinados grupos, a tecnologia não está apenas organizando informação. Ela também está ajudando a definir quais trajetórias serão lembradas e quais permanecerão invisíveis.
E se os algoritmos aprendem com aquilo que já está mais visível, vale perguntar: o que acontece com os saberes, as referências e as experiências que historicamente tiveram menos espaço para circular?
Da pedagogia do prompt à pedagogia da suspeita
Em uma coluna anterior, argumentei que a escola precisa estimular os estudantes a pensarem criticamente. O debate sobre racismo algorítmico exige um reforço: não basta apenas questionar, é preciso investigar melhor.
Se algoritmos definem o que vemos, se sistemas de IA organizam informações e se, em alguns casos, determinam quais referências aparecem ou desaparecem das respostas, talvez uma das competências mais importantes do nosso tempo seja aprender a questionar aquilo que parece funcionar de forma automática.
- Quem construiu esse sistema?
- Com quais dados ele foi treinado?
- Quem aparece nesses dados?
- Quem ficou de fora?
- Quais experiências foram consideradas relevantes?
- Quais foram apagadas?
- O que está ausente nas respostas apresentadas?
Afinal, se o racismo algorítmico pode tornar determinadas pessoas invisíveis e limitar a circulação de certos saberes, aprender a identificar ausências se torna tão importante quanto aprender a encontrar respostas.
Essa não é apenas uma preocupação ética. É uma competência que começa a ganhar espaço na própria literatura educacional e que ajuda a formar cidadãos capazes de compreender criticamente a tecnologia que utilizam todos os dias.
Literacia algorítmica: uma competência para o século XXI
Pesquisadores já defendem a ideia de uma “literacia algorítmica antirracista” ou letramento racial algorítmico: a capacidade de compreender como decisões automatizadas afetam diferentes grupos de formas distintas. Mais do que aprender a usar ferramentas digitais, trata-se de compreender seus limites, seus vieses e seus impactos. Em outras palavras, trata-se de formar cidadãos capazes de participar criticamente de uma sociedade cada vez mais mediada por algoritmos.
A ideia encontra eco em debates internacionais sobre literacia crítica em IA. A educadora, Catharina Doria, que atua com Educação em ética da IA, defende que compreender a inteligência artificial não significa apenas aprender a utilizar ferramentas, mas desenvolver a capacidade de questionar como elas operam, quais interesses carregam e quais vieses podem reproduzir.
Talvez esse seja um dos pontos mais importantes para a Educação. Se a inteligência artificial não é neutra, como lembra a educadora e especialista em ética da IA Catharina Doria, então a neutralidade também não pode ser pressuposta pelos estudantes que interagem diariamente com esses sistemas.
A pergunta final não é só quem vigia os algoritmos, mas quem os algoritmos aprendem a enxergar.
Não acredite em mim. Leia.
Eu gosto muito de acompanhar os conteúdos focados em cultura negra e diáspora africana da Preta Letrada, nome artístico de Camilla da Apresentação, que é comunicadora, escritora e pesquisadora e faz análises críticas de literatura, cinema, música e entretenimento, conectando conhecimento, representatividade e debate social.
Em suas publicações, ela sempre reforça nas legendas: “✦ não acredite em mim, leia” e inclui as referências consultadas para construir aquele conteúdo.
Gosto muito dessa proposta porque ela faz um convite para não consumirmos informação apenas de maneira passiva.
Questionar algoritmos é justamente isso. Não significa rejeitar a tecnologia, mas desenvolver repertório suficiente para não depender exclusivamente dela.
Afinal, se queremos compreender quem está sendo visto, representado ou apagado pelos sistemas que organizam parte do nosso acesso à informação, vale lembrar: não acredite apenas nas respostas. Leia, pesquise e procure outras fontes.
Bibliografia
MOORE, Alan; GIBBONS, Dave. Watchmen. New York: DC Comics, 1986-1987.
DA HORA, Ana Carolina Silva das Neves. Do Rosto ao Vetor: Epistemicídio Computacional no Reconhecimento Facial. 2026. Dissertação (Mestrado em Ciência da Computação) – Instituto de Computação da Universidade Estadual de Campinas (Unicamp), Campinas, 2026. Disponível em: https://acervus.unicamp.br/VisualizadorPdf?codigoArquivo=606797&tipoMidia=0
SILVA, Tarcízio. Grandes Modelos de Linguagem e a Educação das Relações Étnico-Raciais: experimento exploratório. São Paulo: Instituto Alana, 2025. Disponível em:
https://alana.org.br/wp-content/uploads/2026/07/ia-e-educacao-antirracista-pesquisa.pdf
INSTITUTO ALANA. O algoritmo que discrimina: IA e educação antirracista. São Paulo: Instituto Alana, 2026. Disponível em:
https://alana.org.br/wp-content/uploads/2026/07/ia-e-educacao-antirracista-onepager.pdf
DORIA, Catharina (apresentadora); BENJAMIN, Ruha (entrevistada). #6: Is Racism in AI Just a Glitch? (with Dr. Ruha Benjamin) [+ How to Protect Your Imagination]. Podcast Bots Don’t Cry. 2026. Disponível em: https://botsdontcry.buzzsprout.com/2653741/episodes/20060023-6-is-racism-in-ai-just-a-glitch-with-dr-ruha-benjamin-how-to-protect-your-imagination
LUNETAS. Como o racismo algorítmico afeta as crianças? Disponível em:
https://lunetas.com.br/como-o-racismo-algoritmico-afeta-as-criancas/
UNESCO. AI and Education: Protecting the Rights of Learners. Paris: UNESCO, 2025. Disponível em:
https://www.unesco.org/en/articles/ai-and-education-protecting-rights-learners
UNICEF. Guidance on AI and Children 3.0. Florença: UNICEF Innocenti, 2025. Disponível em:
https://www.unicef.org/innocenti/media/11991/file/UNICEF-Innocenti-Guidance-on-AI-and-Children-3-2025.pdf
SANTOS, Luiz Antonio da Silva et al. Literacia Algorítmica Antirracista e Viés Racial das Inteligências Artificiais na Educação Pública Brasileira: notas teóricas. Revista Tópicos, 2026. Disponível em:
https://revistatopicos.com.br/artigos/literacia-algoritmica-antirracista-e-vies-racial-das-inteligencias-artificiais-na-educacao-publica-brasileira-notas-teoricas
DORIA, Catharina. Catharina Doria: AI Ethicist, Speaker & Educator. Disponível em: https://catharinadoria.com/







