Dilemas éticos em torno do uso da Inteligência Artificial na educação como ferramenta de decisões autônomas.
A justiça na IA
Circunstâncias diferentes trazem consigo dilemas diferentes. E é, de certa forma, comum na história da humanidade que o aparecimento de novas tecnologias tenha trazido circunstâncias novas nas relações entre pessoas. Essa modificação do cenário social significa a necessidade de uma readequação das regras de organização, tanto das relações entre as pessoas quanto das relações dessa tecnologia com seu ecossistema, seu ambiente social.
E, assim, estamos atravessando um período de profundas mudanças promovidas justamente pela tecnologia. Já é clichê dizer que a Inteligência Artificial estaria causando profundas alterações na ordem social em diversos níveis.
Acredito que seja demasiado tarde para anunciar o fato de aguardar espanto. Embora a tecnologia possa evoluir rapidamente, os seres humanos têm uma longa história de adaptação a situações desafiadoras, então, não há razão para pânico.
No entanto, é também inegável que a Inteligência Artificial esteja começando a influenciar os hábitos humanos em diferentes áreas de formas novas e imprevistas, o que não seria diferente na educação.
A justiça asseguraria que todos pudessem colher os mesmos frutos com os mesmos esforços, independentemente das circunstâncias.
Vivemos em um mundo profundamente injusto em diversas questões, onde a estrutura social não incorpora plenamente os princípios de justiça que julgamos ser mais altos, mais valiosos e puros. A injustiça é social na medida em que se traduz em diferenças de oportunidades, alcances e até mesmo de expectativas enraizadas desde a infância. Simplificando, há uma discrepância entre as capacidades de alguns e as limitações de outros, mesmo quando os esforços são equiparáveis.
A justiça, em teoria, deveria ser o instrumento que garantisse um nivelamento das condições entre indivíduos que se empenham da mesma forma, pois, em muitos casos, resultados equivalentes não são alcançados devido a condições desiguais. A justiça asseguraria que todos pudessem colher os mesmos frutos com os mesmos esforços, independentemente das circunstâncias.
Considere que todas as estruturas sociais, desde instituições até sistemas menores, refletem conceitos de justiça e as mesmas fontes de injustiça. Essa questão está intrinsecamente presente em processos seletivos, procedimentos administrativos, avaliações individuais, esportes, mercado de trabalho, carreira profissional e em várias áreas da vida pessoal.
Todas essas construções sociais já carregam consigo uma característica que reflete uma lógica de justiça, mas, como podemos observar, essa justiça não está plenamente concretizada. Da mesma forma, essa lógica que permite injustiças acaba sendo incorporada às novas tecnologias; por que seria diferente? São apenas mais um “sistema”.
Esses pequenos processos que aceleram muitas das ações cotidianas contêm uma lógica inerente, que não é necessariamente transparente para quem os usa.
Aqui, adentramos a questão da justiça algorítmica. Considere que todos os elementos que, construídos por meio de programação e recebendo autonomia, sejam elementos ou dispositivos, replicam indefinidamente uma lógica combinatória pré-definida. E se, nessa lógica, os elementos que dão vazão à injustiça estão presentes, é certo que, por meio da autonomia, injustiças serão também indefinidamente replicadas.
Quando se trata de inteligências artificiais – e o termo inteligência tem um cunho mais marqueteiro do que científico – a autonomia dada a esses pequenos processos que aceleram muitas das ações cotidianas contém uma lógica inerente, que não é necessariamente transparente para quem os usa.
Afinal de contas, você tem acesso ou conhecimento pleno à forma como as inteligências artificiais estão considerando questões morais? E dilemas éticos? E veja que não se trata da definição de um conceito ético universal – isso seria uma utopia, dado que é um conceito cultural e varia de cultura para cultura – entretanto, a transparência é o fator-chave para que se garanta justamente a investigação dos conceitos engendrados na máquina; sem este acesso, nem o debate poderia ocorrer.
IA na Educação
Quando trazemos o enfoque para o âmbito educacional e suas tecnologias, a automatização de alguns processos se torna crucial, até mesmo por conta da falta de profissionais de educação no Brasil, o que faz com que um único profissional carregue um excesso de peso em responsabilidades administrativas do material educacional, e aqui eu cito:
- gestão das turmas;
- acompanhamento do desempenho;
- correção de provas;
- sugestão de trabalhos;
- agrupamentos por necessidades específicas;
- geração de conteúdos criativos capazes de engajar;
- a constante busca por especificação;
- e aderência do conteúdo com a vida dos estudantes, entre muitos outros aspectos.
Essa sobrecarga de funções que os profissionais de educação enfrentam pode encontrar como um parceiro justamente a tecnologia, e seus dispositivos de Inteligência Artificial. Aqui, eles operam como aceleradores de decisões, como ferramentas diagnósticas, por exemplo, nos casos de turmas grandes demais para uma única pessoa poder identificar fragilidades individuais ou tendências gerais.
A criação de índices e o acompanhamento de tendências de melhora ou piora, ou mesmo a sinalização de casos críticos antes que se tornem irrecuperáveis. Para todas essas questões que os professores encontram no dia a dia, a Inteligência Artificial aparece como uma ferramenta parceira, de ampliação da visão, de aprofundamento do diagnóstico.
Entretanto, é nas automações que o risco dos deslizes de justiça algorítmica acontece. Temos visto cada vez mais pressão internacional para uma legislação sobre as responsabilidades de transparência das entidades criadoras de inteligências artificiais. C
Como nos casos da AJL e da Algorithms and Justice, de Harvard, que são ONGs de grande relevância, que dialogam diretamente com governos, criando currículos, treinamentos, material de comunicação, todos voltados para o esclarecimento das questões de justiça impactadas pela autonomia de máquinas.
Esses esforços ocorrem primariamente porque podemos prever os riscos de decisões finais em processos auxiliados por Inteligência Artificial, em que a decisão final não seja tomada por um ser humano.
Nos exemplos dados acima, encontramos situações em que Inteligência Artificial serve apenas de aceleração para decisões, sendo essas decisões finais humanas. No entanto, a injustiça algorítmica se realiza quando a IA é primariamente utilizada para ações como, por exemplo:
- Avaliações automáticas de desempenhos: isso se dá por falta de contexto.
- Processos seletivos: por falta de igualdade de oportunidades.
- Ensino adaptativo: por falta de contextualização cultural mais ampla.
Nesse cenário, encontramos condições em que a Inteligência Artificial pode atuar com tomadas de decisões que vão impactar profundamente o posicionamento ou a relação entre as pessoas, tomando por base que sua programação tenha sido elaborada num contexto cultural completamente distinto daquele em que a operação é aplicada.
De forma pragmática, estamos falando que a Inteligência Artificial foi programada no Vale do Silício, majoritariamente por homens brancos de classe média-alta, mas suas capacidades são aplicadas no Brasil, entre estudantes, majoritariamente mulheres pardas, de classes muito menos abastadas.
Não existe a menor compatibilidade cultural no princípio dessas relações. Aqui, nos defrontamos com os riscos de ampliação de viés socioeconômico, viés étnico ou viés de gênero presentes nos dados de treinamento dessas máquinas.
Como o processo de machine learning (aprendizado de máquinas) é feito com sistema de pontuação, onde a máquina recebe uma pontuação maior por respostas que sejam condizentes às expectativas do treinador, os vieses socioculturais deste treinador acabam repetidos no algoritmo da solução ou, ao menos, não excluídos.
É possível que isso faça com que o processo seletivo ou a avaliação de comportamentos ou respostas considere como acertados aqueles comportamentos que mais se aproximam aos comportamentos culturais de quem treina uma máquina. Isso pode resultar em decisões injustas ou perpetuar desigualdades educacionais.
O que está por trás da injustiça algorítmica é o risco da automatização da exclusão de determinados comportamentos, a marginalização de diversidades culturais, a cultura da punição por comportamentos divergentes.
Da mesma forma, no aprendizado personalizado, ou o peer education, o conteúdo é completamente customizado para o indivíduo a partir do seu comportamento. O que, a princípio, parece uma utopia da educação, pode muito bem ocultar riscos em que os algoritmos não levem em conta as diferenças culturais para essa personalização, privilegiando determinados comportamentos ou respostas, e excluindo possibilidades que sejam locais, culturalmente específicas, categorizando como simples erros ou padrões mais fracos.
O que está por trás da injustiça algorítmica é o risco da automatização da exclusão de determinados comportamentos, a marginalização de diversidades culturais, a cultura da punição por comportamentos divergentes.
Muitos desses aspectos requerem tomadas de decisão profundamente imbricadas em questões éticas, como por exemplo, identificar que um comportamento dissonante possa ser interpretado como um ato de criatividade e não como um problema. Ou ainda que o andamento das notas de um adolescente tem profunda relação com suas condições familiares e psicológicas.
A sensibilidade do algoritmo com questões de diversidade cultural e linguística é um dos fatores cruciais para que possamos falar sobre justiça algorítmica, e, sem poderosas legislações que exijam esses diálogos, não conseguiríamos reduzir desigualdades de acesso e participação educacional, assim como a inibição de estereótipos ou o fim da marginalização de grupos culturais.
A transparência, assim como a instrução tecnológica, são cruciais para que o foco do uso das inteligências artificiais volte a ser aquele que citamos acima, de ferramentas de aceleração de decisões, de ampliação de visão, e que assim possamos garantir que seja um meio para promover a inclusão e a equidade na educação.
