Relatórios de avaliação de impacto algorítmico: arranjos institucionais e análise estrutural são necessários no Brasil

Os relatórios de impacto algorítmico tornaram-se um dos conceitos centrais no debate sobre governança de tecnologias de inteligência artificial, sistemas algorítmicos e tecnologias correlatas com tratamento de dados pessoais. Em proposições legislativas em torno do mundo, os relatórios de avaliação de impacto algorítmico (AIA, na sigla) são vistos por grande parte da comunidade técnico-científica e sociedade civil como uma ferramenta na missão de estabelecer um nível balanceado de transparência e controle social sem prejudicar inovação e potencial econômico.

Na proposta brasileira mais madura atualmente, incorporada como o projeto de lei 2338/2023, estabeleceu-se uma abordagem inspirada na União Europeia e sua classificação de riscos, incluindo indicações, definições e responsabilidades específicas para as aplicações de alto risco e de risco excessivo. Em comparação à proposta europeia, entretanto, a opção pelo termo “risco excessivo” em contraposição ao termo “risco inaceitável” evocou, pelo léxico, uma suavização da proteção contra os danos algorítmicos que se desdobrou em minúcias do PL. Exemplo foi a ausência de um rol mais amplo de aplicações de risco excessivo, tais como sistemas de reconhecimento de emoções ou traços de personalidade, policiamento preditivo ou uso de armas autônomos letais, além de prerrogativas lenientes para o uso de vigilância biométrica à distância.

A previsão da obrigação de avaliação de impactos algorítmicos aos direitos humanos é tema da Seção III do PL, que define que avaliação de impacto algorítmico de sistemas de inteligência artificial é obrigação dos agentes de inteligência artificial, sempre que o sistema for considerado como de alto risco pela avaliação preliminar. Entre as informações que devem ser analisadas e registradas¹ estão riscos conhecidos e previsíveis associados ao sistema de inteligência artificial; número de pessoas potencialmente impactadas; gravidades das consequências e esforço necessário para mitigação; e informações sobre a lógica de funcionamento do sistema e histórico de testes e avaliação de medidas de mitigação de impactos a direitos.

Os relatórios de avaliação de impacto algorítmico podem pavimentar um dos principais caminhos institucionais para um nível aceitável de supervisão social da disruptiva tecnologia, mas também podem ser alvo de captura regulatória, portanto não podem ser vistos como solução única. Impactos algorítmicos e discriminação algorítmica foram reconhecidos recentemente pelo governo federal e vale relembrar aqui seu caráter multidimensional, considerando a incorporação de tecnologias digitais emergentes em diversas esferas da vida e sociedade. Os diferentes mapeamentos de impactos e danos algorítmicos possíveis, registrados e especulativos apresentam tipologias² que abarcam, por exemplo:

1. Danos alocativos e econômicos, quando sistemas algorítmicos podem discriminar negativamente indivíduos e grupos no acesso a recursos e serviços públicos ou a empregos e oportunidades econômicas;
2. Danos ambientais e à saúde, incluindo uso energético e extrativismo mineral a impactos físicos e mentais na datificação dos processos clínicos;
3. Danos representacionais e à identidade, onde temos como casos famosos os resultados nocivos em buscadores web em pesquisas sobre grupos minoritários;
4. Danos epistêmicos, aqueles ligados ao conhecimento de forma ampla, que podem abarcar da produção enviesada de ciência e história até a promoção de desinformação e consequentemente erosão de instituições democráticas;
5. Danos necropolíticos, ligados à violência estatal, hipervigilância e reconhecimento facial, drones, armamentos e afins.

Considerando a predominância de manifestações de racismo institucional e estrutural na sociedade brasileira, identificar impactos algorítmicos em conformidade com princípios e mecanismos antidiscriminatórios, portanto, exige lentes antirracistas e interseccionais sobre a questão. Acredito que é necessária ênfase em a) compreensão dos sistemas algorítmicos dentro das estruturas de relações sociais; b) reconhecimento do caráter estrutural do racismo e seus impactos; c) centralização dos compromissos do Estado brasileiro contra racismo e outras formas de discriminação; d) reconhecimento dos impactos do colonialismo e colonialidade digital.

A metáfora da caixa preta da inteligência artificial ou sistemas algorítmicos tem sido utilizada para explicar a aparente opacidade dos softwares, modelos e dispositivos desenvolvidos. Entre inputs (entradas) e outputs (saídas) do sistema, as abordagens conexionistas como aprendizado de máquina careceriam de explicabilidade. Uma vez que a escala, complexidade, velocidade e adaptabilidade contínua destes tipos de sistemas algorítmicos tornariam impossível a análise humana de cada ponto de correlação e classificação dos dados, afirma-se frequentemente que não seriam controláveis ou auditáveis.

Entretanto, considerar a explicabilidade de um modo restrito é uma visão limitada pois os algoritmos imprimem impactos sociais quando se tornam ferramentas que “decretam objetos de conhecimento e sujeitos de prática em maneiras mais ou menos significantes […]. Suas ações não apenas estão no mundo, mas fazem mundos”. Algoritmos medeiam quais sujeitos são ou não inclusos, como são ordenados, suas hierarquias de valor ante os objetos, capital e recursos. Definições de IA e sistemas algorítmicos que consideram explicitamente, para além dos modelos, inputs e outputs, os objetivos humanos e contexto de ideação e implementação ganham corpo em espaços influentes às políticas públicas.

Avaliar mecanismos institucionais e estruturais que podem influenciar a eficiência ou pertinência de sistemas algorítmicos no mundo real, portanto, é essencial para uma legislação pertinente às lacunas brasileiras quanto a direitos humanos e igualdade. Uma dessas lacunas é a falta do próprio reconhecimento do racismo e seus efeitos nas relações sociais, acesso a direitos, desenvolvimento ou compreensão de tecnologias, o que ficou patente tanto na composição da comissão de juristas responsável pela consolidação do relatório que virou o PL 2338 quanto na ausência de considerações sobre participação social na possível entidade supervisora.

Fechar os olhos para o impacto dos diferentes níveis do racismo na produção legislativa, no exercício do poder judiciário e nas demais instituições mediadoras pertinentes à IA pode dar a entender que o nível de proteção incorporado no PL 2338 é suficiente. Entretanto as barreiras multidimensionais que geram infrações no acesso a direitos por grupos politicamente minorizados exige que a análise estrutural faça parte de qualquer trabalho de sucesso que tenha como objetivo a igualdade. A captura regulatória se tornará caminho fácil na ausência de prerrogativas de participação social que incluam explicitamente a sociedade civil organizada atuante na promoção da igualdade e combate às discriminações, como as entidades do Movimento Negro.

Para além do conhecimento e reconhecimento sobre os danos da manutenção e atualização do racismo e as dívidas históricas que o Estado brasileiro possui por séculos de uma negação de valores democráticos e humanos a grupos da população, um terceiro ponto é que o país já estabeleceu, a duras penas, compromissos que não devem ser esquecidos.

Para além das prerrogativas basilares e constitucionais relacionadas a igualdade, há alguns consensos maduros normativos sobre o papel do país na busca do efetivo combate à discriminação e seus efeitos.  O texto proposto pela comissão se inspira fortemente no relevante AI Act da União Europeia, mas falha ao desconsiderar que o Brasil precisa de mais defesa de direitos para alcançar em algum momento níveis aceitáveis de bem-estar social. Considerando que é dever do Estado brasileiro “realizar pesquisas sobre a natureza, as causas e as manifestações do racismo, da discriminação racial e formas correlatas de intolerância” assim como “coletar, compilar e divulgar dados sobre a situação de grupos ou indivíduos que sejam vítimas do racismo, da discriminação racial e formas correlatas de intolerância”, a existência da discriminação algorítmica deve motivar arranjos institucionais que permitam a efetiva supervisão antirracista da implementação de sistemas algorítmicos e correlatos.

Por fim, globalmente o acúmulo de conhecimento no campo trouxe a compreensão sobre a necessidade da interseção de dois traços da governança algorítmica: o estabelecimento para o setor privado do ônus do financiamento da cadeia de avaliação de impactos algorítmicos e o papel da independência das atividades de avaliação de impacto algorítmico. A necessidade de justificação prévia para implementações de alto risco tem sido defendida por juristas reconhecidos no campo da opacidade algorítmica e pela sociedade civil global, que chegam à conclusão de que é necessário “empregar estratégias que atribuam o ônus às empresas para que demonstrem que não estão gerando danos, ao invés de ônus ao público e reguladores que precisam continuamente identificar e achar soluções para os danos depois que ocorrem” .

Notas

[1] Recomendo no tema: Relatórios de Impacto e a mitigação de vieses em IA; e Relatórios de Impacto e a mitigação de vieses em IA

[2] Recomendo  “A systematic review of artificial intelligence impact assessments”, de Bernd Stahl e colaboradores; “Adding Structure to AI Harm”, de Mia Hoffman e Heather Frase; “The risks associated with Artificial General Intelligence: A systematic review”, de Scott McLean e colaboradores; “Sociotechnical Harms of Algorithmic Systems: Scoping a Taxonomy for Harm Reduction”, de Renee Shelby e colaboradores