A implantação do sistema de monitoramento por câmeras com reconhecimento facial na capital paulista, o chamado Smart Sampa, foi debatida em Audiência Pública da Comissão de Educação, Cultura e Esportes da Câmara Municipal de São Paulo realizada em 19 de outubro na Faculdade de Direito da Universidade de São Paulo. A audiência foi convocada pela vereadora Elaine Mineiro e a mandata coletiva Quilombo Periférico. Nas palavras da vereadora:
“A Prefeitura vai ter um gasto anual de mais de R$ 100 milhões com uma tecnologia que não é eficiente no combate ao crime como eles estão anunciando. Então, para que você faça uma prisão com essa tecnologia de reconhecimento facial você gasta um recurso muito maior do que você faria com outras alternativas que a Polícia Militar já usa. A gente está discutindo o gasto público, que é absurdo, e um gasto público que além de ser errado, é racista”, pontuou a vereadora.
Colaboraram na audiência pública Amarílis Costa, da Rede Liberdade, Fábio Pereira da AMPARAR, Thallita Lima do Panóptico, Luana de Oliveira da Rede de Proteção e Resistência Contra o Genocídio, Pedro Monteiro da UFBA/LAPIN e eu, Tarcizio Silva, fellow na Fundação Mozilla.
Um louvável avanço sobre o problema foi o lançamento da Frente Parlamentar contra Tecnologias Racistas, anunciada durante a audiência pública. Parlamentares da cidade ouvirão especialistas no tema em novos encontros que se debruçaram em áreas como saúde, habitação, educação e mais.
Em minha fala, busquei relembrar que temos muitos avanços em torno do mundo sobre critérios republicanos mínimos para contratação, desenvolvimento e uso de tecnologias digitais. Em especial quando falamos de sistemas algorítmicos ou da chamada “inteligência artificial”, aparentemente temos desafios novos, mas na verdade muitas conclusões auto-evidentes sobre responsabilidade do poder público em todos seus níveis.
O diagnóstico de título “Discriminação racial e tecnologias digitais emergentes: uma análise dos direitos humanos” aponta consensos básicos sobre uso responsável e democrático de tais tecnologias. Desenvolvido pela relatora das Nações Unidas Tendayi AChiume, lista por exemplo que:
Estados devem implementar uma compreensão estrutural da proibição de discriminação racial em acordo com leis internacionais de direitos humanos no contexto de tecnologias digitais emergentes. Definições legais de direitos humanos devem ser aplicadas na função vital de moldar como Estados determinam o significado de discriminação racial produzida através de determinados usos de tecnologias digitais emergentes; e os Estados devem solicitar que estas definições informam as abordagens do setor privado. Com a mesma seriedade, deve observar também formas indiretas e estruturais de discriminação racial que resultem do design e uso de tais tecnologias.
Estados devem ação rápida e efetiva para prevenir e mitigar o risco do uso e design racialmente discriminatório de tecnologias digitais emergentes, incluindo por tornar avaliações de impactos sobre igualdade racial, não discriminação e direitos humanos um requisito na adoção, por autoridades públicas, de sistemas baseados em tais tecnologias. Estas avaliações de impacto devem incorporar oportunidades significativas para co-design e co-implementação com representantes de grupos étnico-raciais marginalizados.
Essas considerações são essenciais pois sistemas algorítmicos baseados em dados pessoais e/ou que lidam com pessoas, podem gerar impactos discriminatórios nocivos ligados a raça, gênero, região e outras variáveis. Em torno do mundo, inclusive no Brasil, há uma crescente literatura científicos que aponta impactos registrados. Mapeamentos como o que mantemos aqui na Desvelar e mapeamentos globais como o AI Incident Database e o AI Vulneravility Database, somam mais de 1.800 casos de impactos nocivos ou vulnerabilidades da inteligência artificial, dos modelos às implementações.
Quero aqui também lembrar os compromissos de valor constitucional do Estado brasileiro, em “realizar pesquisas sobre a natureza, as causas e as manifestações do racismo, da discriminação racial e formas correlatas de intolerância” assim como “coletar, compilar e divulgar dados sobre a situação de grupos ou indivíduos que sejam vítimas do racismo, da discriminação racial e formas correlatas de intolerância”. Infelizmente o Estado brasileiro está falhando nesse objetivo. A sociedade civil está realizando essas pesquisas, como podemos ver nas colaborações das organizações presentes na audiência.
Mas o ponto aqui vai além dos problemas e imprecisões da inteligência artificial em si. Talvez mais importante ainda é que tecnologias como vigilância biométrica no espaço público erram também quando acertam.
A literatura científica sobre vigilância identifica as origens da vigilância em massa no Ocidente como ligadas ao histórico do escravismo. Tecnologias que abarcam dos navios negreiros às marcações de ferro, uso obrigatório de lanternas em público por escravizados, anúncios de venda e perseguição de pessoas e os falhos álbuns de reconhecimento fotográfico permitiram o uso de tecnologias para realizar sobrevigilância de grupos racialmente e politicamente minorizados.
A vigilância biométrica em massa se coaduna com este histórico terrível do racismo científico, em aplicações como frenologia – a ideia de medir comportamentos ou atitudes a partir do formato do rosto ou crânio. Essa pseudociência atrasou a ciência e colaborou com a intensificação da violência estatal[i].
Pesquisas apontam que muitos provedores de tecnologia tem resgatado objetivos eugenistas tentando aplicar o aprendizado de máquina a identificar características psicológicas, sexuais[ii] ou emocionais[iii] das pessoas – apesar de séculos de comprovação da ineficiência e sua reprovação ética.
Políticas de segurança pública baseadas em vigilância em massa provaram-se ineficazes e prejudicam toda a sociedade ao criar condições para a erosão de direitos fundamentais. A vigilância biométrica em massa reaviva as condições para a permanência e intensificação da violência estatal, do genocídio da juventude negra e aprofunda a erosão das democracias e dos espaços públicos como espaços de convivência com o outro. A cidade de São Paulo tem potencial de ser referência não só nacional mas também global de inovação responsável e boa gestão de recursos públicos. Portanto reforço o coro pelo banimento de tecnologias como reconhecimento facial e sublinho a necessidade de escuta pública e plural sobre a temática.
[i] MBEMBE, Achille. Necropolítica. Melusina, 2020.
[ii] Levin, S. LGBT groups denounce ‘dangerous’ AI that uses your face to guess sexuality. The Guardian, 9 Set. 2017.
[iii] Jess, Charlotte. Emotion recognition technology should be banned, says an AI research institute. MIT Technology Review, 13 Dec. 2019.