Inteligência artificial, discriminação real


A resposta a um pedido de fundamentação de um acto ablativo de direitos não pode ser “computer says no!”.


Muitos dos adquiridos civilizacionais (democracia, direitos fundamentais, submissão da Administração à lei, escrita e previamente cognoscível,…) são tidos no Ocidente como garantidos na sua essência e permanentemente disponíveis, numa modalidade de bens públicos a que se acederia pela via do nascimento na parte boa do mundo.

A pandemia do ano 20 deste milénio mostrou os limites desta crença, com a generalizada troca de direitos e liberdades por uma propagandeada segurança. A erosão do Estado de Direito é ainda mais forte por via das tecnologias da informação (TI) do que pela via pandémica, embora a simbiose entre estas duas pragas potencie os efeitos nefastos.

Das várias modalidades de malfeitorias possíveis às mãos das TI há que reservar o oitavo círculo do inferno para a inteligência artificial (IA). A tomada de decisões que afectam os cidadãos e as empresas com recurso a algoritmos, não conhecidos, não publicitados, cujo funcionamento não é explicado, conhecido ou sindicável, transportam-nos para uma nova Idade Média em matéria de direitos fundamentais. Este Admirável Mundo Novo está repleto de vícios antigos (não publicidade das regras que norteiam a decisão da Administração, não fundamentação) e de velhas tentações (a arbitrariedade e impunidade do poder e a desigualdade de armas num litígio).

Combater as violações “artificialmente inteligentes” de direitos fundamentais é tarefa particularmente difícil porque na maior parte dos casos o titular dos direitos nem sequer consegue ter consciência da forma como opera a violação. Combater os abusos cometidos com recurso a algoritmos exige tenacidade, tempo e recursos. 

Atentemos num exemplo recente, muito educativo quanto à bondade da IA. A Autoridade Tributária holandesa muniu-se de um algoritmo “capaz” de identificar os contribuintes com maior propensão para cometerem fraudes em matéria de abono de família. O dito algoritmo, baptizado com grande originalidade como SyRI (Systeem Risico Indicatie), passou sistematicamente a considerar os agregados familiares de imigrantes como propensos à fraude e, sem qualquer fundamentação razoável ou passível de contraditório, reclamou a devolução dos abonos recebidos em anos anteriores.

Entre queixas dos advogados das famílias, investigações da Autoridade de Protecção de Dados e inquéritos parlamentares, o uso do algoritmo resultou na demissão, em 15 de Janeiro de 2021, do primeiro-ministro Mark Rutte, considerando que foram violados princípios fundamentais do Estado de Direito.

No Reino Unido (RU), onde os pergaminhos da tutela dos direitos dos cidadãos contra os abusos da Administração merecem respeito, o uso de algoritmos foi já abandonado no caso da substituição, afflicti mores, dos exames de acesso à universidade por uma ponderação curricular. O dito algoritmo favorecia sistematicamente os alunos das escolas privadas.

Também pelo RU foi abandonado um outro algoritmo (“Streaming Tool”) que analisava os pedidos de visto e que tinha uma estranha tendência para avaliar negativamente todos os pedidos de não caucasianos. O sector privado não é imune aos perigos da IA, com destaque para as relações jurídicas caracterizadas pela desigualdade negocial (relações laborais, direitos dos consumidores…).

A Comissão Europeia apresentou a 21 de Abril um Regulamento proibindo certos usos da IA e restringindo outros, classificados como sendo de alto risco. A negociação legislativa não durará menos de um ano e o Regulamento prevê uma vacatio de 24 meses. Até lá teremos de viver com os meios de bordo.

Inteligência artificial, discriminação real


A resposta a um pedido de fundamentação de um acto ablativo de direitos não pode ser “computer says no!”.


Muitos dos adquiridos civilizacionais (democracia, direitos fundamentais, submissão da Administração à lei, escrita e previamente cognoscível,…) são tidos no Ocidente como garantidos na sua essência e permanentemente disponíveis, numa modalidade de bens públicos a que se acederia pela via do nascimento na parte boa do mundo.

A pandemia do ano 20 deste milénio mostrou os limites desta crença, com a generalizada troca de direitos e liberdades por uma propagandeada segurança. A erosão do Estado de Direito é ainda mais forte por via das tecnologias da informação (TI) do que pela via pandémica, embora a simbiose entre estas duas pragas potencie os efeitos nefastos.

Das várias modalidades de malfeitorias possíveis às mãos das TI há que reservar o oitavo círculo do inferno para a inteligência artificial (IA). A tomada de decisões que afectam os cidadãos e as empresas com recurso a algoritmos, não conhecidos, não publicitados, cujo funcionamento não é explicado, conhecido ou sindicável, transportam-nos para uma nova Idade Média em matéria de direitos fundamentais. Este Admirável Mundo Novo está repleto de vícios antigos (não publicidade das regras que norteiam a decisão da Administração, não fundamentação) e de velhas tentações (a arbitrariedade e impunidade do poder e a desigualdade de armas num litígio).

Combater as violações “artificialmente inteligentes” de direitos fundamentais é tarefa particularmente difícil porque na maior parte dos casos o titular dos direitos nem sequer consegue ter consciência da forma como opera a violação. Combater os abusos cometidos com recurso a algoritmos exige tenacidade, tempo e recursos. 

Atentemos num exemplo recente, muito educativo quanto à bondade da IA. A Autoridade Tributária holandesa muniu-se de um algoritmo “capaz” de identificar os contribuintes com maior propensão para cometerem fraudes em matéria de abono de família. O dito algoritmo, baptizado com grande originalidade como SyRI (Systeem Risico Indicatie), passou sistematicamente a considerar os agregados familiares de imigrantes como propensos à fraude e, sem qualquer fundamentação razoável ou passível de contraditório, reclamou a devolução dos abonos recebidos em anos anteriores.

Entre queixas dos advogados das famílias, investigações da Autoridade de Protecção de Dados e inquéritos parlamentares, o uso do algoritmo resultou na demissão, em 15 de Janeiro de 2021, do primeiro-ministro Mark Rutte, considerando que foram violados princípios fundamentais do Estado de Direito.

No Reino Unido (RU), onde os pergaminhos da tutela dos direitos dos cidadãos contra os abusos da Administração merecem respeito, o uso de algoritmos foi já abandonado no caso da substituição, afflicti mores, dos exames de acesso à universidade por uma ponderação curricular. O dito algoritmo favorecia sistematicamente os alunos das escolas privadas.

Também pelo RU foi abandonado um outro algoritmo (“Streaming Tool”) que analisava os pedidos de visto e que tinha uma estranha tendência para avaliar negativamente todos os pedidos de não caucasianos. O sector privado não é imune aos perigos da IA, com destaque para as relações jurídicas caracterizadas pela desigualdade negocial (relações laborais, direitos dos consumidores…).

A Comissão Europeia apresentou a 21 de Abril um Regulamento proibindo certos usos da IA e restringindo outros, classificados como sendo de alto risco. A negociação legislativa não durará menos de um ano e o Regulamento prevê uma vacatio de 24 meses. Até lá teremos de viver com os meios de bordo.