“Penso que a nível regulatório deverão ser dados passos firmes no sentido de colocar novamente a UE no mapa do desenvolvimento e inovação tecnológica”, defende José Marques Moreira, especialista em Direito Digital e professor no Departamento de Direito da Universidade Portucalense.
Professor no departamento de Direito da Universidade Portucalense, José Marques Moreira é especialista em Direito Digital, nomeadamente em matérias relacionadas com ética e governança da IA, proteção de dados, deepfakes, cibercriminalidade e utilização da IA nas relações laborais, entre outras.
Em entrevista ao Link to Leaders, analisa um conjunto de questões que podem ajudar gestores, decisores e empresas a compreender como devem preparar-se para o futuro e garantir que a utilização da IA não se transforma num risco empresarial. Fala do impacto futuro das novas tecnologias e dos riscos no domínio dos direitos dos cidadãos, empresas e instituições, destaca o papel da legislação e a necessidade da Europa se afirmar no desenvolvimento e inovação tecnológica.
José Marques Moreira sublinha que “a tecnologia deve, em última análise, permanecer ao serviço do cidadão, sem jamais substituir ou esvaziar as características essenciais que o definem enquanto ser humano”. Leia a entrevista.
Como avalia o atual “Estado da Nação” no que concerne à forma como as organizações portuguesas estão a usar a IA?
Creio que, aos dias de hoje, ainda é prematuro determinar com precisão o estádio evolutivo da implementação da IA no tecido empresarial português. De todo o modo, diria que o “Estado da Nação” deve ser caracterizado como estando numa fase de adoção inicial, com sinais positivos, mas ainda marcado por uma maturidade limitada.
Um estudo recente do INE revela que apenas 11,5% das empresas portuguesas utilizam tecnologias de IA, pese embora essa taxa aumente para 49,1% entre empresas com mais de 250 trabalhadores. Já a nível comparado, o relatório da Microsoft “AI Diffusion Report: Where AI is Most Used, Developed and Built”, posiciona Portugal no 20.º lugar entre os países europeus com maior taxa de adoção de IA.
Ou seja, Portugal apresenta indicadores interessantes, mas atravessa um momento de desenvolvimento lento, onde a adoção cresce, mas a maturidade ainda não acompanha o potencial tecnológico. O verdadeiro salto irá ocorrer quando as organizações entrarem numa fase de integração estratégica, alinhada com outros ordenamentos, tal como o norte-americano.
E as empresas portuguesas estão suficientemente preparadas para os riscos operacionais, jurídicos e éticos que a IA envolve?
Temo que a resposta a essa questão possa variar em função da dimensão da organização e da maturidade tecnológica das empresas portuguesas. Se falarmos em grandes empresas, como por exemplo as cotadas em bolsa nacional ou organizações com estruturas internas mais robustas, verificamos um esforço não apenas na exploração dos benefícios operacionais da IA, mas também na mitigação dos riscos inerentes desta tecnologia. E isso é visível não apenas por causa dos impactos financeiros e dos danos decorrentes de decisões automatizadas falhadas, mas também dos riscos reputacionais e de accountability que daí possam advir. E aí os departamentos jurídicos e de compliance terão seguramente um papel importante e estarão a acompanhar de perto a evolução legislativa europeia nesta matéria.
Contudo, se falarmos em empresas com menor dimensão, que constituem uma parte substancial do tecido empresarial português, aí a prioridade tende a ser distinta. Penso que a tónica possa recair sobretudo nos benefícios imediatos da tecnologia, como o aumento da eficiência, a melhoria da experiência do cliente, a criação de novos modelos de negócio, a captação de novos clientes no mercado digital, etc.. Tudo isto constitui um potencial de crescimento significativo e, parece-me, é onde estas empresas concentram os seus recursos.
Quais os modelos de governança que as empresas em Portugal (e na Europa) devem adotar para que a IA seja uma vantagem e não uma fonte de crise ou litígio?
Penso que a melhor forma de evitar situações de crise nesta matéria, seja através da adoção de um modelo de governance preventivo. Em traços gerais, e num nível macro, diria que este modelo se materializa na capacitação dos colaboradores, na institucionalização de políticas internas alinhadas com as melhores práticas internacionais (e.g. códigos de conduta, códigos de ética, etc.), no acompanhamento sistemático das guidelines emanadas pela UE, no acompanhamento da evolução do quadro regulatório, entre outros.
A tudo isto acresce a necessidade de assegurar a coerência entre o direito europeu e a legislação nacional e, num momento subsequente, é necessária a validação dos resultados através de mecanismos de auditoria interna.
Já em termos operacionais, diria que é necessário que a IA não fique num silo tecnológico. Ou seja, as empresas devem criar organismos dotados de pessoas com o skill set necessário para desenvolver essas políticas internas, definir o que pode ou não pode ser desenvolvido pela organização, aprovar casos de uso, realizar os assessments necessários para garantir a conformidade dos sistemas de IA (e.g. assessments aos dados pessoais, relacionados com a confidencialidade dos dados, com propriedade intelectual, cibersegurança, compliance legal, etc.), definir critérios de risco, supervisionar incidentes, etc..
Em função do tipo de sistema IA que esteja a ser desenvolvido, há que ter ainda em consideração que a legislação obriga ao cumprimento de determinadas previsões normativas, atento o risco que ele aporte para o seu utilizador. Por exemplo, tratando-se de um sistema de IA de risco elevado, será necessária a criação de mecanismos de supervisão humana, a elaboração de documentação técnica, etc.
Ou seja, o modelo de governance nesta matéria é, de facto, particularmente exigente e pode variar em função do tipo de IA e do volume de use cases que estejam a ser desenvolvidos pela empresa. Mas na minha opinião o governance preventivo é aquele que dá mais garantias de cumprimento às organizações.
Como se define e reparte a responsabilidade quando a IA comete um erro. Por exemplo erro de crédito, viés algorítmico, deepfake que causa prejuízo, automatização de despedimentos, falha em sistema laboral)?
Essa é uma questão particularmente exigente e para a qual tenho dedicado os últimos anos da minha investigação a tentar encontrar respostas. No domínio do viés algorítmico, e considerando que muitos sistemas de IA operam como modelos black box, é essencial assegurar que os dados de treino não incorporam formas de discriminação, seja ela direta ou indireta.
E a experiência internacional e europeia mostra-nos que este risco não é meramente teórico. Por exemplo, no domínio laboral, já se registaram casos de discriminação algorítmica, como o sistema de recrutamento da Amazon nos EUA, o algoritmo de gestão da Deliveroo em Itália e, no contexto nacional, o caso que envolveu a TAP. Temo, portanto, que, numa primeira linha, o empregador possa ter um papel determinante no apuramento da eventual responsabilidade que possa emergir da utilização deste tipo de sistemas de IA.
Relativamente aos deepfakes, caso os danos comportem prejuízos patrimoniais e a factualidade deva ser enquadrada numa perspetiva criminal, por exemplo na prática do crime de burla (e.g. “CEO fraud”), nesse caso o melhor modelo será mesmo a adoção de mecanismos internos de dupla validação e na formação dos colaboradores. Também neste domínio já se verificaram situações em que empresas sofreram avultados prejuízos patrimoniais, precisamente pelo facto de não disporem deste tipo de sistemas de validação. E é muito difícil (para não dizer impossível) para o promotor do processo penal, apurar a autoria material deste tipo de crimes.
Já no que concerne aos casos de danos materiais emergentes de um sinistro de viação provocado por um veículo de condução autónoma, ou seja, responsabilidade civil, aqui o regime poderá ser enquadrado na responsabilidade do produtor pela não conformidade de determinados componentes do veículo.
Aliás, a UE tem vindo a desenvolver esforços no sentido de aprovar a Diretiva relativa à adaptação das regras da responsabilidade civil extracontratual à IA, e a ratio normativa seguida tem acompanhado esta esteira de perto. Claro que será necessário em primeiro lugar a aprovação da Diretiva e subsequentemente a transposição da mesma para o ordenamento jurídico nacional, mas, ainda assim, já nos permite fazer uma prognose sobre a opção legislativa que se encontra em discussão e dessa forma retirar algumas ilações.
Portanto, penso que devemos analisar casuisticamente cada uma destas situações e, em função da factualidade, aplicar os respetivos institutos jurídicos adaptados à realidade tecnológica que estamos a analisar.
Qual o papel do regulador, do compliance, da auditoria de IA?
Para já, em Portugal, ainda é residual. Em setembro, bem ou mal, o Governo nomeou a ANACOM como o regulador português para a IA. Contrariamente ao que sucedeu por exemplo em Espanha, onde foi criado um organismo específico para supervisionar e fiscalizar a atividade, Portugal optou por centralizar esta competência num regulador que já dispõe de várias pastas regulatórias, o que me parece levantar desafios de capacidade e de especialização.
Parece-me que neste momento a ANACOM deverá dotar-se dos meios humanos e técnicos para prossecução desta atividade e poderá aproveitar este momento de entrada em vigor parcial do Regulamento de IA, para adotar uma série de medidas preventivas, sejam elas a emissão de guidelines interpretativas a ser observadas no mercado nacional, a criação das sandboxes regulatórias tal como previsto no Regulamento de IA, o estabelecimento de canais de comunicação com as empresas, a promoção de campanhas de sensibilização dos cidadãos e empresas, ou a realização de sessões de formação.
A Europa está no caminho certo no que respeita ao quadro legislativo definido (ou a definir) para a IA?
Tenho dúvidas que haja consenso mesmo no seio da União Europeia relativamente a essa questão. Ainda no dia 19 de novembro, a Comissão Europeia publicou a “Digital Omnibus on AI Regulation proposal”, com o objetivo de permitir o adiamento da aplicação de certas obrigações para sistemas de IA de risco elevado, tornar o ambiente regulatório da UE mais claro, menos sobrecarregado e alinhado com o mercado dos EUA e da China.
Por outro lado, basta fazer uma pesquisa rápida sobre a lista das dez maiores empresas com capital bolsista a nível mundial, para se concluir três pontos: o primeiro é que a maioria das empresas se dedica ao desenvolvimento direto ou indireto, mediato ou imediato, de sistemas de IA; o segundo é que a maioria destas empresas têm a sua sede nos EUA; e o terceiro é que nenhuma destas empresas está sediada na UE.
Estes factos parecem-me reveladores da asfixia legislativa a que as empresas europeias se encontram sujeitas, sobretudo quando comparadas com ecossistemas mais favoráveis, baseados em soft law, que premiam a inovação e a autorregulação. Penso que a nível regulatório deverão ser dados passos firmes no sentido de colocar novamente a UE no mapa do desenvolvimento e inovação tecnológica, porque a reflexão há muito que foi feita e os mercados estão a sofrer os impactos das políticas legislativas adotadas nos últimos anos.
De que forma as leis europeias (como a Lei de IA) e normas de ética se cruzam com a atual realidade empresarial?
Na minha opinião, esse cruzamento apresenta hoje um cenário heterogéneo, onde alguns setores estão relativamente alinhados com o quadro regulatório, enquanto outros evidenciam um desfasamento.
Por exemplo, nos casos de sistemas de IA que envolvam um risco manifestamente elevado (como por exemplo na área da saúde, sistemas de segurança e de vigilância, áreas suscetíveis de afetar o funcionamento das instituições democráticas), penso que a exigência legislativa se compreende. Creio que não seria aceitável a existência de softwares de social scoring alicerçados em sistemas de IA, assim permitindo aos Estados efetuar a vigilância massiva da população e a atribuição de pontuações em função de comportamentos sociais, ou permitir que dispositivos médicos de natureza crítica fossem operados sem supervisão humana.
Mas noutros casos o próprio sistema jurídico-regulatório ainda está longe de estar atualizado. Veja-se o exemplo dos centros telefónicos call center, cujo enquadramento normativo, no contexto português, assenta em legislação de 2009, e onde o impacto da IA poderá comportar efeitos significativos, nomeadamente através de sistemas de IA de interação com os clientes. Penso que neste caso estamos perante uma zona de fricção e de atraso regulatório que urge melhorar.
E, considerando o atual quadro legislativo, o que podem as empresas e gestores esperar do futuro?
Alguma incerteza, porque, conforme referi, apesar do exigente acervo legislativo elaborado ao longo dos últimos anos, parece-me que a UE está finalmente a caminhar no sentido de simplificar algumas normas associadas ao domínio da IA. De outra banda, os reguladores ainda não estão preparados para dar resposta às solicitações dos regulados e os próprios utilizadores ainda estão a compreender de que forma podem tirar o máximo partido desta tecnologia.
Se tivesse de dar um conselho, diria que o primeiro passo seria realizar um investimento tecnológico que permitisse a empresa acompanhar a tendência do mercado digital alicerçado na IA. Ou seja, compreender estrategicamente onde a empresa se posiciona (o nível de maturidade tecnológica) e onde se pretende colocar no mercado, atendendo o desenvolvimento tecnológico. Esse investimento deverá ser acompanhado de políticas de governance e de compliance preventivas, garantindo que a empresa não está a atuar contra a lei e a cometer qualquer ilegalidade. Por último, ir acompanhando a evolução legislativa, que me parece que será alvo de alteração nos próximos anos, em função do desenvolvimento tecnológico.
Como podem as micro e PME (que muitas vezes não têm equipas robustas de compliance) dar passos práticos para mitigar riscos de IA?
Penso que, numa primeira fase, as PME deverão recorrer a aconselhamento jurídico especializado. Até porque, por via de regra, as empresas trabalham com parceiros de negócio e prestam serviços a diversos clientes, sendo necessária a celebração de diversos contratos, tais como NDA, DPA, acordos de intenções, memorandos de entendimento, contratos de prestação de serviços, etc.. E, portanto, o aconselhamento jurídico no domínio do direito digital revela-se aqui ainda mais essencial, uma vez que é necessária a elaboração de avaliações sobre o sistema de IA que está em desenvolvimento e, em função dessa avaliação, poderá ser necessária a elaboração de mais documentação tendo em vista a garantia do cumprimento de todas as obrigações.
A par disso, não será despiciendo recordar que Portugal dispõe de diversos apoios financeiros específicos para ajudar as PME a adotar a IA com responsabilidade, mormente através de linhas de apoio no âmbito do PRR.
Por último, penso que podem também realizar um diagnóstico interno para avaliação da maturidade digital da empresa, apostar na formação contínua dos seus colaboradores no que concerne à utilização responsável da IA, devem começar por desenvolver provas de conceito (PoC) antes de escalar para aplicações mais complexas, podem criar políticas e procedimentos simples relacionados com ética na utilização e desenvolvimento de sistemas de IA, etc.
O que muda para os trabalhadores quando decisões de IA influenciam carreira, avaliação, despedimento, recrutamento — e como garantir que se preservam direitos e confiança?
Atualmente, o Código do Trabalho português prevê uma primeira linha de defesa do trabalhador e do candidato a emprego, ao estabelecer o princípio da igualdade de tratamento e não discriminação, incluindo nos domínios relacionados com a tomada de decisões algorítmicas. Este princípio encontra-se alinhado com as traves-mestras do Regulamento de IA, que vai mais longe e caracteriza estes sistemas como “sistemas de risco elevado”. Para esse efeito, o núcleo normativo central do diploma terá aplicabilidade direta tanto para as empresas, como para os trabalhadores.
O problema é que, tal como já tive oportunidade de escrever em alguns artigos científicos, o Regulamento de IA funciona como uma “lei de bases” da IA, não conferindo nenhum direito sindicável, de forma imediata, pelo trabalhador ou candidato a emprego. Ou seja, caso este pretenda impugnar a decisão algorítmica, parece-me que atualmente apenas o poderá efetuar através do recurso ao RGPD, nomeadamente através do artigo relacionado com a tomada de decisões individuais automatizadas.
Por outro lado, o empregador fica numa posição fragilizada caso não consiga explicar o motivo que levou o algoritmo a tomar uma decisão discriminatória. O que, atenta a natureza da tecnologia atual assente em black box, comportará uma desvantagem significativa para o empregador. Nessa medida, parece-me que a supervisão humana desempenhará um papel importante neste tipo de sistemas de IA, ao impedir a verificação de potenciais situações discriminatórias que possam lesar o empregador. Ou seja, creio que o empregador deverá adotar uma posição de “human in the loop”, em vez de se conformar com os outputs providenciados pelo algoritmo, sem os validar previamente.
Pode a utilização da IA tornar-se um risco empresarial? E que medida?
Sem sombra de dúvida. Casos de deficiente implementação da tecnologia poderão representar um risco empresarial. A situação acabada de descrever é claramente uma dessas hipóteses. Mas há outras. Por exemplo modelos de previsão utilizados para reposição de stocks que erram por terem sido alimentados com dados desatualizados, o upload indevido de dados pessoais, chatbots que geram respostas que não correspondem à realidade derivadas de alucinações, etc. Todos estes exemplos, entre muitos outros, além de poderem causar putativos danos patrimoniais, representam um risco elevado de danos reputacionais.
Enquanto especialista em Direito Digital e professor, o que é que o preocupa mais quanto ao futuro das novas tecnologias e os riscos que têm associados no domínio dos direitos dos cidadãos, empresas, instituições..?
Em primeiro lugar, uma das preocupações mais relevantes prende-se com a erosão da autonomia individual. A dependência de sistemas tecnológicos pode, a médio e longo prazo, gerar assimetrias entre quem acompanha este ritmo e quem fica excluído. Este risco não se subsume apenas aos cidadãos, abrangendo também os Estados, que podem vir a depender de infraestruturas críticas desenvolvidas fora do espaço europeu, comprometendo a sua soberania e capacidade de prosseguir funções de interesse público.
Penso que este fenómeno se irá intensificar com o avanço da computação quântica, cujo potencial disruptivo, conjugado com a IA, criará dinâmicas tecnológicas de ordem inteiramente nova. Se a UE já se encontra numa posição desfavorável no domínio da IA, seria, a meu ver, particularmente problemático repetir esse atraso no domínio da computação quântica.
Uma segunda preocupação reside na necessidade de desenvolver mecanismos de supervisão algorítmica. Entendo que, num futuro próximo, deverá ser equacionada a possibilidade de utilização de sistemas de IA para monitorizar, fiscalizar e auditar outros sistemas de IA, precisamente para salvaguardar direitos dos cidadãos e das empresas.
Se um algoritmo possui a capacidade de gerar um determinado output capaz de impactar a carreira profissional de um trabalhador, então deve existir um sistema de validação capaz de identificar potenciais situações discriminatórias, remetendo essa informação para efeitos de decisão humana. Em termos jurídicos, isto traduz-se na construção de circuitos de controlo e redundância, essenciais enquanto não existirem níveis adequados de confiança tecnológica e de redução sistemática do erro algorítmico.
Por fim, preocupa-me a possibilidade de perda de controlo individual sobre a forma como a informação é produzida, tratada e utilizada. Ou seja, a proliferação de sistemas de IA capazes de gerar conteúdos realistas (especialmente deepfakes) aumenta o risco de desinformação, manipulação e interferência no espaço público. Paradoxalmente, na minha opinião quanto mais avançados forem os sistemas de IA, maior será a necessidade de intervenção humana para assegurar a transparência e a veracidade da informação. Numa frase, a tecnologia deve, em última análise, permanecer ao serviço do cidadão, sem jamais substituir ou esvaziar as características essenciais que o definem enquanto ser humano.
