Artigo 15.º

Exatidão, solidez e cibersegurança

1.   Os sistemas de IA de risco elevado devem ser concebidos e desenvolvidos de maneira que alcancem um nível apropriado de exatidão, solidez e cibersegurança e apresentem um desempenho coerente em relação a tais aspetos durante o seu ciclo de vida.

2.   A fim de abordar os aspetos técnicos relativos à forma de medir os níveis adequados de exatidão e solidez estabelecidos no n.o 1, bem como quaisquer outros parâmetros de desempenho pertinentes, a Comissão, em cooperação com as partes interessadas e as organizações pertinentes, tais como as autoridades responsáveis pela metrologia e pela avaliação comparativa, incentiva, conforme adequado, o desenvolvimento de parâmetros de referência e metodologias de medição.

3.   As instruções de utilização que acompanham os sistemas de IA de risco elevado devem declarar os níveis de exatidão e os parâmetros de exatidão aplicáveis.

4.   Os sistemas de IA de risco elevado devem ser tão resistentes quanto possível a erros, falhas ou incoerências que possam ocorrer no sistema ou no ambiente em que aquele opera, em especial devido à interação com pessoas singulares ou outros sistemas. A este respeito, devem ser tomadas medidas técnicas e organizativas.

A solidez dos sistemas de IA de risco elevado pode ser alcançada por via de soluções de redundância técnica, que podem incluir planos de reserva ou planos de segurança à prova de falhas.

Os sistemas de IA de risco elevado que continuam a aprender após serem colocados no mercado ou colocados em serviço são desenvolvidos de forma a eliminar ou reduzir, tanto quanto possível, o risco de resultados possivelmente enviesados que influenciem os dados de entrada de futuras operações (circuitos de realimentação), bem como a assegurar que esses resultados possivelmente enviesados sejam objeto de medidas de atenuação adequadas.

5.   Os sistemas de IA de risco elevado devem ser resistentes a tentativas de terceiros não autorizados de alterar a sua utilização, os seus resultados ou seu desempenho explorando as vulnerabilidades do sistema.

As soluções técnicas destinadas a assegurar a cibersegurança dos sistemas de IA de risco elevado devem ser adequadas às circunstâncias e aos riscos de cada caso.

As soluções técnicas para resolver vulnerabilidades específicas da IA devem incluir, se for caso disso, medidas para prevenir, detetar, resolver e controlar, bem como dar resposta a ataques que visem manipular o conjunto de dados de treino (contaminação de dados) ou componentes pré-treinados utilizados no treino (contaminação de modelos), dados de entrada concebidos para fazer com que o modelo de IA cometa um erro (exemplos antagónicos ou evasão de modelos), ataques de confidencialidade ou falhas do modelo.

Frequently Asked Questions

Sistemas de IA de risco elevado são tecnologias cuja utilização envolve riscos significativos para indivíduos, segurança ou direitos fundamentais, devendo, portanto, ser desenvolvidas com altos padrões de precisão, resistência a falhas e segurança contra ataques, conforme definido pelo AI Act, para garantir proteção adequada em situações práticas reais e ao longo do uso.
Para assegurar exatidão e robustez adequadas, o AI Act recomenda criar métodos claros para medir desempenho e precisão ao longo do tempo, com apoio de especialistas e organizações especializadas em avaliação técnica; são incentivadas também soluções técnicas que considerem falhas, erros ou interferências externas entre o sistema, pessoas e ambientes operacionais variados.
É essencial implementar soluções técnicas específicas que impeçam, detetem e corrijam tentativas não autorizadas de interferir nos sistemas de IA, incluindo proteção contra manipulação de dados usados para aprendizado, além de ações para responder rapidamente a ataques que explorem falhas internas ou dados intencionalmente distorcidos para influenciar negativamente os resultados.
Os utilizadores devem receber instruções claras quanto aos níveis de exatidão e a parâmetros específicos que determinam como o sistema atua, ajudando-os a compreender melhor o funcionamento do sistema de IA e o grau de confiança que podem ter em suas respostas e decisões no dia a dia.

Literacia no domínio da IA

Get Started within 24 hours.

Once you have submitted your details, you’ll be our top priority!