1. Os sistemas de IA de risco elevado devem ser concebidos e desenvolvidos de modo a poderem, nomeadamente por meio de ferramentas de interface homem-máquina apropriadas, ser eficazmente supervisionados por pessoas singulares durante o período em que estão em utilização.
2. A supervisão humana deve procurar prevenir ou minimizar os riscos para a saúde, a segurança ou os direitos fundamentais que possam surgir quando um sistema de IA de risco elevado é usado em conformidade com a sua finalidade prevista ou em condições de utilização indevida razoavelmente previsível, em especial quando esses riscos persistem apesar da aplicação de outros requisitos estabelecidos na presente secção.
3. As medidas de supervisão humana devem ser consentâneas com os riscos, ao nível de autonomia e ao contexto de utilização do sistema de IA de risco elevado e a supervisão deve ser assegurada por meio de um ou de todos os seguintes tipos de medidas:
|
a) |
Medidas identificadas e integradas, quando tecnicamente viável, pelo prestador no sistema de IA de risco elevado antes de este ser colocado no mercado ou colocado em serviço; |
|
b) |
Medidas identificadas pelo prestador antes de o sistema de IA de risco elevado ser colocado no mercado ou colocado em serviço e que se prestem a serem postas em prática pelo responsável pela implantação. |
4. Para efeitos da aplicação dos n.os 1, 2 e 3, o sistema de IA de risco elevado deve ser disponibilizado ao responsável pela implantação de modo a que seja possível às pessoas singulares responsáveis pela supervisão humana, conforme adequado e de forma proporcionada:
|
a) |
Compreender adequadamente as capacidades e limitações pertinentes do sistema de IA de risco elevado e conseguir controlar devidamente o seu funcionamento, nomeadamente a fim de detetar e corrigir anomalias, disfuncionalidades e desempenhos inesperados; |
|
b) |
Estar conscientes da possível tendência para confiar automaticamente ou confiar excessivamente nos resultados produzidos pelo sistema de IA de risco elevado (enviesamento da automatização), em especial no que toca a sistemas de IA de risco elevado utilizados para prestar informações ou recomendações com vista à tomada de decisões por pessoas singulares; |
|
c) |
Interpretar corretamente os resultados do sistema de IA de risco elevado, tendo em conta, por exemplo, as ferramentas e os métodos de interpretação disponíveis; |
|
d) |
Decidir, em qualquer situação específica, não usar o sistema de IA de risco elevado ou ignorar, anular ou reverter os resultados do sistema de IA de risco elevado; |
|
e) |
Intervir no funcionamento do sistema de IA de risco elevado ou interromper o sistema por meio de um botão de «paragem» ou de um procedimento similar que permita parar o sistema de modo seguro. |
5. Em relação aos sistemas de IA de risco elevado a que se refere o anexo III, ponto 1, alínea a), as medidas referidas no n.o 3 do presente artigo devem, além disso, permitir assegurar que nenhuma ação ou decisão seja tomada pelo responsável pela implantação com base na identificação resultante do sistema, salvo se a mesma tiver sido verificada e confirmada separadamente por, pelo menos, duas pessoas singulares com a competência, formação e autoridade necessárias.
O requisito de verificação separada por, pelo menos, duas pessoas singulares não se aplica aos sistemas de IA de risco elevado utilizados para efeitos de aplicação da lei, de migração, de controlo das fronteiras ou de asilo, em que o direito da União ou o direito nacional considere que a aplicação deste requisito é desproporcionada.
