A cibersegurança desempenha um papel fundamental para garantir que os sistemas de IA sejam resistentes às ações de terceiros mal-intencionados que tentam explorar as vulnerabilidades dos sistemas com o objetivo de lhes alterar a utilização, o comportamento e o desempenho ou de por em causa as suas propriedades de segurança. Os ciberataques contra sistemas de IA podem tirar partido de ativos específicos de IA, como os conjuntos de dados de treino (por exemplo, contaminação de dados) ou os modelos treinados (por exemplo, ataques antagónicos ou inferência de membros), ou explorar vulnerabilidades dos ativos digitais do sistema de IA ou da infraestrutura de tecnologias da informação e comunicação (TIC) subjacente. A fim de assegurar um nível de cibersegurança adequado aos riscos, os prestadores de sistemas de IA de risco elevado deverão tomar medidas adequadas, como os controlos de segurança, tendo ainda em devida conta a infraestrutura de TIC subjacente.
