As técnicas de manipulação propiciadas pela IA podem ser utilizadas para persuadir as pessoas a adotarem comportamentos indesejados, ou para as enganar incentivando-as a tomar decisões de uma forma que subverta e prejudique a sua autonomia, a sua tomada de decisões e a sua liberdade de escolha. A colocação no mercado, a colocação em serviço ou a utilização de determinados sistemas de IA com o objetivo ou o efeito de distorcer substancialmente o comportamento humano, sendo passível a ocorrência de danos significativos, em especial com repercussões negativas suficientemente importantes na saúde física, psicológica ou nos interesses financeiros, são particularmente perigosas e deverão, por isso, ser proibidas. Esses sistemas de IA utilizam quer componentes subliminares, como estímulos de áudio, de imagem e de vídeo dos quais as pessoas não se conseguem aperceber por serem estímulos que ultrapassam a perceção humana, quer outras técnicas manipuladoras ou enganadoras que subvertem ou prejudicam a autonomia, a tomada de decisões ou a liberdade de escolha das pessoas de uma maneira de que estas não têm consciência dessas técnicas ou que, mesmo que tenham consciência das mesmas, ainda possam ser enganadas ou não as possam impedir de controlar ou não lhes possam resistir. Tal poderá ser facilitado, por exemplo, por interfaces máquina-cérebro ou por realidade virtual, que permitem um maior nível de controlo do tipo de estímulos apresentados às pessoas, na medida em que podem distorcer substancialmente o seu comportamento de uma forma significativamente nociva. Além disso, os sistemas de IA podem também explorar vulnerabilidades de uma pessoa ou de um grupo específico de pessoas devido à sua idade, à sua deficiência na aceção da Diretiva (UE) 2019/882 do Parlamento Europeu e do Conselho (16), ou a uma situação social ou económica específica suscetível de tornar essas pessoas mais vulneráveis à exploração, como as pessoas que vivem em situação de pobreza extrema ou as minorias étnicas ou religiosas. Esses sistemas de IA podem ser colocados no mercado, colocados em serviço ou utilizados com o objetivo ou o efeito de distorcer substancialmente o comportamento de uma pessoa e de uma forma que cause ou seja razoavelmente suscetível de causar danos significativos a essa ou a outra pessoa ou grupos de pessoas, incluindo danos que possam ser acumulados ao longo do tempo, razão pela qual deverão ser proibidos. Pode não ser possível presumir que existe intenção de distorcer o comportamento se a distorção resultar de fatores externos ao sistema de IA que estejam fora do controlo do prestador ou do responsável pela implantação, nomeadamente fatores que podem não ser razoavelmente previsíveis e que, por conseguinte, o prestador ou responsável pela implantação do sistema de IA não possam atenuar. De qualquer modo, não é necessário que o prestador ou o responsável pela implantação tenha a intenção de causar danos significativos, basta que tal dano resulte das práticas manipuladoras ou exploratórias baseadas na IA. As proibições de tais práticas de IA complementam as disposições da Diretiva 2005/29/CE do Parlamento Europeu e do Conselho (17), nomeadamente as que proíbem as práticas comerciais desleais que causam danos económicos ou financeiros aos consumidores, em quaisquer circunstâncias, independentemente de serem aplicadas através de sistemas de IA ou de outra forma. As proibições de práticas manipuladoras e exploratórias previstas no presente regulamento não deverão afetar as práticas lícitas no contexto de tratamentos médicos, como o tratamento psicológico de uma doença mental ou a reabilitação física, sempre que tais práticas sejam realizadas em conformidade com a lei e as normas médicas aplicáveis, como, por exemplo, o consentimento explícito das pessoas ou dos seus representantes legais. Além disso, as práticas comerciais comuns e legítimas, como por exemplo no domínio da publicidade, que cumpram a lei aplicável não deverão, por si só, ser consideradas práticas manipuladoras prejudiciais tornadas possíveis pela IA.
