De AI Act bevindt zich in de laatste fase van het wetgevingsproces. De definitieve tekst van de verordening is nog niet gepubliceerd, maar het is inmiddels wel duidelijk in welke risicocategorieën AI-systemen worden ingedeeld en welke verplichtingen voor iedere risicocategorie zullen gelden. Per risicocategorie leggen wij uit aan welke verplichtingen AI-systemen moeten voldoen.
AI-systemen met een onaanvaardbaar risico
Over AI-systemen met een onaanvaardbaar risico kunnen we het kort houden, want die zijn simpelweg verboden. Zodra de AI Act in werking treedt mogen dergelijke systemen niet meer worden verkocht en gebruikt in de EU.
Verplichtingen voor AI-systemen met een beperkt risico
Voor AI-systemen waarmee mensen kunnen interacteren (zoals chatbots) geldt dat mensen moeten weten dat zij interacteren met AI en niet met een persoon. Mensen die interacteren met AI moeten daarover worden geïnformeerd op een duidelijke en begrijpelijke wijze.
Verplichtingen voor AI-systemen met een hoog risico
De AI Act bevat voornamelijk voorschriften voor AI-systemen met een hoog risico. Hieronder bespreken wij de algemene verplichtingen die zullen gelden voor dergelijke systemen.
Een van de belangrijkste verplichtingen voor hoog risico AI-systemen is dat zij transparant moeten zijn. Dat houdt in dat de werking van het systeem begrijpelijk moet zijn voor de aanbieders en gebruikers van het systeem, zodat zij de output van het systeem kunnen interpreteren en uitleggen.
Daarnaast moet in de ontwerp- en ontwikkelingsfase van hoog risico AI rekening worden gehouden met de verplichting om gebeurtenissen automatisch te registreren door middel van logging. Als een gebeurtenis risico’s oplevert voor de gezondheid, veiligheid of rechten van personen of als het systeem ingrijpend wordt gewijzigd, dan moet dat worden geregistreerd. Andere zaken die moeten worden geregistreerd zijn bijvoorbeeld het energieverbruik van het systeem en de duur van elk gebruik van het systeem.
Bovendien moeten hoog risico AI-systemen zo worden ontworpen en ontwikkeld dat daarop menselijk toezicht kan worden uitgeoefend. Menselijk toezicht moet zich richten op het voorkomen en beperken van de risico’s van het AI-systeem. De personen die verantwoordelijk zijn voor het menselijk toezicht moeten met een kritische blik kijken naar de output van het systeem.
Wat betreft beveiliging schrijft de AI Act voor dat hoog risico AI-systemen moeten worden ontworpen en ontwikkeld volgens het principe van security by design. Daarnaast moeten technische maatregelen worden getroffen die het AI-systeem beschermen tegen manipulaties en aanvallen die zijn bedoeld om fouten te creëren of vertrouwelijke gegevens te bemachtigen.
Voordat een hoog risico AI-systeem in de handel wordt gebracht of in gebruik wordt genomen, moet de aanbieder of gebruiker technische documentatie van het AI-systeem opstellen. Die documentatie moet aantonen dat het systeem voldoet aan de voorschriften van de AI Act.
Ook moet een risicomanagementsysteem worden opgezet en uitgevoerd tijdens de gehele levensduur van het hoog risico AI-systeem. Daarvan moet documentatie worden bijgehouden. Risicomanagement bestaat uit:
- Het vaststellen, inschatten en evalueren van de bekende en voorzienbare risico’s van het AI-systeem;
- Het evalueren van opkomende risico’s die zijn vastgesteld door middel van data-analyse;
- Het treffen van passende maatregelen die zijn gericht op het aanpakken van bovenstaande risico’s.
Tot slot moeten hoog risico AI-systemen worden geregistreerd in de openbare EU-databank. Deze registratieverplichting geldt voor zowel aanbieders als gebruikers van hoog risico AI.
Advies over de AI Act nodig?
Wil jij meer weten over de verplichtingen die voor jouw AI-systeem zullen gelden? Of heb je andere vragen over de AI Act? Neem dan contact op met ons via info@privacycoaches.nl.