Een kritische blik op veiligheid en het ontwerp van AI
Bij ouderwetse auto’s kun je de motorkap openen, en per onderdeel bekijken waarom de motor een storing heeft. Bij nieuwe auto’s is dat al heel veel lastiger vanwege de vele elektronica. Bij AI systemen gaat dat nog een stap verder, en is het vrijwel onmogelijk om terug te redeneren waarom het systeem een bepaalde keuze maakte.
Of een AI systeem goed functioneert gaat niet altijd over storingen of foute beslissingen. Het systeem kan perfect werken zoals het ontworpen is, maar toch niet goed functioneren.
Omdat AI systemen zelflerend en zelfsturend zijn kan het gebeuren dat ze andere keuzes maken dan de ontwerpers gedacht hadden. Het kan dus bijvoorbeeld lijken of een AI systeem een groep mensen discrimineert, of bepaalde bedrijven voortrekt.
Daarbij speelt ook aansprakelijkheid bij schade een rol. Want wie is er verantwoordelijk als een AI systeem een fout maakt? Is dat de ontwerper, de gebruiker, of misschien het systeem zelf? Dit zijn enorm lastige vragen waar geen simpele antwoorden voor zijn. Tot op Europees niveau wordt er gewerkt aan regelgeving rondom het gebruik van AI systemen, maar het gaat nog lang duren voordat we daar goede afspraken over gemaakt hebben
Je ziet dat het ontwerpen van AI systemen best ingewikkeld is. Je moet ervoor zorgen dat het system goed werkt in bekende situaties, maar ook in situaties die je niet van tevoren bedacht hebt. We moeten rekening houden met regels en wetten, maar ook voorkomen dat AI systemen onbedoeld bedrijven voortrekken, of niet meer te besturen zijn. Allemaal lastige effecten die niet altijd op de tekentafel al duidelijk zijn, en pas zichtbaar worden in het gebruik.