Logica voor ethische software

Talloze computersystemen, bijvoorbeeld in ziekenhuizen, nemen tegenwoordig beslissingen met een ethisch aspect. De vraag is hoe je dat soort beslissingen verantwoord implementeert in software.

Nederland is goed voorbereid op rampen. Brandweer, politie en andere hulpdiensten beschikken over uitgebreide draaiboeken hoe met calamiteiten om te gaan. In onoverzichtelijke situaties raken mensen echter snel grip kwijt, omdat ze gebombardeerd worden met informatie, of juist een gebrek eraan hebben. Bovendien kunnen er honderden voortdurend veranderende factoren zijn, die mensen simpelweg niet overzien kunnen. Daarom is het goed dat ze worden ondersteund door informatiesystemen, die van tevoren zo geprogrammeerd zijn dat ze (onder meer) informatie op de juiste plek doen belanden.

‘Wanneer computersystemen mede waken over cruciale informatie-uitwisseling, over privacy en andere verantwoordelijke zaken, is de vraag hoe je die morele waarden op een deugdelijke manier in computertermen vertaalt’, zegt prof.dr. Jeroen van den Hoven. ‘Er kan sprake zijn van ingewikkelde politieke, juridische en ethische overwegingen, maar de computer kent slechtst enen en nullen.’

De computer kent, met andere woorden, niet de subtiele belevingswereld van mensen. Daarom zal software met precaire taken ethisch transparant moeten zijn: het moet volstrekt helder zijn op grond van welke morele overwegingen een besluit genomen wordt. Programmeurs moeten er dus voor zorgen dat de veronderstellingen en oordelen herkenbaar in hun code zitten, niet verstopt in ondoorgrondelijke formules en modellen. Methoden om programmeurs daarbij te helpen staan nog in de kinderschoenen. Ze worden onder andere bij 3TU Ethics ontwikkeld.

Consequenties

‘Er kunnen logische consequenties zijn van beschikbare informatie, waar je je als mens niet van bewust bent, omdat de situatie zo ingewikkeld is’, legt Van den Hoven uit. ‘Voor een verplegende zal bijvoorbeeld lang niet altijd duidelijk zijn tot welke onderdelen van een elektronisch patiënten dossier zij toegang heeft – en zo ja of ze die alleen mag inzien of ook mag doorsturen of wijzigen. Dat zal het systeem moeten afvangen. Maar dat systeem moet dan ook kunnen uitleggen waarom zij iets niet mag bekijken.’

Computersystemen moeten hun digitale redeneringen dus in menselijke termen kunnen vertalen, zodat niet alleen de programmeurs maar ook gebruikers snappen hoe ze werken. Dat is van belang om er goed mee te kunnen werken, maar ook om de verantwoordelijkheden bij falen beter te kunnen ontrafelen.

Neem bijvoorbeeld de talloze elektronische systemen die vandaag de dag vliegtuigen besturen, ook tijdens opstijgen en landen. Als er iets misgaat, wiens fout is het dan? De piloot, omdat hij het systeem heeft ingeschakeld, de informatie-architect die het systeem ontwierp, de manager die het beleid opstelde om zoveel mogelijk op de automatische piloot te vliegen? Zo’n vraag laat zich nooit eenduidig beantwoorden, maar het helpt in elk geval als volstrekt duidelijk is wat het systeem doet en waarom.

Geschreven voor de website van 4TU Ethics, 2009