Johannes: Je moet beginnen, elke bank moet iets doen. We weten nog niet hoe de toekomst eruit gaat zien, maar je moet mee, je moet ervaring opdoen.
Welkom bij Compliance Adviseert, met experts, adviseurs, bestuurders en de business bespreken we Risk & Compliance binnen de financiële wereld en alle uitdagingen en dilemma’s die daarbij horen, want voor het juiste en rechte pad bestaat geen navigatiesysteem. Deze podcast wordt mede mogelijk gemaakt door Deloitte, De Volksbank, Hyarchis en Osborne Clarke. Je host is Jeroen Broekema.
Jeroen: Welkom, luisteraars, bij een nieuwe aflevering van Compliance Adviseert. Erg leuk dat je luistert! Ik denk ook dat het heel interessant gaat worden vandaag, want we gaan het hebben over AI, artificial intelligence, in compliance. Oftewel: het woord dat we allemaal zo vaak horen de afgelopen tijd en dan gecombineerd met compliance. Ik ben erg benieuwd! Bij mij aan tafel Johannes de Jong, partner bij Osborne Clarke, welkom Johannes!
Johannes: Dankjewel, Jeroen!
Jeroen: Leuk dat je er bent. En daarnaast Joris Krijger, Ethics & AI officer bij De Volksbank en promovendus bij de Erasmus Universiteit. Welkom, Joris!
Joris: Dank voor de uitnodiging!
Jeroen: Heel erg leuk dat jullie er zijn. Voordat we dieper op het onderwerp induiken en het verder gaan bespreken, ben ik natuurlijk heel erg benieuwd naar jullie achtergronden. Want ik stel jullie heel kort voor, maar wat zegt het eigenlijk over jullie? Jullie zijn natuurlijk veel meer dan alleen maar partner bij Osborne Clark en Ethics & AI Officer bij de Volksbank promovendus. Dus allereerst, Johannes, mag ik jou vragen of je wat nadere toelichting zou willen geven over jouw achtergrond?
Johannes: Zeker. Ik ben ooit begonnen als advocaat bij Allen & Overy. Daar is mijn professionele leven begonnen nadat ik strafrecht had gestudeerd. In die tijd kon je nog niet zoiets studeren als financieel recht, dat kan tegenwoordig gelukkig wel. Ik moest daar ontdekken dat ik eigenlijk heel erg geïnteresseerd was in de financiële sector en alle regelgeving die daarop van toepassing was. Toen kwam ook de wet op het financieel toezicht. Dat was voor mij een hele mooie opening om mijn carrière op te bouwen. Ik heb in het begin heel veel banken geadviseerd en verzekeraars, met name beursgenoteerd. Op enig moment heb ik de overstap gemaakt naar de AFM, de Autoriteit Financiële Markten, om daar toezicht te houden. Dat was een bijzondere tijd, heel anders dan de advocatuur. Heel veel van geleerd, daar heb ik ook weer afscheid van genomen na een aantal jaar omdat ik dacht dat de advocatuur uiteindelijk beter bij mij paste. Toen ben ik begonnen bij Osborne Clarke, waar ik nu nog steeds zit. Daar heb ik een praktijk kunnen opbouwen die zich met name op de fintechs en de banken die in de digitale transformatie zitten kunnen oriënteren en een redelijk groot team kunnen opbouwen. Op dit moment adviseren wij dus inderdaad met name op het snijvlak van regelgeving en tech-toepassingen in de financiële sector.
Jeroen: Mooie introductie! Even één korte vervolgvraag: het zijn van advocaat, wat maakt dat nou zo mooi voor jou?
Johannes: Dat je altijd met nieuwe uitdagingen voor nieuwe cliënten bezig bent. Dus het is niet voor één organisatie, ik heb bijvoorbeeld een heel aantal maanden achtereen bij een grote bank gezeten, hartstikke leuk. Maar als advocaat heb je echt de mogelijkheid om heel gespecialiseerd in een bepaald onderwerp continu bij verschillende instellingen die expertise te kunnen toepassen. Dat vind ik heel erg leuk, waardoor ik iedere keer weer opnieuw die energie voel om ook dit product weer te laten slagen.
Jeroen: Mooi! Over naar jou, Joris. Kun jij wat meer achtergrond schetsen wie je bent? Ik moet daarbij zeggen, ik zat jouw LinkedIn te bekijken en ik dacht, “Die doet ongelooflijk veel dingen.” Maar goed, ga je gang.
Joris: Ik denk dat het wel meevalt als je kijkt wat het inhoudt. Ik heb een iets andere route gehad hierheen. Ik heb een achtergrond in Economic Psychology en in filosofie. Maar ik heb binnen filosofie sowieso een fascinatie gekregen voor technologie en de manier waarop technologie ons beïnvloedt als mens en samenleving. Ik ben uiteindelijk afgestudeerd op de financiële crisis van 2008 en de rol die technologie daarin speelde met betrekking tot ethiek, of zoals het toen werd gesuggereerd, het gebrek aan ethiek. Dus dat vond ik fascinerend. Ik heb dan gekeken naar hoe technologie in die sector zich heeft ontwikkeld en wat het mogelijk met ons doet als mens. Naar aanleiding daarvan ben ik bij De Volksbank uitgekomen die graag ook meer wilde met eerlijke algoritmes, zoals dat toen heette. Dus toen hebben we de titel ‘ethics & AI’ bedacht in 2019, toen eigenlijk nog niemand een idee had wat dat nou precies inhield. Dus die hebben we helemaal invulling mogen geven. Ik wilde naast de praktische kant ook graag de onderzoekskant verder verdiepen, dus dat heb ik binnen de Erasmus Universiteit kunnen doen in de vorm van promotieonderzoek. De afgelopen vijf jaar heb ik me praktisch en academisch beziggehouden met, “Wat is nou ethische AI en hoe brengen we dat in de praktijk?”
Jeroen: Het in ongelooflijk in demand gekomen, het is bijna niet meer weg te denken, in welke conversatie dan ook. Dat was niet toen je hiermee begon, toen was het al wel groot en misschien ook de mensen met wie jij sprak. Maar dat het nu echt zo gemeengoed zou worden, had je dat al verwacht in deze relatief korte tijdspanne?
Joris: Ja en nee. Toen ik me met het onderwerp ging bezighouden, dacht ik, “Dit gaat iedereen raken, dus we moeten het hierover gaan hebben.”
Jeroen: Over welk jaar hebben we het dan ongeveer?
Joris: 2018. Alleen, toen ik dat onderzoekvoorstel deed, zei iedereen, “Wat een nicheonderwerp, wat een nerd, dat je je daarbij bezig gaat houden.” Maar je hebt helemaal gelijk, het heeft absoluut gerendeerd, die investering in dit onderzoek.
Jeroen: Had je het verwacht?
Joris: Als ik eerlijk ben wel. Als je kijkt naar hoe die technologie zich ontwikkelt en ontwikkeld heeft, kan het ook bijna niet anders sinds 2012, maar dan gaan we misschien al te veel op de inhoud in. Er zijn allerlei doorbraken geweest op het gebied van machine learning. Mijn gevoel was dat dit zo groot ging worden dat we hier heel veel mee te maken gingen krijgen, maar dat het zo snel en zo veel zou zijn op dit moment had ik niet verwacht. Ik moet ook zeggen, dat maakt het doen van onderzoek ontzettend lastig, als je bijna dagelijks het nieuws aanzet en een talkshow kijkt en het gaat over jouw onderzoek. Het is bijna niet meer bij te houden wat er allemaal gebeurt. Maar des te leuker dat er nu zoveel te doen is om AI.
Jeroen: Ja, dat kan ik me voorstellen! Nog één andere vervolgvraag over jouw achtergrond: je ging er best wel snel overheen, maar je zegt dat je meer in de filosofische hoek zat, dat was je aan het studeren. Toen kreeg je interesse in technologie, hoe gaat zo’n link van filosofie naar technologie?
Joris: Ik kan me voorstellen dat die op het eerste gezicht een flinke sprong lijkt. Maar er is ook binnen de filosofie best wat aandacht geweest (nog niet genoeg) voor het fenomeen technologie. Dan met name de rol die technologie op ons heeft en op hoe we ons organiseren als samenleving. Er was toevallig een vak op de universiteit Leiden waar ik heb gezeten dat ging over techniekfilosofie en daar is het vlammetje aangewakkerd. Want om je heen zie je overal technologie, je ziet mensen als ze aan het eten zijn op hun telefoon zitten en noem maar op. Dat zijn allemaal dingen die me bezighielden en waarvan ik altijd de vraag had, “Wat gebeurt hier? Wat maakt dat mensen zich op deze manier gedragen?” En eigenlijk merkte ik dat een heleboel disciplines nog een beetje achterliepen op het vinden van een antwoord op die vraag. Gek genoeg, in de filosofie is al en was al vrij veel nagedacht over wat technologie met ons als mens doet. Dus daar vond ik hele bruikbare antwoorden om voor de vragen van vandaag goede inzichten te formuleren.
Jeroen: Mooi hoe je dat verwoordt! Want als we het over AI hebben, wat mij altijd het meest verbaast, ik hoor van links tot rechts dingen die onder AI gegroepeerd worden. Maar waar hebben we het nou eigenlijk over als we het een klein beetje toepassen op de financiële sector, maar je mag het ook breder houden? Johannes, hoe kijk jij naar wat AI eigenlijk is? Misschien juridisch, misschien breder dan dat?
Johannes: Dat is een hele terechte vraag. Door met name de opkomst van ChatGPT is het hele begrip AI in de volksmond gaan leven. Maar voor mij als advocaat gaat het terug naar het machine learning tijdperk waarbij cliënten – in die tijd waren dat vooral nog banken – bezig waren met het toepassen van technologie om eigenlijk bepaalde patronen te kunnen herkennen, bijvoorbeeld in transactiedata van betalingen. Dat was een hele eenvoudige vorm die ook nog goed uit te leggen was aan toezichthouders, goed uit te leggen aan juristen en compliance officers. Dat heb ik zien evolueren in de afgelopen jaren met de deep learning als een vervolg daarop, waarbij er minder menselijke interactie nodig was vanuit de bank en de modellen zelf meer konden dan alleen maar met machine learning. Uiteindelijk denk ik dat de natural language processing, wat eigenlijk al een techniek is waar dertig jaar hard aan gesleuteld is, misschien langer, die combinatie met large language models en dan uiteindelijk die generatieve AI, waar Open AI of ChatGPT ook op gebaseerd is, dit nu in een gigantische stroomversnelling gaat brengen. Met name omdat het ook mogelijk maakt om als bank of grote fintech of kleine fintech de interactie zichtbaar met die klant ook via AI te laten lopen, waar het voorheen meer aan de achterkant zat. Het resulteert er dan in dat het een hele grote dienstverlening wordt. Dat zie je nu ook heel erg aan de voorkant.
Jeroen: Ik ga straks nog even met jullie verkennen en voorbeelden verzamelen van wat er eigenlijk in de financiële sector bij AI al gebeurt en ook of jullie alles AI vinden of dat eigenlijk iedereen roept dat hij AI heeft. Want volgens mij is het ook gewoon een businessmodel om tegenwoordig te zeggen dat je AI hebt. Ik gebruik ook AI in deze podcast, dat begrijpen jullie. Maar goed, Joris, vanuit jouw perspectief, misschien kan jij inzoomen op de academicus in jou, hoe jij naar AI kijkt, maar ook de practitioner bij een bank, hoe je dan naar AI kijkt en hoe jij het definieert of hoe je het omschrijft?
Joris: Ik denk wat AI onderscheidt van de systemen die we hiervoor hebben gehad, is dat het vermogen heeft om zelf te leren, machine learning. Dat is iets waar we hiervoor nog altijd regels programmeerden, “We hebben de data, en daar willen we graag iets uit halen.” Als we deze instructies meegeven (dat is in feite wat een algoritme is, een set instructies om inzichten te halen uit een dataset), zeggen we nu tegen een AI-systeem, “Ga maar zelf ontdekken wat de patronen zijn in de data en geef ons maar bruikbare inkomsten voor wat we dan ook willen weten of het transactiemonitoring is of de beste kandidaat voor een bepaalde functie. Dit is je dataset en leer daar maar uit wat belangrijk is.” Dat is echt een fundamenteel verschil met die oude manier van werken, omdat je daarmee dus ook allerlei nieuwe aspecten introduceert. Je systemen worden beter, want ze kunnen dingen vinden die wij als mensen niet kunnen zien. Maar ze kunnen ook dingen over het hoofd zien die wij als mensen juist wel heel belangrijk vinden, en daar gaan we het natuurlijk zo ook nog over hebben. Maar er kunnen allerlei vooringenomen delen in zo’n systeem sluipen en zo’n systeem kan ook zo complex worden dat we eigenlijk niet meer precies weten hoe het nou tot een bepaalde uitkomst is gekomen. Dus het is ook heel moeilijk om dan betekenisvolle controle uit te oefenen op zo’n AI-systeem.
Jeroen: En nog even als practitioner, zie je nou bijvoorbeeld bij jouw huidige werkgever of breder in de financiële sector dat AI echt al een belangrijk onderdeel is van de organisatie? Of is het echt nog maar een heel klein stukje, vooral een experimenterend hoekje van zo’n bank, bijvoorbeeld?
Joris: Wat je in het algemeen ziet, is dat er heel veel AI-proefballonnetjes zijn, de afgelopen jaren zijn een aantal dingen succesvol doorontwikkeld, maar ook een aantal dingen halen het nog niet, zou je kunnen zeggen. Wat je wel ziet, omdat die technologie steeds beter wordt en steeds beschikbaarder is, is dat er steeds meer use cases te bedenken zijn en ook te realiseren zijn. Daarnaast komt er ook veel meer beschikbaar in de markt waar je gebruik van kunt maken, dingen die echt al goed ontwikkeld zijn. Dus ik denk dat het steeds meer tot de kern van de strategie van een financiële instelling gaat behoren. Dat is in ieder geval ook wel wat ik terugzie.
Jeroen: Is het dan voornamelijk gaan kijken wat er in de markt allemaal te koop is op dit gebied? Een tool hier en een tool daar voor transactiemonitoring, wat jij net noemde, Johannes? Of een tool voor het screenen van klanten of you name it? Of is het ook heel veel zelf ontwikkelen?
Joris: Ik denk een combinatie. Wat je soms ook ziet, is dat partijen iets inkopen en daar bijvoorbeeld een eigen AI-toepassing nog naast zetten om het meer geschikt te maken voor de specifieke behoefte die er is. Dus ik denk dat het heel erg een combinatie van build & buy gaat zijn.
Jeroen: Mooi! Johannes, jij zei aan het begin, “Eén van de mooie dingen aan het zijn van advocaat is dat je in al die keukens mag kijken.” Wat zie je allemaal aan voorbeelden in die financiële sector, of het nou kleine fintechs, grote fintechs of incumbent financiële institutions zijn, heb je voorbeelden?
Johannes: Ja, ik heb zeker voorbeelden, maar misschien is het goed om eerst te zeggen dat de adoptiegraad die ik zie bij de verschillende instellingen die wij bijstaan nog heel wisselend is. Dus wij zien cliënten, met name bij de fintechs waarin het echt de backbone is van de organisatie, die al heel erg ver zijn. Dat kun je ook staven, als er nu een fintech in de financiële sector zou opstaan, en die staan nog steeds heel veel op, dan kun je ervan uitgaan dat het AI-gebaseerd is. Zonder AI-toepassing kun je bijna geen fintech meer starten nu. En er zijn inderdaad encumbants die meer worstelen, maar die worstelen ook meer met de lange termijn strategie. Toen we beneden zaten, had ik het er met Joris ook al even over. Ga je double down op je oude strategie of ga je toch mee? Joris zei net buy & build, maar er is nog een derde buy & build partner, dat zijn de drie smaken die wij het meeste zien. Dat is eigenlijk altijd een combinatie omdat er zoveel is. Er is veel te koop. Maar ik zie dat met name bij de kleinere instellingen dat de partner heel belangrijk is. Maar je moet ook een groot deel zelf doen, omdat we merken in de praktijk dat bij het implementeren van AI-oplossingen het gebrek aan kennis binnen bepaalde instellingen echt schokkend is. Dat is ontzettend belemmerend voor go live en dat leidt tot heel veel kosten. Maar als je kijkt naar de concrete voorbeelden, ik vind Finn van Bunq een heel mooi voorbeeld, wat nu draait.
Jeroen: Wat is het?
Johannes: Goed dat je dat zegt, inderdaad. Dat is eigenlijk een chatfunctie die het niet alleen mogelijk maakt om algemene vragen te stellen aan de bank, maar ook om bijvoorbeeld transactiehistorie te raadplegen. Dat is iets waar heel veel banken al heel lang naar kijken, maar wat technisch best wel ingewikkeld is om het te implementeren, vooral omdat je met een bestaande regelgeving zit. Denk bijvoorbeeld aan sterke cliëntauthenticatie, waar toegang tot betaalrekeningen geïntegreerd moet worden. Dus dat is vanuit financieel toezichtperspectief nog best wel ingewikkeld. Een bank als Bunq heeft dat. Ik denk dat het een hygiënefactor gaat worden, dat soort implementaties moeten alle banken gaan hebben, ongeacht je strategie. Dus dat is een hele concrete. Een andere die al lange tijd vrij succesvol wordt toegepast is computer vision. Dus met behulp van AI-documentatie, AML-documentatie en KYC-documentatie analyseren. Dat is iets wat in Nederland vanaf 2014 op gang is gekomen onder aanvoering destijds van ING die daar heel ver mee was en het helemaal SDP heeft kunnen en andere banken later zijn gevolgd. Dat is een heel praktisch voorbeeld. En natuurlijk het antiwitwasbeleid, het monitoren van transacties. Dat weet Joris beter dan ik, ik denk wat we nu zien waar AI is, dat het ook in staat is om transactiepatronen te genereren die nog niet bestaan en op basis daarvan te gaan monitoren. Dat is wel iets wat ik de laatste jaren heb zien veranderen, waarbij het eerst ging over gewoon het verwerken van ontzettend veel bestaande data, historische data. Nu zie je dat er voorspellende factoren worden toegepast en dat brengt het wel in een enorme stroomversnelling. Overigens zien we dat de toezichthouders daar best wel mee worstelen.
Jeroen: Dat het uitlegbaar blijft met name, denk ik.
Johannes: Ja.
Jeroen: Dat is interessant. Ik ben in dat licht overigens ook nog benieuwd wat de boevengilde doet, want die zullen ongetwijfeld ook AI gaan inzetten om juist weer zelf daartegenin te gaan. Joris, zijn er nog meer voorbeelden die jij ziet in de financiële sector breed die je zo te binnen schieten waar AI succesvol of niet succesvol wordt ingezet?
Joris: Overal waar menselijke beslissingen worden genomen zou je kunnen zeggen dat je een AI ondersteunend kunt inzetten of voor een deel misschien zelfs vervangend. Dat is nog even een algemene introductie als antwoord op je vraag, ik denk dat we dan ook de impact van AI niet moeten onderschatten. Dat wordt genoemd als een systeemtechnologie en dat wil zeggen dat het voor onze tijd gaat zijn wat elektriciteit een eeuw terug was. Dus dat gaat echt iets zijn wat onze manier van leven en werken fundamenteel verandert. Dus in die zin zijn er wat use cases die je op alle afdelingen van de bank kunt bedenken. Denk bijvoorbeeld aan HR, maar ook het medewerkersonderzoek, maar je kunt natuurlijk ook je kredietscores met AI gaan doen, je fraudedetectie uiteraard, je transactiemonitoring. Al die plekken zijn AI use cases, er zijn ook bedrijfjes die dat op een goede manier kunnen doen. Banken zijn over het algemeen vrij goed geëquipeerd om daar snel toepassingen op te ontwikkelen. Maar ik denk dat het interessanter wordt om iets verder uit te zoomen en dan te kijken, “Wat gaat AI eigenlijk allemaal met ons doen?” Dat is de vraag die je als techniekfilosoof stelt. Als practitioner stel je de vraag, “Wat kunnen wij met AI?” Als je de cijfers bekijkt, ga je een enorme verschuiving zien, ook in hoe we onze organisatie inrichten, wat voor capabilities we allemaal nodig hebben. In januari van dit jaar heeft het EMF een rapport gepubliceerd waarin ze zeiden dat in advanced economies 60% van de banen geraakt gaan worden door AI, 30% complementair. Dus daar gaat het helpen om onze productiviteit te verhogen, maar 30% ook vervangend. Als je over dat soort trends nadenkt, gaat het over veel meer dan een paar use cases op dingen die je slimmer kunt doen met AI, maar moet je echt nadenken over, “Hoe gaan we deze systeemtransformatie op een goede manier overbruggen als organisatie of als sector?”
Jeroen: Daar gaan we het zeker zo over hebben.
Dit is Compliance Adviseert.
Jeroen: Even jullie persoonlijk, zijn jullie ervan overtuigd dat het inderdaad zo systeem-veranderend zal zijn en misschien nog wel sterker dan de voorbeelden zoals elektriciteit of wat dan ook? Ben je er zelf van overtuigd?
Joris: Ja, zeker. En daar is een mooie term voor, dat heet ‘the horseless carriage syndrome’, dat gaat terug op dat we echt nieuwe en disruptieve technologie altijd eerst een beetje voor ons zien in de vorm van de oude technologie. Een horseless carriage, de eerste auto, zag eruit als een koets zonder paarden. De eerste tv was een radio met een heel klein schermpje. Als je kijkt naar hoe AI zich nu ontwikkelt, ChatGPT is eigenlijk Google. Je hebt gewoon nog je search waar je iets kunt intippen en je krijgt een antwoord. AI moet nog die echte vorm vinden. Je ziet het bijvoorbeeld bij Google Gemini met multimodaliteit. Dat zijn allemaal vormen die AI ons gaat brengen, waarvan we nog niet weten wat voor impact het gaat hebben. Dus ik ben er absoluut van overtuigd dat het echt een fundamentele verandering teweeg gaat brengen.
Jeroen: Jij ook, Johannes?
Johannes: Ja, zonder twijfel. Ik zie het ook in combinatie met andere ontwikkelingen. Dus web 3.0 en de metaverse. Als je al die ontwikkelingen aan elkaar knoopt, hoe we nu naar AI kijken vind ik een mooi voorbeeld van Joris, dat is een verschuivingsvorm die het beste bij ons past. Maar uiteindelijk kan het een heleboel andere hoedanigheden gaan aannemen. Ik denk ook dat er wel een verschil is ten aanzien van andere technologische ontwikkelingen, als je het dan terugbrengt naar de financiële sector, uiteindelijk hebben we het daar natuurlijk vandaag over, dan zie je dat de regelgeving die normaal gesproken heel belemmerend is zich ook in een eigenlijk ongekend en ook voor EU-begrippen ongekend toekomstbestendig aan het worden is en veel minder achter de feiten aanloopt, veel meer technology neutral wordt neergezet en echt met het beeld van ‘Europa moet competitief blijven’. Dat vind ik een hele belangrijke wijziging ten opzichte van het verleden. Ik denk dat dat ook in de financiële sector de deur openzet voor een enorme versnelling.
Jeroen: Dat is heel interessant, want ik heb nog nooit in mijn leven gehoord dat regelgeving bijna voorloopt, suggereer je, of in ieder geval op z’n minst bij is met wat er in de ‘reële wereld’ of in de technologiewereld gebeurt. Dat is een hele interessante claim dat dat zo is, dat heb ik nog nooit gehoord. Ik heb altijd gehoord dat regelgeving altijd een paar jaar op z’n minst achterloopt.
Johannes: Ja. Ik denk dat dat nu toch anders is. Dat zijn ook wel geluiden die je hoort, je kunt ook zeggen dat de AI act de elephant in the room is als het gaat om AI en regelgeving. Het kan ook gezien worden als belemmerend omdat het regels stelt aan AI-systemen die we dan niet wenselijk vinden. Maar laten we het daar niet over hebben, laten we het dan hebben over de financiële sector. Dan zie je dat het creëren van regels en de verankering daarvan in bestaande regelgeving die strijdig kan zijn met de nieuwe regels, dat daar heel goed over is nagedacht. Het gaat ook in combinatie met een heel aantal andere regels uit Europa waaronder FIDA, dat is een regulering die eigenlijk open finance gaat creëren waardoor alle financiële producten en informatie daaromtrent uitwisselbaar gaat worden. Dat zijn ontwikkelingen die ongekend zijn. Dat is inderdaad wat mij betreft een breuk met het verleden en met name ook omdat je ziet dat het behoorlijk technologisch-neutraal wordt neergezet. Dat is iets wat we tien jaar geleden mis zijn gegaan.
Jeroen: Je zei daarnet ook al in het Engels ‘technology neutral’, wat betekent dat precies?
Johannes: Dat betekent eigenlijk dat de regelgeving zelf niet probeert voor te schrijven wat het technologisch gezien reguleert. Maar het reguleert eigenlijk verschijningsvormen. Dat is positief omdat de ervaring leert dat als wetgevers gaan nadenken over de technologie, dat het misloopt. Ik kan je een voorbeeld noemen, PSD2 (Payment Service Directive 2). Die bracht voor het eerst open banking, toegang tot de betaalrekening door derden, waarbij fintechs en andere partijen en banken toegang konden krijgen tot de rekeninginformatiedienst van gebruikers, maar ook betalingstransacties konden inzien. Iets wat tot dan alleen aan de bank was voorbehouden. Daar zijn ze technologische eisen aan gaan stellen die gewoon niet werken in de markt. Dat is uiteindelijk wel allemaal gerepareerd, maar er zijn wel een heel aantal jaren vertraging opgelopen. Dat is maar een voorbeeld van hoe, als je te veel de technologie voorschrijft, authenticatie er bijvoorbeeld uit moet zien en op gespannen voet kan komen te staan met API-ontwikkelingen en dat soort voorbeelden. Daar hebben ze echt van geleerd, lijkt het nu.
Jeroen: Dat is heel interessant. Je kan er natuurlijk een paar uur college over geven, maar even op hoofdlijnen, je noemde al een paar dingen rondom FIDA en rondom de AI act, maar wat is er op hoofdlijnen voor de financiële sector nou direct cruciaal op legal gebied als het gaat om AI? Je hebt natuurlijk alle andere wetten, de GDPR heeft ook heel veel impact op AI, maar even specifiek voor AI, waar moeten we dan naar kijken?
Johannes: Heel veel, te veel om op te noemen. Maar voor mij komt het in essentie neer op risicomanagement. De AI act komt er natuurlijk aan, die is nog niet van kracht. Die gaat eisen stellen aan bepaalde systemen. Eén van de voorbeelden is al genoemd, dat is credit scoring van consumenten. Dat is een belangrijke voor banken en die wordt ook toegepast op dit moment. Dus dat heeft een directe impact. Dan kun je een assessment maken. Wat betekent dat? Dat kun je uitrollen, dat is op zich bekend terrein, hoe dat spelletje werkt. Nieuwe regelgeving, policy’s maken, langs de engineers halen, et cetera, die hele molen. Wat je nu eigenlijk ziet, ik denk dat het voor compliance teams en de legal teams, maar ook boards heel moeilijk om te valideren wat je terugkrijgt van de engineers, van de ICT’ers en van wat je misschien koopt. Dat vereist een andere vorm van risicomanagement omdat een bank en andere regulated entities natuurlijk geconfronteerd worden met die controlemaatregelen en een bank nog veel meer dan andere instellingen. Die controle frameworks zijn niet altijd opgewassen tegen de risico’s die aan deze nieuwe toepassing die eraan kleven, omdat zeker compliance en legal dat gewoon niet kunnen overzien. Ik zie in de praktijk hoe dat mis kan gaan in de communicatie onderling. Dus als je niet de juiste mensen multidisciplinair bij elkaar brengt, krijg je je antwoord niet op tafel. Je hebt dus steeds meer mensen nodig om goede beheersingsmaatregelen te kunnen schrijven. Je ziet nu ook alweer dat er AI wordt toegepast om dit vraagstuk op te lossen. Er zijn bedrijven actief, Konverse is er bijvoorbeeld één, en die specialiseert zich met AI, “Hoe kun je nou een control framework schrijven voor je bestaande overige AI?”
Jeroen: Wordt het niet een enorm spanningsveld of is het misschien al een enorm spanningsveld? Aan de ene kant de gedachte dat iedereen mee moet, als je hier niet in investeert, waarschijnlijk word je dan gewoon een achterloper, misschien red je het als organisatie niet eens. En tegelijkertijd moet je wel binnen de regulatory frameworks blijven, binnen je risicobeheersing. Gaat het niet een enorm spanningsveld worden? Want de ene kant van de business wil sneller AI implementeren en andere zegt, “We kunnen dat nog helemaal niet uitlegbaar maken of we begrijpen eigenlijk überhaupt niet hoe deze beslissing tot stand komt” of wat dan ook. Is dat niet een enorm spanningsveld?
Johannes: Ja, dat is een enorm spanningsveld. Je ziet bij een aantal grootbanken, ik weet niet hoe dat bij De Volksbank is, dat moet Joris maar zeggen, bij een aantal banken waar ik het van weet, zie je dat het ook heel erg separaat wordt neergezet. Dus er worden aparte teams neergezet die hiernaar kijken en die eigenlijk parallel aan bestaande traditionele business dit mogen gaan doen. Ik denk ook dat dat het advies is, je moet beginnen. Elke bank moet iets doen. We weten nog niet hoe de toekomst eruit gaat zien, maar je moet mee, je moet ervaring opdoen. Recent had ik het daar nog over met een aantal mensen van wat andere grote banken in Nederland, die gaven ook aan, “Je hebt compliance officers en compliance officers en legal en legal.” Daarmee bedoelen ze eigenlijk te zeggen, “Deze tijden en deze vraagstukken vragen ook mogelijk andersdenkende compliance officers.” Want er zijn compliance officers – en ik ken er heel wat – die heel goed zijn met op de rem te trappen, en ik ken compliance officers die meedenken. Dat laatste heb je wel nodig.
Jeroen: Dat snap ik, dan kom je daarin niet verder. Tegelijkertijd snap ik ook alweer dat als je als compliance officer het gevoel hebt, “Ik begrijp het niet”, dat je niet verder wil. Dus je wil het wel snappen. Laatst sprak ik een aantal mensen uit de financiële sector en die hadden een chatbot gelanceerd als pilot. Die waren mega-enthousiast. Want er kon een enorm hoog percentage afgevangen worden door de chatbot wat daarvoor mensen deden. Het waren ook nog hele goede antwoorden. Echter, er werden gewoon antwoorden gegeven die totale greenwashing waren. Dus iemand werd gevraagd in de chatbot, door een klant, “Zijn deze aandelen die ik van jullie wil aanschaffen hele groene aandelen?” “Ja, het zijn één van de groensten ter wereld om deze en deze redenen.” Dan kan je zo een greenwashing case aan je broek krijgen, want officieel zet je het ook nog op papier richting die klant via de chatbox. Het lijkt me ontzettend lastig. Want aan de ene kant wil je gaan testen, maar als dit uiteindelijk tot een legal claim leidt, we hebben al meerdere voorbeelden in de wereld waar greenwashing tot persoonlijke liability leidt van bestuurders. Dat is best wel spannend.
Johannes: Zeker. Ik denk dat er ook greenwashing claims zijn zonder AI. Dus het is een risico dat zich ook in AI voordoet, maar ik denk niet dat dat heel erg daartoe wordt versterkt. Het punt dat je maakt, is terecht, ook als je het hebt over beleggingsadvies in AI. Dat is nog iets wat heel spannend gevonden wordt in Nederland. Maar in andere landen zijn ze daar al veel verder mee, Robo Advice is in sommige andere jurisdicties echt lichtjaren verder ontwikkeld dan hier. Dus dat risico is vergelijkbaar met Robo Advice. Het is zaak om op een gecontroleerde manier te beginnen. Wat ik zie, wat leidt tot succes is dat je in ieder geval moet beginnen in een kleine gecontroleerde omgeving, maar je moet risico’s nemen en proberen de toezichthouder daar ook in te betrekken. Als je dat goed doet en tijdig doet, dat is ook mijn ervaring, zijn die best bereid om op een gecontroleerde manier gezamenlijk zaken te testen.
Jeroen: Dat is een perfecte brug en daarna wil ik naar de ethische kant met Joris naar wat ik je wilde vragen. Je benadert heel sterk, “Begin gewoon, ga oefenen, ga leren.” Je hebt de regelgeving die blijkbaar redelijk meegaat, in ieder geval technologieneutraal wordt neergezet zodat die ook kan meegroeien met ontwikkelingen. Maar die toezichthouder is de derde in die driehoek. Jij zegt, en ik neem aan dat je voor Nederland spreekt, “Die toezichthouder is wel bereid om je te laten experimenteren”?
Johannes: Ja, ik denk het wel. Wat belangrijk is, en dat zie ik vaak misgaan, is dat zodra een bank of een fintech klaar is met een product en bijvoorbeeld aan een notificatie zit of een go live heeft, dan de toezichthouder gaat inschakelen op een spannend project. Dat is veel te laat. Dan ben je als instelling lichtjaren verder ten opzichte van die toezichthouder. Dus die trapt dan op de rem. Dat is niet vanaf dag één, maar wel in je onderdeel van je productline moet zijn, “Wanneer betrekken we de toezichthouder erbij?” Afhankelijk van het project is het eerder of later en dat kan natuurlijk voor sommige banken lastig zijn. Dat kan ECB-toezicht zijn, dat kan DNB zijn, het kan AFM zijn, afhankelijk van het product. Dus daar moet goed over nagedacht worden, maar het moet een hele eigen workstream zijn. Als je dat niet doet en je komt te laat, ga je ontzettend veel tijd verliezen om de toezichthouder alsnog aan boord te krijgen. Maar het is wel mijn ervaring dat als je een goed product hebt, dat dat wel lukt. Uiteraard zijn er beperkingen, als er ergens een keiharde ‘no’ staat in de wet wordt het moeilijk. Maar gelukkig is dat steeds minder het geval en is het steeds meer technologisch neutraal, bijvoorbeeld. Dan kan het wel. Een voorbeeld dat we hebben gezien, is heel veel discussies rondom de interpretatie van machine to machine API-communicatie. Tegenwoordig communiceren banken en fintechs eigenlijk allemaal op die manier met elkaar, computer to computer, machine to machine. We hebben dat helemaal moeten herinterpreteren in bestaande wetgeving die daar eigenlijk niet van uit ging en dat lukt. Maar je moet de toezichthouder daar wel op tijd bij betrekken.
Jeroen: Ik zat ook te denken, je moet ongelooflijk veel kennis aan boord hebben overall. Dus het lijkt me een enorm tekort aan mensen die hier iets van afweten, want de toezichthouder must step up his game en de banken, de financiële instellingen, de regelgeving, iedereen. Dus je hebt een enorm tekort, volgens mij, aan mensen. Maar goed, je agendeerde het zelf al, Joris, de ethische kant van de zaak. Dat is heel ingewikkeld, of niet?
Joris: Ja, dat is ingewikkeld om een aantal redenen. Ik noemde inderdaad al dat vooringenomenheden je systemen kunnen sluipen en dat je een soort black box systemen kan krijgen. Maar ook omdat we – althans in mijn ervaring – niet alleen de technische infrastructuur niet hebben om AI ten volle te benutten, maar ook niet de infrastructuur hebben in organisaties en in verschillende sectoren die je kunt tegenkomen om over die ethische aspecten op een goede manier na te denken. Want ja, we hebben wetgeving, daar zit ook een legal sandbox in, bijvoorbeeld, om te kunnen experimenteren met allerlei AI-toepassingen. Maar ook in die wetgeving, net als in de GDPR, blijven een aantal open normen zitten waar je ethiek ook nodig hebt om te kijken, “Hoe verhouden we ons hiertoe als organisatie of als sector?” Al die vraagstukken vragen inderdaad om een specifieke expertise, maar nog belangrijker, het vraagt dat we op veel grotere schaal gaan nadenken over, “Wat vinden we dan de juiste toepassing van AI? Wat vinden we verantwoorde inzet?” Want eigenlijk zou je kunnen zeggen: Alle AI-systemen discrimineren en maken een bepaald onderscheid. De vraag is alleen heel vaak, “Wat is een gerechtvaardigd onderscheid?” Dat is niet een technische vraag die je kan oplossen met meer data of een geavanceerder algoritme, dat is uiteindelijk deels een juridische en deels een morele vraag, “Wat vinden we een gerechtvaardigd onderscheid in het detecteren van terrorismefinanciering? Wat mogen we daar nog wel in meenemen en wat niet meer?” Dus dat zijn hele complexe vraagstukken waar je ook dat ethische component in moet betrekken.
Jeroen: Op welk niveau moet het überhaupt besloten worden? Ik kan me voorstellen dat iemand het voorbereidt om die afweging voor te leggen, maar er zal uiteindelijk toch iemand een klap moeten geven binnen jouw organisatie of welke andere financiële organisatie dan ook. Waar ligt dat?
Joris: Dat is één van de vragen die ik in de afgelopen vijf jaar in mijn onderzoek heb gesteld. Wie moet jou uiteindelijk verantwoordelijk zijn voor die ethische aspecten van AI? Het antwoord dat ik altijd krijg, is iedereen. Dat betekent in de praktijk vaak niemand. Maar je zit inderdaad met een enorme uitdaging rond informatie en kennis, want je kunt niet verwachten dat bestuurders volledig op de hoogte zijn van hoe AI werkt en van elk systeem wat draait binnen de organisatie. Anderzijds kun je ook niet verwachten dat je de verantwoordelijkheid bij de ontwikkelaars kunt neerleggen en dat zij al die normen vertalen naar de toepassingen die ze ontwikkelen. Dus dat is een ontzetten complexe vraag. Ik herken inderdaad ook de bereidheid van de toezichthouder om hierover mee te denken. Dat is ook gewoon een reis die je met elkaar gaat beginnen, “Hoe gaan we dit op een goede manier doen?” Dat begint met het erkennen van, “Deze vragen spelen er en daar hebben we niet een-op-een een pasklaar antwoord op.”
Jeroen: Heb je een soort van continuüm van dingen waarvan je zegt, “Dat kan sowieso echt niet vanuit ethisch perspectief”? Vanuit jouw perspectief of van de organisatie die je representeert? Tot aan, “Dat kan sowieso wel” en “Dit is het grijze gebied”?
Joris: Nee, zo absoluut zit ik er niet in. Ik ben eerder een pragmatist, ik vind het belangrijk dat we goede procedures hebben ingeregeld. Dat vraagt om het opnieuw nadenken over je organisatieontwerp, de structuur en processen die je het hebt en de manier waarop je daar belangrijke maatschappelijke waarden kunt agenderen, bijvoorbeeld. Omdat ik echt niet vind dat je elk AI-systeem onder het vergrootglas hoeft te leggen, maar ik denk wel dat we voor bepaalde toepassingen ook misschien ogenschijnlijk onschuldige toepassingen goed moeten nadenken, “Wat gaat het effect zijn?” Ook op de mensen die bijvoorbeeld niet betrokken zijn bij de ontwikkeling, maar gewoon de mensen waar we dit voor gaan inzetten, bijvoorbeeld de medewerkers die het moeten ontwikkelen. Ik denk dat we nu over het algemeen de ethische aspecten van AI, maar ook de juridische discussie toch vooral voeren over het technische stuk. Het gaat weliswaar over de verschijningsvormen in de AI act, maar ik denk alleen al de risk tiering die gevraagd wordt door de AI act is al een hele subjectieve discussie. Dus ik denk dat al dat soort vraagstukken nog heel erg gaan terugkomen en daar moeten we gewoon een veel bredere discussie over voeren dan alleen de jurist, data scientist en een paar vaknerds zoals ik.
Jeroen: Laten we proberen het wat concreter te maken. Ik zal zo meteen wat dingen op tafel gooien, maar eerst nog even aan jou. Wat voor soort ethische afwegingen moeten jullie nu al maken?
Joris: Er zijn een aantal ethische risico’s op verschillende schalen, zou je kunnen zeggen. De belangrijkste gaan vaak over vooringenomenheid of uitlegbaarheid. Je kunt ook aan bepaalde privacyrisico’s of bepaalde accountability risico’s denken. Van die laatste zagen we een maand terug een mooi voorbeeld van een luchtvaartmaatschappij in Canada die ook een chatbot hadden ingezet. Die had inderdaad ook de klant iets beloofd wat helemaal niet bestond, namelijk een compensatie voor een ticket omdat die vanwege een overlijden moest vliegen. Maar de verdediging van die luchtvaartmaatschappij was, “De chatbot is een eigen entiteit, daar kunnen wij niet verantwoordelijk voor worden gehouden.” Daar ging de rechter niet in mee, maar je ziet al bedrijven opschuiven richting het delegeren van verantwoordelijkheid aan dit soort AI-systemen. De meest complexe gaat over die vooringenomenheden in data. Er zijn talloze incidenten bekend waarin AI-systemen bepaalde groepen, vaak al gemarginaliseerde groepen, of historisch gezien achtergestelde groepen structureel benadelen. Dat komt niet omdat AI slechte intenties heeft of omdat AI graag groepen benadeelt, maar dat komt doordat het in de data zit, of omdat de groepontwikkelaars die AI bouwen niet hebben nagedacht, “Wat gaat deze toepassing doen? Hoe ziet mijn dataset eruit voor andere groepen?” Dat zijn dingen waar we nu al tegenaan lopen waar iedereen zich ook vragen over moet stellen. We weten bijvoorbeeld dat vrouwen helaas nog steeds voor hetzelfde werk minder betaald krijgen. Dat zijn dingen die in je data zitten. Dus je kunt perfect representatieve data hebben, maar je moet je als organisatie wel de vraag stellen, “Als we hierop onze besluitvorming baseren, willen we dat aanpassen? Moeten we dat aanpassen? Is het onze verantwoordelijkheid om daar iets mee te doen?” Of, “Zijn we ermee akkoord dat we die vooringenomenheid eigenlijk repliceren en misschien wel uitvergroten op die manier?” Dat zijn ethische vraagstukken waarover je nu al moet nadenken als je met AI aan de slag gaat.
Jeroen: Ongelooflijk ingewikkelde ethische kwesties. Waar ik ook een beetje aan moest denken, als je tien of twintig jaar geleden een lening ging verstrekken als lokale bank, dan wist je ook al bepaalde postcodegebieden. Daar moest je toch iets voorzichtiger mee zijn. Dat is in feite ook een judgment, dat is gewoon keihard discrimineren. Maar boven het risicoperspectief, je moet uiteindelijk bepalen, “Hoe groot is de kans dat ik dat geld terugkrijg van die particulier of bedrijf?” Het lijkt me hier ook zo lastig, als je bepaalde postcodegebieden hebt voor een lening, als bank is het helemaal niet zo gek om te zeggen, “Dan geven we gewoon een zwaardere factor aan waardoor de rente bijvoorbeeld hoger wordt in die gebieden.” Is dat fout? Het discrimineert misschien bepaalde groepen wel waardoor ze misschien nog moeilijker aan een lening komen. Selffulfilling prophecy de andere kant op. Of is het juist heel goed? Want je kan je risicomanagement beter doen. Dat lijken me van die lastige dingen.
Joris: Ja, dat is waarom dit vakgebied voor mij zo waanzinnig interessant is als ethicus, omdat je eigenlijk steeds met dat soort vragen geconfronteerd wordt. AI heeft vaak de zweem van objectiviteit, je gaat met data aan de slag, wiskundige formules laat je erop los. Fijn dat we eindelijk de mens eruit kunnen halen, want de mens heeft vaak een gekleurde mening. Die ziet een postcodegebied en denkt, “Die doen we niet” en AI heeft dat niet. Terwijl, wat je ziet, is dat eigenlijk de AI getraind wordt op historische data. Dus AI leert uiteindelijk van het verleden en dat geldt voor vertaalmodellen, voor alle modellen. Dus wat je terugkrijgt, is eigenlijk de keuzes die je in het verleden hebt gemaakt. Daar moet je je op een bepaalde manier toe verhouden. Dus dit zijn inderdaad allemaal vraagstukken, maar het lastige met AI is: je kunt bijvoorbeeld zeggen, “We nemen geen postcodegebied mee, we nemen geen geslacht mee.” Het lastige van AI is: het gaat op zoek naar patronen in de data. Dus als dat verschil er wel is, via andere routes en proxy’s kom je alsnog uit op dat onderscheid. En, dat is een andere lastige, met de privacy wetgeving kun je ook niet toetsen omdat je bijvoorbeeld bepaalde data niet mag hebben als bijzondere persoonsgegevens. Dan kun je ook niet toetsen of je ook daadwerkelijk dat onderscheid aan het maken bent. Dus het is een superinteressante tijd nu waar we al dit soort vraagstukken zien ontstaan waarvan we nog niet precies weten, “Hoe moeten we daarmee omgaan?” We hebben ook nog niet de maatschappelijke of politieke discussie over, “Wat vinden we over dat onderscheid tussen mannen en vrouwen?” En waarmee we dus ook allemaal aan het uitzoeken zijn, “Hoe gaan we dit op een goede manier inzetten die past bij onze organisatiewaarde of bij onze maatschappelijke waarde?”
Jeroen: Heel interessant!
Je luistert naar Compliance Adviseert.
Jeroen: Een ander voorbeeld dat ik nog ter tafel wilde brengen, als je honderden indicatoren hebt – bijvoorbeeld een leningaanvraag, ik ken dit uit eigen praktijk – wordt het steeds moeilijker om te achterhalen welke nou beslissend was in een besluitvormingstraject van wel of geen lening verstrekken. Dit is een voorbeeld dat ik goed ken, daar bleek uiteindelijk dat het moment van het aanvragen van een lening online, alle ondernemers die dat buiten kantooruren deden, was er een significant grotere kans dat ze wel gingen terugbetalen. Waarom? Ondernemers die het goed doen, zijn overdag aan het werk. Die zijn geld aan het verdienen. Dus vragen ze het ‘s avonds aan. Maar dat soort dingen, wil je daar wel of niet op discrimineren? Hoe lang blijft dat voorspellend? Mijn vraag aan jou is in het licht van dit voorbeeld: is je beslissing wel te reproduceren? Als je het nog een keer erin gooit, komt er dan een ander besluit uit, bijvoorbeeld?
Joris: Dat kan, en dat is natuurlijk ook de uitdaging. Je hebt bepaalde technologieën, deep learning, bijvoorbeeld, die gewoon ontzettend lastig te doorgronden zijn. Er zijn inmiddels wel tools die je kunt inzetten om feature importance oftewel, “Hoeveel heeft elke feature bijgedragen aan de beslissing waarin je die kunt terughalen?” Maar er zijn gewoon een aantal type modellen die zo complex zijn dat je nooit helemaal kunt achterhalen, voor bijvoorbeeld een individuele uitkomst, “Hoe is die tot stand gekomen?” Waardoor je dus ook dit soort afwegingen niet op tafel krijgt van, “Wat vinden we er nou eigenlijk van dat dat tijdstip zo bepalend is?” Want als je dat niet kunt inzien, kun je ook niet een besluitvorming eromheen hebben. Dat zijn natuurlijk wel dingen, los van het vraagstuk zelf, wil je het tijdstip laten meespelen of niet? Daar moet je over nadenken, ook als je AI gaat inzetten. Want je moet daar op de lange termijn over nadenken, die systemen worden steeds complexer en de ontwikkeling gaat steeds harder. Je kunt misschien nu iets in place hebben aan beheersingsmaatregelen wat over een paar jaar gedateerd is en dat zag je met de AI act. Die was totaal niet gemaakt met generative AI in gedachten en vlak voordat de AI act klaar was dat op de markt kwam, is er ineens nog een extra stuk aan toegevoegd, “Dat moeten we eigenlijk ook nog reguleren. Hoe gaan we dat dan weer doen?” Dus je merkt ook bij die wetgeving, hoe goed ze ook anticiperen, dat het erg lastig blijft om on track te blijven met de technische ontwikkelingen.
Jeroen: Uitlegbaarheid, Johannes, dat vindt iedereen heel belangrijk. Zeker de toezichthouder, toch?
Johannes: Wat bedoel je precies?
Jeroen: Als je kunt uitleggen hoe een beslissing tot stand is gekomen.
Johannes: Ja, dat is eigenlijk waar de toezichthouder altijd naar terug wil. Hoe is de accountability?
Jeroen: Gaat dat nog wel?
Johannes: Ik denk het niet. Ik denk dat we dat ook tot op een zekere hoogte met elkaar zullen moeten gaan aanvaarden. Wat ik wel denk, is dat bepaalde toepassingen heel snel algemeen bekend zullen worden en omarmd gaan worden en als een soort van low risk worden aangemerkt. Dit brengt mij altijd terug op de tijd dat we massaal gingen outsourcen en AWS En Azures dat heel groot werden en dat de toezichthouders dat niet wilden. Ik kan me de discussies nog levendig herinneren, het was uitgesloten terwijl nu banken cloud first opereren. Dat is no problem. Dat risico is volledig in beeld. Er is heel veel wetgeving omheen gekomen, natuurlijk. Ik stel mij voor dat er ook zoiets gaat ontstaan met AI, dat we van bepaalde toepassingen met elkaar op niet al te lange termijn weten, “Dit vinden we acceptabel.” Maar dan blijf je natuurlijk continu met de nieuwe producten zitten. Daar zal onzekerheid in zitten, maar toezichthouders zullen daar vast een manier rond vinden om met die onzekerheid om te gaan. Dat is inherent aan deze ontwikkeling.
Jeroen: Denk je dat toezichthouders ook gaan eisen dat je de rol van Joris overall doet, misschien ook wel op het hoogste niveau of het hoogste niveau min één?
Johannes: Zeker, en dat zie je eigenlijk ook al. De EWA guidance die vier weken geleden kwam rondom de vereisten op het gebied van ICT, security risico’s op boardniveau van banken. Je ziet dat het heel snel op basis van uitgiften van richtlijnen en guidance bindend voor lokale toezichthouders impact heeft en dat volgt elkaar in steeds hoger tempo. Verplichte digital resilience trainingen. Dus dit gaat zeker op boardniveau, daar hadden we het net al even over, natuurlijk. Je kunt niet van een bestuurder verwachten dat die precies weet wat AI is. Dat hoeft ook niet, denk ik. Het brengt me ook terug naar de tijd van blockchain technologie. In het begin wilde iedereen weten hoe het werkt. Dat is nu helemaal niet meer de vraag. Nu gaat het over andere vragen als je het over blockchain technologie hebt. Dat zal zich ook met AI gaan voordoen. Maar er is een bepaalde vorm van basiskennis nodig en die wordt eigenlijk al op bestuursniveau geëist. Maar dat gaat ook nog wel verder verankerd worden.
Jeroen: Als je naar deze podcast kijkt, Compliance Adviseert, en je verplaatst je even in de Chief Compliance Officer van een bank of van een grote andere financiële instelling, Johannes, wat moet hij of zij vooral gaan doen op dit moment op het gebied van AI?
Johannes: Dat hangt van de instelling af waar deze compliance officer werkt. Als het al bij een hele vooruitstrevende bank of fintech is, dan denk ik dat deze compliance officer waarschijnlijk op de goede weg is. Maar er zijn ook nog heel veel instellingen die op zoek zijn en ik denk dat je als compliance officer ook eerlijk moet zijn naar jezelf en jezelf de vraag moet stellen, “Ben ik een geschikte compliance officer voor deze ontwikkeling? Of moet ik die expertise uitbreiden in mijn team en moet ik mezelf educaten?” In elk geval denk ik dat het heel goed is om te zorgen dat je echt heel diep contact hebt met de mensen in je organisatie, veel meer dan wellicht vroeger waarin compliance in zijn eigen afdeling zichzelf terugtrok. Dat kan echt niet met deze ontwikkelingen. Dus dat zou mijn advies zijn. Kijk jezelf aan in de spiegel en zorg dat je, waar je het gevoel hebt dat je onvoldoende zicht hebt, dat gaat oplossen.
Jeroen: Hoe is jouw relatie met de compliance functie bij De Volksbank?
Joris: Ik zou misschien een aanvulling zeggen. Volgens mij zijn er twee dingen waarover je moet denken als je op dit moment hoofd compliance bent, en dat is toezicht op AI in je organisatie. Hoe ga je dat regelen? Wie heb je nodig? Wat voor skills? Wie moet je samenbrengen? Hoe gaat dat eruitzien? En toezicht met AI. Wat gaat AI betekenen voor de manier waarop ik mijn compliance functie inricht? Want ik gaf al eerder aan, je kunt ook een stuk productiever werken als je AI slim kunt benutten. Dus naast dat je wil weten, “Hebben we grip op de wettelijke en de ethische aspecten van onze AI-toepassingen?” denk ik dat je ook moet nadenken over, “Hoe ziet toezicht met AI eruit? Hoe kunnen we AI benutten om die compliance functie verder in te vullen en beter en slimmer en georganiseerder ons werk te doen?”
Jeroen: Zie je dat de compliance officer op dit moment kan meekomen in de sector? Want die is al met zo ongelooflijk veel onderwerpen bezig, in deze podcast behandelen we er heel erg veel, en dit is dan nog eentje erbij en die is nog een keer heel alomvattend. Er komt zoveel bij, en hij is volgens jullie ook nog eens een keer system changing.
Joris: Ja, ik denk dat dat een absolute uitdaging is. Dat komt inderdaad door de aard van AI, omdat dat buiten je kantooruren zich ook door ontwikkelt en je daar ook mee te maken hebt. Dingen als ChatGPT hebben een hoop organisaties ook voor nieuwe uitdagingen gesteld omdat je bijvoorbeeld een IP-adres kunt dicht zetten. Dus je kunt tegen je werknemers zeggen, “Je mag geen ChatGPT gebruiken, je mag niet opzoeken.” Maar als het gewoon op je telefoon ook beschikbaar is, moet je toch nadenken over een ander plan van aanpak. Dat zijn het type uitdagingen waar je als compliance officer ook over na moet denken, “Hoe gaan we dat inregelen met dit soort technologieën?” Of het er nog bij kan met alle andere dingen die compliance officers al doen, weet ik niet. Maar dat het erbij moet, dat lijkt me zeker.
Jeroen: Heeft één van jullie twee of allebei ook nog hele concrete en praktische plekken waar je zou moeten beginnen als compliance officer om jezelf nog verder te educaten in bepaalde opleidingsprogramma’s? Zijn er bepaalde boeken die je zou moeten lezen, bepaalde YouTube films die je zou moeten zien? Ik weet het niet, we hebben het er in het voorgesprek helemaal niet over gehad, maar ik ga het toch even proberen. Is er iets waarvan je zegt, “Dat zou een mooie plek zijn om te starten of om jezelf verder te verdiepen?”
Johannes: Ik moet wel bekennen dat ik heel veel tijd doorbreng op YouTube om mezelf te educaten. Ik doe dat dan in het bijzonder met de focus op de financiële sector en daar is ongelooflijk veel. Maar het is ook niet allemaal van dezelfde kwaliteit. Er komt niet iets onmiddellijk in me op. Maar wat ik nog zou willen meegeven, voor zover een Chief Compliance Officer dat al niet doet, is: volg ook heel goed de ontwikkelingen in de markt rondom de hele digital transformation. Daar wordt op heel hoogwaardig niveau over gepubliceerd, onder andere door McKinsey & Company, die dat heel nauw volgen en ook als leading worden gezien. Daar komt heel veel langs. Dan krijg je ook zicht op welke richting de sector mogelijk opgaat. Dat is heel waardevol.
Jeroen: En zoals Joris zei, trek er dus ook mensen bij in je teams. Want je kan niet alles zelf, ik denk dat dat ook heel belangrijk is. Had jij nog andere toevoegingen op mijn vraag rondom leren en waar je dat goed kan doen?
Joris: Er zijn een aantal hele goede podcasts die ik echt kan aanbevelen. The Ezra Klein Show, bijvoorbeeld van The New York Times gaat vaak over AI met echt hele kundige gasten. Dat is ook een laagdrempelige manier om meer over AI te horen tijdens het hardlopen of wat je dan ook aan het doen bent. Dat is voor mij in ieder geval een heel bruikbaar hulpmiddel om ook bij te blijven bij deze ontwikkelingen. En er zijn echt een aantal goede boeken, maar om een klassieker aan te bevelen, die komt van Cathy O’Neil uit 2016, dus voordat AI echt een hype was.
Jeroen: Bijna prehistorisch.
Joris: Bijna wel, ja, in deze tijd. Dat heet Weapons of Math Destruction. Daarin zet ze ontzettend goed uiteen – dat gaat niet eens zozeer over AI – wat nou de uitdagingen zijn rond algoritme en het beter gebruiken van algoritme in onze samenleving. Dus dat geeft een ontzettend mooi en praktisch inkijkje in welke risico’s ons allemaal te wachten staan als we dit soort systemen op brede schaal inzetten.
Jeroen: Mooi! Ik wil richting de afronding gaan, nog twee dingen van mijn kant. De eerste is: Nederland is natuurlijk maar een relatief klein land in de wereld, hebben jullie het idee dat wij als Nederland, de financiële sector specifiek, kunnen meekomen in het geweld waarvan men altijd zegt dat het met name uit China en Amerika komt? Dat is mijn eerste vraag aan jullie.
Joris: Ik heb hem vaker gehad, helemaal in relatie tot ethiek, “Zijn we niet veel te veel aan het neuzelen en moeten we niet gewoon dingen doen en dingen bouwen?” De vraag die we ons moeten stellen is: hoe zetten we AI op een goede manier in, op een manier waar we allemaal achter kunnen staan zonder in een soort Orwelliaanse toestanden te verzanden met deze AI-toepassing?” Ik denk dat Europa daar ontzettend goed bezig is met het wetgevingskader dat ze hebben om die belangrijke principes voor onze gedeelde rechtsstaat overeind te houden in het tijdperk van AI. Dus nee, we hebben misschien niet de unicorns die je in de VS uit de grond ziet schieten, we gaan ook niet zo snel als China. Maar ik denk dat er ook absoluut wat te zeggen valt voor menswaardige inzet van AI op de manier zoals Europa dat invult.
Jeroen: Mooi! Optimistisch ook.
Johannes: Ik onderschrijf dat gedeeltelijk wel, wat Joris zegt. En dan met name rondom het stuk dat de AI act enerzijds een belemmering is, want je zou kunnen zeggen, “Als we het niet doen, kunnen we ons veel sneller ontwikkelen.” Maar ik vind het ethische stuk ook erg belangrijk en ik denk dat dat ook onlosmakelijk verbonden is met AI waarbij alles commoditised wordt en het vooral gaat over, “Wat is dan nog goed en wat willen we er dan mee?” Dat is iets waar Europa zich ook altijd in onderscheidt, althans probeert te onderscheiden. Ik denk wel dat we ons goed moeten realiseren dat als je het puur over de financiële hebt, dan gelden er natuurlijk regels hier in Europa. Grote Amerikaanse en Chinese partijen zullen, als ze hier actief willen zijn, toch ook aan die regels moeten voldoen. Dat wordt weleens onderschat, dat zie je nog steeds, dat het moeilijk is voor bijvoorbeeld bepaalde Amerikaanse spelers en al helemaal voor Chinese spelers om de Europese markt te penetreren. Als ze dat doen, lukt het maar op een klein stukje. Dus in die zin hebben we daar tijd. Een andere succesfactor die we in Europa kunnen hebben, in ieder geval in Nederland als klein landje, is dat hier de banken in ieder geval nog enorm die vertrouwensfactor hebben. Dat zie je in andere landen minder, waardoor ik denk dat we op de korte termijn nog niet zo te vrezen hebben van andere spelers die daarmee worstelen. En dat er dus wel nog een aardige periode voor ons ligt waarin Nederland kan innoveren en de rol van banken daarin ook nog heel belangrijk kan zijn.
Jeroen: Mooi, heel interessant! Ik vind het sowieso een ongelooflijk boeiend onderwerp, we kunnen er uren over vol praten. Voor mijn kant op dit moment alleen nog de vraag aan jullie: we hebben best veel kunnen coveren, wat mij betreft, luisteraar nummer één – ik zijnde – heeft het echt tot denken kunnen aanzetten. Maar is er nog iets waarvan je zegt, “Ik vind het toch jammer dat we het daar niet over gehad hebben in deze podcast”? Dan is dit het moment om dat nog even toe te voegen.
Joris: Er zijn nog heel veel dingen waar we nog niet aan toe zijn gekomen, en ik vind met name de impact van AI op de arbeidsmarkt, op onze informatie ecosystemen met desinformatie en misinformatie, ook wat dat betekent voor de financiële sector en de uitdagingen die daarvoor gesteld worden, dat zijn allemaal dingen waarvan ik denk, “Daar hebben we het nog niet echt over kunnen hebben.” Dat is waanzinnig interessant om nog eens over verder te praten. Maar binnen de tijd die we hebben, hebben we enorm veel gecoverd.
Jeroen: Dat is sympathiek van je! En Johannes?
Johannes: Ja, ik sluit me daarbij aan. Het stuk waar we heen moeten als bank en als financial in Nederland met deze ontwikkelingen vind ik fascinerend. Ik word natuurlijk vaak ingeschakeld met dat er al iets is bedacht. Ik vind het heel mooi om te zien hoe mensen daarover nadenken bij de instellingen in Nederland. Maar het is duivels ingewikkeld.
Jeroen: Mooi! Wat mij betreft, is dit een oproep om na deel één deel twee, drie, vier en vijf met jullie te maken in de komende jaren, om eens even in te checken waar het heengaat met AI als jullie gelijk hebben. Ik onderschrijf het, dus ik denk dat jullie gelijk hebben vanuit mijn perspectief, en dat het alles gaat veranderen en iedereen gaat beïnvloeden. Dan is daar zeker ruimte voor om het daar vaker over te hebben. Voor nu, heel veel dank, Johannes de Jong, partner bij Osborne Clarke, en Joris Krijger, Ethics & AI Officer bij De Volksbank en ook promovendus aan de Erasmus. Veel dank voor jullie tijd, luisteraars kunnen het niet zien, maar ik heb een klein bedankje voor jullie waar ik nu naar wijs om mijn dank nog wat kracht bij te zetten. Nogmaals, fijn dat jullie hier waren!
Johannes: Heel graag gedaan!
Joris: Dankjewel, Jeroen!
Je luisterde naar Compliance Adviseert. Deze podcast werd mede mogelijk gemaakt door Deloitte, De Volksbank, Hyarchis en Osborne Clarke. Meer weten of een reactie achterlaten? Dat kan op onze LinkedIn. Als je ons daar volgt, ben je bovendien altijd op de hoogte van nieuwe afleveringen. Natuurlijk zijn we je zeer dankbaar als je een review achterlaat en meer mensen vertelt over deze podcast. Vergeet ook niet te kijken naar de andere podcasts op ons kanaal. Er zit vast iets tussen dat je aanspreekt. Bedankt voor het luisteren!
