Welkom bij het zevende artikel in de blogreeks “Kunstmatige intelligentie”. Het zesde deel gaat over “Het probleem van de meerarmige badieten”. In dit deel wordt ingegaan op hoofdstuk 7: Gratis lunch bestaat niet.

Er bestaan tegenwoordig ontzettend veel verschillende manieren om een computer te helpen leren van data. Elk van deze methodes heeft zijn eigen voor- en nadelen. Dat roept de vraag op, of er niet één, ideale methode bestaat die voor elk probleem de beste resultaten geeft. De ‘no free lunch’-stelling van machine learning stelt dat deze ideale methode niet kan worden gevonden zonder aannames te maken over het specifieke probleem dat je aan het oplossen bent.

De houten saloondeuren klapperen open zodra je binnenstapt. Je zet je cowboyhoed af, levert je pistolen in en wandelt naar de versleten bar, waar de waard je aandachtig opneemt. Je bestelt een kan water en krijgt prompt een bord lunch met crackers, spek en kaas voorgeschoteld, met een kan water ernaast.

We bevinden ons eind 19e eeuw in het Wilde westen van Amerika, de hoogtijdagen van saloons. De tijd van bandieten en sheriffs, maar ook van restaurants waar je bij je eerste drankje gratis lunch kreeg aangeboden. ‘Free lunch’ was een populair concept in die tijd. Het lijkt een fantastische aanbieding voor bezoekers van een etablissement, want de maaltijd alleen was vaak stukken duurder dan het enkele drankje. De uitbaters van de saloons hoopten dan ook dat de klanten meer dan slechts één drankje zouden aanschaffen. Ze werkten expres met zoute ingrediënten, zoals spek en zoute kaas, en strooiden nog rijkelijk extra zout over de maaltijden ‘voor de smaak’. Zout eten maakt dorstig, en zo bestelde de gemiddelde klant van een saloon veel meer dan een enkel drankje. Op die manier betaalden ze voor wat werd aangeboden als een ‘gratis maaltijd’.

Deze traditie vormt de oorsprong van de uitspraak ‘There ain’t no such thing as a free lunch’: ‘Gratis lunch bestaat niet’. De uitspraak is uitgegroeid tot een standaarduitdrukking om duidelijk te maken dat het onmogelijk is om zomaar iets voor niets te krijgen. Het wordt vaak gebruikt om mensen te waarschuwen op hun hoede te zijn als iets te mooi lijkt om waar te zijn. Ook binnen het vakgebied van kunstmatige intelligentie, en specifieker machine learning, heeft de uitspraak haar eigen betekenis gekregen.

Laten we eens twee voorbeelden van toepassingen van machine learning bekijken. In het eerste voorbeeld willen we voorspellen welke scholieren hun examens halen op basis van de uren die ze gestudeerd hebben. In het tweede voorbeeld voorspellen we welke scholieren worden aangenomen tot de studie geneeskunde op basis van de cijfers op hun eindrapport.

Je zult zien dat scholieren hun examens vaker halen als ze meer gestudeerd hebben. Ze zullen vrijwel zeker zakken als ze niet studeren en als ze al hun tijd in studie investeren, zal de kans van slagen richting 100 procent gaan. De kans van slagen loopt dus langzaam op, naarmate de student meer tijd investeert.

In het tweede voorbeeld is er iets anders aan de hand. In Nederland is geneeskunde een lotingstudie. Hierdoor zijn er drie opties om toegelaten te worden tot die studie. Als je een 8 of hoger gemiddeld haalt op je middelbareschooldiploma word je automatisch toegelaten. Als je daar onder zit, kun je ofwel de loting in gaan, ofwel je inschrijven voor de zogenoemde ‘decentrale selectie’. Dit laatste is een soort sollicitatieprocedure voor de studie geneeskunde. Het effect hiervan voor onze voorspelling is dat studenten met een 8 of hoger altijd worden toegelaten. Voor de scholieren met lagere cijfers hangt dat ten dele af van hun cijfers, maar ook mogelijk van een loting of hun prestaties op de decentrale selectie.

Deze twee voorbeelden vragen allebei om verschillende voorspelmodellen. Om te voorspellen of een student slaagt voor zijn/haar tentamen rekenen we het effect uit van een uur studeren op je tentamencijfer. Hiermee kunnen we het aantal uren dat je studeert, vermenigvuldigen met dit effect en voilà: we kunnen een kans voorspellen. Voor de lotingstudie gaat deze manier van rekenen niet op. Daarin is het veel handiger om de scholieren te splitsen op basis van hun cijfers. Iedereen met een cijfer boven de 8 krijgt 100 procent kans op toelichting, de scholieren daaronder krijgen een kans op basis van de toelatingscijfers voor loting en decentrale selectie.

Doordat verschillende problemen om verschillende typen berekeningen vragen zijn er in de afgelopen decennia ontzettend veel verschillende algoritmen ontwikkeld om computers voorspellingen te laten maken. Dat was halverwege de jaren 90 voor de Amerikaanse wetenschapper David Wolpert het startpunt om een onderzoek te beginnen. Zou het niet mogelijk zijn dat er één methode bestaat, die altijd het beste resultaat vindt, ongeacht welk probleem moet worden opgelost? Het was het begin van het onderzoek dat zou leiden tot de ‘no free lunch theorem for machine learning’.

Als je helder hebt welk probleem je wilt oplossen en welke gegevens daarvoor beschikbaar zijn, kun je bepalen welke voorspelmethode het meest geschikt is voor die situatie. Zo kiezen we een andere methode voor de tentamenvoorspelling dan voor de toelating bij geneeskunde. Een techniek die voor alle problemen het beste werkt, moet niet afhangen van de precieze eigenschappen van het probleem dat je wil kraken. Welk mechanisme de kansen dan ook beïnvloedt, het algoritme moet altijd de beste voorspellingen kunnen maken.

Een computer die van data leert om een probleem te kraken, heeft echter altijd te maken metaannames, zo redeneerde Wolpert. Immers, als je een computer uit data laat leren, dan maak je de belangrijke aanname dat de data die je gebruikt uit het verleden daadwerkelijk iets zegt over de toekomst waar je computer een uitspraak over moet doen. Als de toekomstige data niets te maken heeft met wat de computer uit historische data heeft geleerd, dan kan er nooit één algoritme zijn dat het beste antwoord geeft. Het is haast alsof je 15 keer met een munt gooit en de computer vraagt op basis van die data te bepalen wat je de 16de keer gaat gooien. Een algoritme dat willekeurig ‘kop’ of ‘munt’ zegt, doet het in zo’n situatie even goed als het beste ‘machine learning’-algoritme dat je maar kunt bedenken.

Het lijkt misschien een simpel voorbeeld, maar het leidde wel tot een beroemde conclusie van Wolpert, die hij overigens iets wiskundiger heeft onderbouwd in zijn paper. Als je geen aannames maakt over het probleem dat je aan het oplossen bent, kun je onmogelijk van tevoren één algoritme kiezen dat gegarandeerd de beste resultaten levert. Voilà, de ‘no free lunch theorem van machine learning’. De bekendheid onder deze naam, komt van het idee dat je ook in de machine learning niet zomaar iets voor niets krijgt. Om een computer goed te laten leren, zul je de best passende leermethode moeten kiezen.

Hoewel dit een op het eerste gezicht een schokkend resultaat kan lijken, wordt het door velen geïnterpreteerd als een bevestiging van het nut van bestaande methoden. Binnen het vakgebied van kunstmatige intelligentie bestaan er tegenwoordig talloze verschillende manieren om een computer te laten leren van data. Elk van deze methoden heeft voor- en nadelen. Of een methode goed werkt voor een bepaald probleem, of juist niet, hangt voornamelijk af van wat dat probleem precies is. Zijn we bijvoorbeeld toelating tot de universiteit aan het voorspellen, of de slagingskans voor een examen?

Het is niet ongewoon dat experts bij een gegeven probleem ontzettend veel verschillende voorspelmethoden proberen en achteraf simpelweg de best werkende te kiezen. Er is zelfs een scala aan computerprogramma’s dat dit automatisch doet voor de gebruiker. Als je van tevoren niet precies weet hoe het onderzochte proces precies werkt, is dit met de ‘no free lunch theorem’ in het achterhoofd helemaal niet zo’n gekke methode. In praktijk blijkt het vaak lastig te zijn om de precieze aannames te bepalen die je nodig hebt om een probleem goed op te lossen. Dat maakt het moeilijk om direct het juiste model te kiezen. Helaas wordt er ook binnen de machine learning geen gratis lunch uitgedeeld. De tests met verschillende statistische modellen zijn als de drankjes die je bij je lunch, je ideale voorspelling, moet bestellen. Het ultieme drankje dat je altijd bij je maaltijd wil drinken, die ene keuze die áltijd goed is, waardoor je lunch écht gratis is, die bestaat helaas niet.