Naar de inhoud
Chess AI Solver

Wat de evaluatiebalk je echt vertelt

Achter elke evaluatiebalk zitten dezelfde drie getallen waarmee elke schaakengine zijn denkwerk meldt, en bijna niemand legt uit wat ze betekenen. Dit is de spoedcursus.

Pixel Works Software

Het getal is in pionnen, maar het gaat niet over pionnen

Een evaluatie van +1.4 wordt meestal gelezen als ‘wit staat ongeveer anderhalve pion voor’. Die lezing is bruikbaar genoeg om mee te werken, maar het is niet wat de engine bedoelt.

Sinds de Stockfish-evaluatie op een neuraal netwerk draait, is de score helemaal niet meer gekoppeld aan de waarde van een pion. Hij is in plaats daarvan genormaliseerd op hoe vaak de stelling echt gewonnen wordt: +1.0 ligt op het punt waarop Stockfish die stelling in zijn eigen tests met lange bedenktijd ongeveer de helft van de keren wint. Wat je scherm toont, is dat getal verpakt in pioneenheden, omdat een pion de enige eenheid is waar een schaker gevoel voor heeft.

De pion is hier dus een eenheid om het getal te tonen, geen telling – en juist daardoor is wat volgt mogelijk in plaats van tegenstrijdig.

Je kunt een hele toren achterstaan en toch op +2.0 staan. Je kunt materieel precies gelijk staan en toch op −3.5 uitkomen. Het getal vat alles samen wat de engine meeweegt – hoe onveilig elke koning staat, of de stukken velden hebben om mee te werken, of er een blijvende zwakte in een pionnenstructuur zit – en drukt het totaal uit in de enige eenheid waar een schaker gevoel voor heeft.

Een grove vuistregel, en hij is echt grof:

  • Onder ±0.3 – gelijk. Beide kanten hebben hun kansen.
  • ±0.5 tot ±1.0 – één kant staat prettiger. Er is niets beslist.
  • ±1.5 tot ±2.5 – een serieus voordeel. Tussen sterke spelers geeft dat meestal de doorslag.
  • Boven ±3 – gewonnen, bij nauwkeurig spel.

Op dat laatste zinsdeel komt het aan. De +3.5 van een engine betekent ‘gewonnen als je speelt als een engine’. Onder meesterniveau worden stellingen van +3 regelmatig weggegeven. De balk beschrijft de stelling; hij voorspelt niet je uitslag.

Matscores zijn een heel andere schaal

Springt de weergave van een decimaal getal naar iets als M5, dan is de engine gestopt met schatten. Hij heeft een geforceerd mat in vijf zetten gevonden en bewezen – elke verdediging is nagerekend en elke verdediging verliest.

Dit is het waard om je eigen te maken, want het verandert hoeveel je het scherm moet vertrouwen. Een decimale evaluatie is een oordeel dat met meer denkwerk kan veranderen. Een matscore is helemaal geen oordeel; het is een feit over de stelling. Zegt je engine M3 en speel je de zetten, dan is het na drie zetten mat.

Het verklaart ook een eigenaardigheid waar mensen van in de war raken: een stelling kan van +4.2 naar M6 springen zonder dat er iets dramatisch gebeurt. Op het bord is niets veranderd. De engine heeft simpelweg ver genoeg gerekend om het einde van de variant te zien, en is overgestapt van schatten op tellen.

De diepte houdt de engine eerlijk

Het derde getal – de diepte, soms weergegeven als percentage of als voortgangsring – is grofweg hoe ver de engine vooruit heeft gekeken. Een ply is een halve zet: één zet van één kant. Diepte 20 komt dus grofweg neer op tien zetten per kant.

Grofweg, want geen enkele engine rekent elke variant even ver door. Hij snoeit takken weg die hij kansloos acht, besteedt minder moeite aan rustige varianten, en rekent forcerende reeksen – schaakzetten, terugslaan, alles wat op mat uitloopt – tot ver voorbij de opgegeven diepte door. Het getal beschrijft de hoofdvariant, niet een vlakke horizon over de hele boom.

Dit is het deel dat ertoe doet: een evaluatie is altijd de waarde van de stelling aan het eind van de variant die tot nu toe is doorgerekend. Het is geen oordeel over de stelling voor je neus. Het is een oordeel over waar die stelling naartoe leidt, voor zover de engine is gekomen.

Daarom veranderen engines van mening. Een offer kan op geringe diepte incorrect lijken, omdat de compensatie pas verderop in de variant komt dan de engine tot dan toe heeft gekeken. Laat dezelfde berekening dieper gaan, dan bereikt die het punt waarop de compensatie verschijnt, en wordt het offer de beste zet op het bord. Aan de stelling is niets veranderd; de horizon is opgeschoven.

Heb je ooit een evaluatiebalk zien uitslaan terwijl het bord stil bleef staan, dan is dit wat je zag.

Wanneer meer diepte niets meer oplevert

Diepte kent een sterk afnemende meeropbrengst, en dat is het allernuttigste om te begrijpen over engineanalyse.

De eerste tien halve zetten doen het meeste werk – ze vinden de ongedekte stukken en de eenvoudige tactiek van één zet die de meeste amateurpartijen beslissen. Van daar tot ongeveer diepte 20 vindt de engine de diepere tactische ideeën. Daarna, in rustige stellingen, blijft de evaluatie verschuiven terwijl de aanbevolen zet vaak vast komt te liggen.

Hoe ver dat opgaat, hangt volledig af van de stelling en van de hardware die rekent. In een rustig middenspel zijn een telefoon met een paar seconden en een server met een paar minuten het vaak eens over de zet en alleen oneens over de decimaal. In een scherp middenspel zijn ze het misschien helemaal niet eens, en geen enkele diepte maakt dat vooraf betrouwbaar. Zie die afnemende meeropbrengst als een tendens die het kennen waard is, niet als een drempel waarop je kunt bouwen.

De stellingen waarin diepte echt telt, zijn de scherpe – zware tactiek, tegengestelde rokades, lange forcerende reeksen. In rustige stellingen levert het extra rekenwerk je alleen decimalen op.

Waarom de beste zet soms een zet is die jij nooit zou spelen

Engines zoeken de objectief sterkste voortzetting tegen perfecte verdediging. Jij verdedigt niet perfect, en je tegenstander ook niet.

Dus raadt de engine soms een variant aan die +0.4 waard is en acht nauwkeurige zetten vraagt, boven een variant van +0.2 die eenvoudig en veilig is. Tegen een andere engine is de eerste juist. Tegen een mens met twintig minuten op de klok wint de tweede meer partijen.

Dat is geen gebrek. Daar is het gereedschap voor. Maar het betekent wel dat engine-uitvoer goed lezen een stap vraagt die de engine niet voor je kan zetten: je afvragen of jij de variant die hij voorstelt echt kunt spelen.

Een verwante gewoonte die het aanleren waard is: kijk naar de op een na beste zet. Zijn de twee beste zetten +1.4 en +1.35, dan heb je een keuze en kun je de zet nemen die je begrijpt. Zijn ze +1.4 en −0.2, dan is er maar één zet en moet je die vinden. Dat gat vertelt je hoe scherp de stelling is, en dat is vaak nuttiger dan de evaluatie zelf.

Een stelling eerlijk lezen

Samen beantwoorden de drie getallen drie verschillende vragen. De evaluatie zegt wie er beter staat en ongeveer hoeveel. De matscore, als die verschijnt, zegt dat het rekenwerk klaar is. De diepte zegt hoeveel je de andere twee moet vertrouwen.

Een ondiepe +2.0 is een hint. Een diepe +0.3 is een veel stabielere schatting. Geen van beide is een feit – alleen een matscore is dat. Weten naar welke van de drie je kijkt, is het grootste deel van de kunst.

Veelgestelde vragen

Waarom is mijn engine het oneens met de partijanalyse op een schaaksite?

Meestal door een andere diepte, soms door een andere engineversie, en af en toe door een ander evaluatienetwerk. Twee engines kunnen dezelfde stelling op +0.8 en +1.3 zetten en allebei redelijk zijn. Zijn ze het oneens over de zet in plaats van over het getal, dan is de stelling echt tweesnijdend, en dat is op zich al het weten waard.

Is een groter getal altijd beter?

Nee, en erop jagen is een veelgemaakte fout. Sta je duidelijk gewonnen, dan is de nuttige vraag niet welke zet de evaluatie het hoogst maakt, maar welke zet het simpel houdt. +5 met een geforceerde ruil naar een makkelijk eindspel is voor een mens meer waard dan +7 met complicaties.

Kan een engine zich vergissen?

Over een matscore niet – die is bewezen. Over een evaluatie natuurlijk wel: dat is een schatting uit een eindige berekening, en dieper rekenen stelt haar bij.

Eindspelen verdienen een aparte vermelding, omdat daar het ene geval zit dat de andere kant op werkt. Met weinig genoeg stukken op het bord schat een engine die eindspeltablebases gebruikt helemaal niet – de uitslag wordt opgezocht, en die is exact. Daarbuiten, of met de tablebases uitgeschakeld, zijn vestingen en lange eindspelen waarin vooral gemanoeuvreerd wordt de klassieke plekken waar engines zich vergissen, soms flink, omdat het idee dat de stelling beslist voorbij elke horizon ligt die de berekening kan bereiken.