Simpel is beter, vooral bij plannen en voorspellen

Iedereen kent ongetwijfeld ICT-projecten die tot in de puntjes waren uitgedokterd en uitgerekend, maar die al heel snel de planning en het budget overschreden, en uiteindelijk als faliekante mislukking werden stopgezet. Veel ICT-bedrijven hanteren inmiddels de SCRUM-methode om ingewikkelde projecten op een simpele manier te organiseren. Zou een vergelijkbare radicale koerswijziging ook vruchtbaar kunnen zijn voor het maken van economische voorspellingen?

In mei 1997, dus 20 jaar geleden, dolf wereldkampioen schaken Garri Kasparov na zes partijen het onderspit tegen IBM-computer Deep Blue. De superioriteit van Deep Blue leek te berusten op zijn fenomenale rekencapaciteit – 200 miljoen zetten per seconde – em zijn enorme database (4000 stellingen en 700.000 grootmeesterpartijen), natuurlijk in combinatie met allerlei schaakalgoritmen

Deze spectaculaire overwinning van de machine op de mens versterkt de algemene opinie dat computers beter zijn doordat zij over meer rekencapaciteit beschikken en beter overweg kunnen met complexe algoritmes. Wanneer wij ons beperken tot robots, dus bewegende computers, lijkt dat een misvatting. Net als schaakcomputers werden robots aanvankelijk steeds geavanceerder, maar dat bleek een doodlopende weg. Innovatieve robotontwerpers als Rodney Brooks, hier in een prachtige TED-lezing, kozen voor een totaal andere benadering, die vaak als behavior-basedwordt bestempeld. Zo heeft bijvoorbeeld bij een looprobot elk van de ‘benen’ een eigen ‘brein’ dat een beperkt aantal simpele heuristics hanteert. Daarnaast bevat de robot een “neural-network chip” die op de hoogte is van deze vuistregels, en die als een soort scheidsrechter optreedt in het geval deze regels tot ‘conflicten’ tussen de diverse benen leiden. Deze centrale eenheid heeft een camera en geeft aan de benen informatie over hoe de ruimte eruit ziet waarin de robot zich moet bewegen.

Het tweede principe dat van toepassing is op de moderne robot: iedere keer dat de robot opnieuw wordt opgestart, is de database ‘leeg’. Dat is dus het tegenovergestelde van de schaak- of GO-computer die juist over een enorme volle database beschikt. Pas bij het opstarten wordt de database gevuld met de data die via camera’s en sensoren op dat moment beschikbaar komen. Wat ervoor zorgt dat de robot in iedere willekeurige ruimte kan functioneren. Zodra de robot wordt aangezet, lijkt hij op een kalf dat na zijn geboorte voor het eerst gaat staan. Met iedere stap wordt de robot minder wiebelig, want de benen leren heel snel om ‘samen te werken’. Binnen een paar minuten rent de robot door de kamer zonder tegen muren te botsen of objecten om te stoten.

FBI in de problemen

Deze radicale koersverandering vertoont veel overeenkomsten met de veel tragere ontwikkeling die op het gebied van projectplanning en -management gaande is. Hoe dit transformatieproces bij de FBI is verlopen, kunnen we lezen in het prachtige boekje SCRUM (2014) van Jeff Sutherland.

Na de vernedering die de VS op 11 september 2001 moest ondergaan met de totaal onverwachtse aanslag op de Twin Towers, wordt duidelijk dat de FBI hoognodig af moet van het 30 jaar oude systeem waarin veel papier en logge mainframes de hoofdrol spelen. Een jaar later gaat een project van start om een Virtual Case Filer (VCF) te bouwen, met een budget van 100 miljoen dollar. In 2005 wordt het project stopgezet. Het systeem heeft nooit gedraaid en de belastingbetaler kreeg een behoorlijke rekening gepresenteerd: 170 miljoen dollar, want tussentijds is 70 miljoen extra aangevraagd.

Al vrij snel ligt er een nieuw project klaar, Sentinel, dat ontworpen zal worden door Lockheed Martin. De kosten zijn 451 miljoen dollar, dus meer dan 2,5 keer zoveel als het VCF-project. Op te leveren in 2009. Op 3 maart 2010 wordt ook onder dit project een streep gezet. Lockheed Martin heeft dan al 405 miljoen gespendeerd maar het project is nog maar halverwege. De reden waarom het maar niet opschiet, kan in één zin worden samengevat: “New defects in the software were being discovered faster dan old ones were being fixed”(p. 7). Om het project helemaal af te maken is er nog zes tot acht jaar nodig, voor een extra budget van 350 miljoen dollar..

Een radicaal alternatief dient zich aan, onder de naam Scrum – een term uit de rugbysport. Met deze methode – zo is de inschatting – kan het Sentinel-project worden afgerond in minder dan 20% van de tijd, en voor minder dan 10% van het budget van 350 miljoen. Het Ministerie van Justitie is natuurlijk uitermate sceptisch maar geeft in oktober 2010 haar fiat. In juli 2012 wordt Sentinel voor de eerste keer opgestart: een groot succes, en de definitieve doorbraak van Scrum.

Scrum versus Waterval

Scrum biedt een totaal andere benadering dan de zogeheten Waterval-methode, die op papier en op het computerscherm er prachtig uitziet maar in de praktijk vooral ballast lijkt te zijn. De reden volgens Sutherland: “every project involves discovery of problems and bursts of inspiration” (p. 8). Zowel de negatieve als de positieve ‘verrassing’ worden door de Waterval-methode genegeerd, met als verschil dat de inspiratie verdwijnt, maar de problemen niet.

De Waterval-methode is gebaseerd op de veronderstelling dat je het project van tevoren in detail kan ‘uittekenen’. Zij is voor het eerst gebruikt in WO I en wordt vooral weer populair met de opkomst van de PC als je vrij gemakkelijk zeer complexe schema’s met allerlei kleurtjes en pijlen te voorschijn kunt toveren. Maar in WO II had generaal Eisenhower al door dat “planning for combat is important, but as soon as the first shot is fired, your plans go up in smoke” (p.6).

Giganten als Google, Apple, en Microsoft – evenals allerlei kleine software start-ups – zijn al vele jaren fervente aanhangers van de Scrum-methode, die inmiddels ook op andere terreinen wordt toegepast: bij het ontwerpen van een nieuwe auto, in het onderwijs, en zelfs bij het plannen van een bruiloft.

Ham en Eieren

Scrum is gebaseerd op een simpel idee: zodra een project van start gaat moet je regelmatig checken of het project nog steeds in de juiste richting gaat, en nog steeds iets oplevert wat de klant feitelijk wil. De principes van Scrum zijn simpel maar de implementatie niet: zij vereist “thought, introspection, honesty and discipline” (p. 10).

Het team dat een project op basis van Scrum uitvoert bestaat idealiter uit drie tot negen mensen, vaak uit zeer verschillende achtergronden, waaronder de product-eigenaar en de Scrum-meester. De eerste is de man of vrouw die het eindproduct ‘op het netvlies heeft’, dus de visionair of inhoudsdeskundige. De Scrum-meester is vooral een coach, die probeert alle obstakels te voorkomen of uit de weg te ruimen die verhinderen dat het ontwerpproces stokt of de verkeerde kant opgaat.

Naast inhoudelijke kennis is de belangrijkste eis dat iedere teamlid volledig is toegewijd aan de opdracht, en verantwoordelijk is voor het eindresultaat. Dit in tegenstelling tot de opdrachtgever(s) en andere stakeholders wier rol beperkt blijft tot een regelmatige beoordeling van de tussentijdse producten. In de Scrum-gemeenschap circuleert hierover de volgende grap. Een kippetje zegt tegen zijn vriend het varkentje: “zullen we samen een restaurant openen?”. Waarop het varkentje reageert: “hoe zullen we het dan noemen?”. “Wat denk je van Ham en Eieren?”. “Maar dat betekent” zegt het varkentje in het Engels “ I ‘d be committed, but you’d only be involved”.

Zo is het ook bij de Scrum-methode: de leden van het projectteam zijn de varkentjes, de opdrachtgever(s) en andere stakeholders leveren hun bijdrage door regelmatig de tussenproducten te beoordelen, en hun wensen te expliciteren en te actualiseren.

Van Backlog naar Sprint

Natuurlijk kent ook Scrum een vorm van planning. De eerste fase is het creëren van een Product Backlog. Dat is een lijst met op algemeen niveau de stappen of onderdelen die nodig zijn om het eindproduct te kunnen realiseren. Deze lijst is voortdurend aan verandering onderhevig, afhankelijk hoe het project zich ontwikkelt. Het is een product road map.

Het specificeren van deze stappen of onderdelen is de tweede fase, met tevens een inschatting van de tijd die nodig is voor elk van deze stappen. Niet in uren of minuten maar door een onderscheid te maken tussen: veel, gemiddeld, weinig. Of door aan elke stap punten toe te kennen die een grove schatting van de tijdsduur geven.

Na deze twee voorbereidende stappen kan het project van start in de vorm van een Sprint. De eerste Sprint bestaat uit de stappen die bovenaan staan op de Backlog-lijst én binnen een of twee weken genomen kunnen worden. Na uitvoering van de eerste Sprint wordt vanzelf duidelijk wat in de tweede Sprint moet gebeuren. Zo wordt gaandeweg het totale project in behapbare brokken opgedeeld.

Na de eerste paar Sprints wordt pas duidelijk wat de negatieve en positieve ervaringen zijn, en kan de ‘omloopsnelheid’ van het projectteam worden ingeschat. Vergelijk het met het opstarten van de looprobot: in de eerste minuten wordt zichtbaar of de programmatuur een succes is of een strompelende robot teweeg brengt. Sommige aanhangers van de Scrum-methode weigeren zelfs bij het begin van het project een uitspraak te doen over de oplevertijd omdat pas na een paar Sprints duidelijk is in hoeverre de samenstelling van het projectteam en andere belangrijke variabelen een snelle realisatie mogelijk maken, of dat er allerlei aanpassingen nodig zijn.

Do, Doing, Done

Wat is er nodig om een Sprint tot een succes te maken? Veel profijt levert een Scrum-Board waarop zichtbaar is hoe het project vordert. Er zijn slechts drie kolommen: nog te doen, in uitvoering, en afgerond. In het Engels: do, doing, done. Iedereen ziet dan in één oogopslag hoe ver het staat met elk van de afgesproken taken.

Nog belangrijker is de dagelijkse Scrum – of een wekelijkse als het project een langere looptijd heeft. Iedere dag op hetzelfde tijdstip komt het projectteam minder dan 15 minuten bij elkaar om drie vragen te beantwoorden:

  1. Wat heb je gisteren gedaan om het team te helpen de Sprint uit te voeren?

  2. Wat ga je vandaag doen?

  3. Zijn er obstakels die jou daarbij hinderen?

Ook de Sprint Demo is van groot belang. Dat is de open bijeenkomst waarop een tussenproduct wordt gepresenteerd aan iedereen die belang heeft bij het project, dus de kippetjes, en in ieder geval de opdrachtgever(s).

Tot slot is er de Sprint Evaluatie. Deze kan alleen slagen als de leden van het projectteam over voldoende emotionele rijpheid en onderling vertrouwen beschikken. Want het gaat er niet om met het vingertje te wijzen, maar om een analyse van het proces wat is doorlopen: waarom gebeurde dit of dat; waarom hebben we dit over het hoofd gezien; hoe kunnen we bij de volgende Sprint een en ander voorkomen.

Valkuilen vermijden

De praktijk wijst uit dat de Scrum-aanpak twee ingesleten vormen van asymmetrie ondervangt die vaak voor veel ellende zorgen in projecten – en in organisaties en relaties. Het eerste asymmetrische reactiepatroon: als het resultaat meevalt is dat de eigen verdienste, bij tegenvallende resultaten ligt het altijd aan de externe omstandigheden. De tweede ligt in het verlengde van de eerste: als de ander faalt hebben we de neiging om te gaan psychologiseren – “jij hebt nu eenmaal een blinde vlek voor ….” – maar als we zelf falen, weten we perfect de omstandigheden of andere personen aan te wijzen die daarvoor verantwoordelijk zijn (en gaan we dus sociologiseren, zoals een vriend dat noemt). Bij de Scrum-methode is het project een gezamenlijk en transparant avontuur die geen ‘winners or losers’ kent. Voor iedereen is voortdurend duidelijk in hoeverre externe omstandigheden een handje hebben geholpen of flink tegenvielen.

In de Scrum-methode is een belangrijke rol weggelegd voor de Wise Fool, die meestal door de Scrum-meester wordt gespeeld. De Wise Fool is de persoon die op tijd lastige vragen stelt of ongemakkelijke waarheden naar voren brengt. In het beroemde sprookje van Andersen is de Wise Fool het kind dat zegt wat iedereen ziet maar niet durft te zeggen: “de keizer heeft helemaal geen kleren aan!”

Kostenbesparing

De invoering van de Scrum-methode heeft belangrijke voordelen. Het blijkt mogelijk “doing twice the work in half the time”, zoals de subtitel van het Scrum-boekje belooft. Dat betekent dat de kosten dalen met een factor vier, of meer.

Dat lijkt niet overdreven want om te beginnen kan een groot deel van de overhead worden geschrapt. Het is niet langer nodig dat de leden van het projectteam hun tijd verspillen met voortdurend rapporteren aan managers en stafmedewerkers; de eeuwig terugkerende frustratie van iedere professional. Overbodig zijn ook allerlei dure deskundigen die worden opgetrommeld om van tevoren en op papier aan te geven wat er allemaal nodig is om het project te kunnen uitvoeren, hoeveel tijd en expertise dat in beslag neemt, en dus hoeveel het project, inclusief hun ‘waardevolle bijdrage’, zal gaan kosten. Zie de kostenbesparing bij het Sentinel-project.

Economische voorspellingen

Bij de FBI – en veel andere organisaties – was de standaardreactie om een falende methode te vervangen door een nieuw systeem dat nog geavanceerder is. Een vergelijkbaar patroon zien we bij modellen die de economische toekomst voorspellen. Altijd wordt aangenomen dat de voorspellingen beter worden door nóg meer vergelijkingen en data in het model te stoppen. Bovendien denken veel macro-economen dat zij de causaliteiten van de economische processen goed in het vizier hebben. En dat je die causale relaties moet gebruiken om beter te kunnen voorspellen. Het CPB hanteert als het ware nog steeds een soort Waterval-methode, die op papier een overtuigende logica vertoont maar in de praktijk vaak blijkt te falen.

Kleinberg c.s. (2015) gebruiken twee ‘toy examples’ om twijfel te zaaien bij deze ingesleten benadering. Het ene voorbeeld betreft de vraag of het loont een regendans op te voeren om een nijpende droogte te bestrijden. Van een geheel andere orde is de vraag of je een paraplu moet meenemen als je straks gaat wandelen. Bij beide vragen wil je graag informatie over de toekomstige regenval. Bij de eerste vraag ga je op zoek naar een causale relatie, bij de tweede gaat het primair om een voorspelling; het wel of niet dragen van een paraplu heeft immers geen effect op de waarschijnlijkheid dat het gaat regenen. Bij de eerste vraag kun je een regressievergelijking gebruiken (hoewel een statistische ‘verklaring’ iets anders is dan een economische verklaring), terwijl je bij de tweede machine learning technieken de voorkeur verdienen, zo beweren Kleinberg c.s.

Deze technieken kun je vergelijken met de manier waarop een looprobot ‘onderzoekt’ hoe te handelen in een nieuwe omgeving. Op basis van de ‘nieuwe data’ die de camera en de sensoren verzamelen, voert de centrale processor razendsnel allerlei trial and error exercities uit om te weten hoe diverse vuistregels te combineren. Zoals te zien is op de eerder genoemde TED-lezing van Brooks.

Dat de beste moge winnen

Met de VVD aan het roer van een nieuwe regering zou er toch belangstelling moeten zijn voor een experiment om eindelijk echte concurrentie te krijgen op de markt voor economische voorspellingen. Als concurrentie leidt tot een eerlijke wedstrijd, worden mensen en bedrijven gestimuleerd om hun beste krachten te tonen. Deze vorm van wedijver zou bij uitstek moeten gelden van de ontwikkeling en toepassing van wetenschappelijke kennis.

Ik stel voor om met 10% van het huidige CPB-budget op proef een nieuw instituutje op te richten dat vooral machine learning experts – plus een paar economen met een frisse blik – inzet voor economische voorspellingen op de korte termijn, zoals het CEP. Op die manier kan snel duidelijk worden op welke terreinen het CPB het onderspit delft of toch betere prestaties levert.

Bij de meeste lezers – vooral als ze macro-econoom zijn – zullen nu waarschijnlijk de wenkbrauwen gaan fronsen. Zoals dat ook gebeurde toen Rodney Brooks een ‘behavior based’ robot aankondigde. Of toen de Scrum-mensen zeiden dat ze het vastgelopen Sentinel van Lockheed Martin succesvol zouden afronden met slechts 10% van het budget.

Ongetwijfeld zullen CPB-ers reageren – als ze überhaupt met een reactie komen want een monopolist hoeft zich nergens om te bekommeren – met het argument dat ze al steeds meer aan behavior economics doen en zelf heel goed in staat zijn nieuwe wegen in te slaan. Bij beide uitdagingen hebben ze echter niet bepaald een indrukwekkende track record opgebouwd. Bovendien vergeten ze dan een belangrijke les uit het innovatie-onderzoek, vooral van Clayton Christensen: binnen bestaande organisaties komen radicale innovaties alleen tot stand als er een aparte eenheid wordt opgericht die volkomen onafhankelijk van de rest van de organisatie kan opereren. In de computerindustrie heeft IBM deze vuistregel toegepast, waardoor zij als enige onderneming de technologische doorbraken van mainframe naar laptop heeft overleefd.

Dit verschijnsel wordt ook wel aangeduid als skunkswork, een term die haar oorsprong vindt in de incubator waar Lockheed tijdens WO II de P-80 Shooting Star heeft ontwikkeld. Inderdaad, dezelfde Lockheed die decennia later vastliep in het Sentinel-project. Waaruit weer eens blijkt dat organisaties weinig leren van hun eigen verleden, als ze daartoe niet gestimuleerd of gedwongen worden.

Zullen CPB en de nieuwe regering deze vorm van concurrentie aandurven of kiezen ze wederom voor de veilige status quo van het monopolie?

S. de Beter

Share

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *


Deze vraag is bedoeld om spambots tegen te gaan. Spambots zijn stukjes software die op sites automatisch formulieren invullen om zo de website te kunnen bestoken met ongewenste berichten. Spambots kunnen niet interpreteren wat het antwoord moet zijn.

Wilt u mij een persoonlijk bericht sturen? Mail naar s.debeter@gmail.com

Abonneer je op dit blog d.m.v. e-mail

Voer je e-mailadres in om je in te schrijven op dit blog en e-mailmeldingen te ontvangen van nieuwe blogposts.

Laatste berichten