[De ontwikkeling van kritische succesfactoren en prestatie-indicatoren kan beschreven worden] aan de hand van de zogenoemde prestatiemetingspiramide. (...) In de prestatiemetingspiramide zijn de volgende bouwstenen te onderscheiden, die volgtijdelijk van boven naar beneden moeten worden samengesteld:

1. Missie en strategie.

2. Strategische doelstellingen, kritische succesfactoren en prestatie-indicatoren.

3. Functionele doelstellingen, kritische succesfactoren en prestatie-indicatoren.

4. Cruciale bedrijfsactiviteiten en operationele kritische succesfactoren en prestatie-indicatoren.

5. Omgevingsfactoren en -indicatoren.

Ad (1) Missie en strategie

Allereerst moet een organisatie haar missie formuleren door het beantwoorden van de vraag: Wat willen we als organisatie bereiken? Voor het formuleren van de strategie beantwoordt de organisatie de vragen: Hoe gaan we als organisatie onze missie vervullen? Hoe gaan we bereiken wat we willen?

Ad (2) Strategische doelstellingen, kritische succesfactoren en prestatie-indicatoren

Om de strategie zo concreet en tastbaar mogelijk te maken worden strategische doelstellingen geformuleerd. Vaak is de strategie nogal in vage bewoordingen omschreven. Door het formuleren van één of meer strategische doelstellingen wordt duidelijk welke activiteiten ontplooid moeten worden voor het realiseren van de strategie. Wanneer de strategie al zeer concreet omschreven is, zijn de strategische doelstellingen nagenoeg gelijk aan de strategie.

Of de strategische doelstellingen worden gerealiseerd, wordt gevolgd met strategische kritische succesfactoren en gemeten met strategische prestatie-indicatoren. Deze strategische parameters worden opgenomen in de managementrapportage die vooral door de directie of het managementteam wordt gebruikt.

 

Ad (3) Functionele doelstellingen, kritische succesfactoren en prestatie-indicatoren

Een organisatiefunctie of -afdeling kan het bereiken van de missie en strategie ondersteunen door de geformuleerde strategische doelstellingen naar het eigen functionele gebied te vertalen in functionele doelstellingen, om deze vervolgens zo goed mogelijk te realiseren. De mate van realisatie wordt gevolgd met functionele kritische succesfactoren en gemeten met functionele prestatie-indicatoren. Vooral de hoofden van de verschillende functionele disciplines (het 'middenkader') gebruiken deze functionele parameters.

(...)

Omdat elke bedrijfsfunctie of -afdeling op verschillende manieren bijdraagt aan het behalen van de strategische doelstellingen is het van belang dat de functionele doelstellingen voor elke bedrijfsfunctie of -afdeling afzonderlijk worden vastgesteld. De taak van het hogere management bestaat uit het voortdurend in de gaten houden of de functionele doelstellingen van een bedrijfsfunctie of -afdeling nog in één lijn staan met de strategische doelstellingen. Is dit niet (meer) het geval, dan moeten de functionele doelstellingen worden geherformuleerd. Alleen zo weet een organisatie zeker dat 'alle neuzen dezelfde kant op staan'.

Ad (4) Cruciale bedrijfsactiviteiten en operationele kritische succesfactoren en prestatie-indicatoren

Naast de missie en strategie heeft een organisatie ook te maken met cruciale bedrijfsactiviteiten. Een cruciale bedrijfsactiviteit is een activiteit 'that makes the business tick' en die de organisatie daarom altijd, ongeacht de gekozen missie, goed moet uitvoeren om te kunnen overleven. De uitvoering van cruciale bedrijfsactiviteiten wordt gevolgd met operationele kritische succesfactoren en gemeten met operationele prestatie-indicatoren. Vooral de direct betrokken functionele functionarissen gebruiken deze operationele parameters.

Ad (5) Omgevingsfactoren en -indicatoren

Dit zijn parameters die iets zeggen over de omgeving waarin de organisatie opereert, in het bijzonder over het verloop van voor de organisatie relevante ontwikkelingen. Het zijn belangrijke parameters die door de organisatie slechts voor een gedeelte en vaak zelfs helemaal niet beheersbaar zijn maar die wel invloed op de resultaten van de organisatie hebben. Daarom moet vooral tijdens het vaststellen van normen voor prestatie-indicatoren rekening gehouden worden met de invloed van omgevingsfactoren.

(...)

Bij het ontwikkelen van prestatie-indicatoren moet duidelijk onderscheid gemaakt worden tussen wat managementinformatie is en wat operationele informatie.

 

Operationele informatie

Informatie die de organisatie een beeld geeft van een individuele activiteit. Operationele informatie stelt de organisatie in staat te beslissen of die activiteit moet worden bijgestuurd en welke vervolgstappen, inclusief consequenties in tijd en geld, daarvoor nodig zijn. De procesindicatoren die worden gebruikt in operationele informatie behoren niet in de managementrapportage maar vormen de gedetailleerde 'werkdata' die over het algemeen direct beschikbaar zijn nadat een activiteit is afgerond. Een voorbeeld van een procesindicator is 'de levertijd van een individuele order'.

 

Management informatie

Informatie die is gebaseerd op kritische succesfactoren en prestatie-indicatoren, vormt informatie op een hoger abstractieniveau dan operationele informatie. Managementinformatie geeft een signaal aan het management of het al dan niet goed gaat met een bepaald proces, oftewel wordt er gepresteerd conform de eerder overeengekomen afspraken en normen. De operationele prestatie-indicatoren die worden gebruikt in de managementinformatie zijn vaak opgebouwd uit procesindicatoren. Managementinformatie wordt periodiek, bijvoorbeeld maandelijks gerapporteerd. Het management wil een analyse van de achterliggende oorzaak als beneden de norm is gepresteerd. Hiervoor zullen de hierboven genoemde werkdata op een ad-hocbasis moeten worden geraadpleegd. Een voorbeeld van een operationele prestatie-indicator, die opgebouwd is uit een procesindicator, is 'de gemiddelde levertijd van orders'.

Ontwikkelingsmethodiek

Kritische succesfactoren en prestatie-indicatoren voor een doelstelling of cruciale bedrijfsactiviteit worden bepaald door, als eerste stap, de volgende vragen te beantwoorden:

• Wat is het eindresultaat als we de doelstelling succesvol hebben gerealiseerd?
• Wat is het eindresultaat als we de bedrijfsactiviteit succesvol hebben uitgevoerd?

Dit eindresultaat levert een zogenoemde resultaat-KSF.

Vervolgens worden de volgende vragen beantwoord:

• Wat heb ik per se nodig om de doelstelling succesvol te kunnen realiseren?
• Wat heb ik per se nodig om de cruciale bedrijfsactiviteit succesvol te kunnen uitvoeren?

Er zijn zo veel inspanningen die kunnen worden gepleegd om het eindresultaat te bereiken dat alleen de belangrijkste, de meest kritische, moeten worden gevolgd door zogeheten inspanning-KSF'en. 'Kritische inspanning' betekent de inspanning met de grootste kans om het eindresultaat te bereiken.

Nadat de kritische resultaat- en inspanningssuccesfactoren geïdentificeerd zijn, worden in de tweede stap voor elke kritische succesfactor de volgende vragen beantwoord:

• Waarmee meet ik het resultaat van de kritische succesfactor?
• Waaraan kan ik het resultaat van de kritische succesfactor afzien?

Het antwoord op deze vragen levert direct de prestatie-indicator. De prestatie-indicator kan veelal goed worden gedefinieerd als een verhoudingsgetal of als percentage (met teller en noemer). Immers een resutaat van 10 op de prestatie-indicator 'klachten' zegt op zichzelf nog niet zo veel. Pas wanneer we weten dat dit 1% was (10 klachten op de 1000 klanten) of 10% (10 klachten op 100 klanten) kunnen we het resultaat op waarde schatten.

(...)

Het is belangrijk onderscheid te maken tussen resultaat- en inspanning-KSF'en. Indien alleen maar de inspanningen worden gevolgd, bestaat de kans dat weliswaar alle activiteiten zeer goed worden uitgevoerd maar dat helaas de verkeerde activteiten goed worden uitgevoerd. Het gaat niet zozeer om 'doing the things right', maar om 'doing the right things right!' Het eindresultaat moet altijd in de gaten gehouden worden zodat men zeker weet dat de inspanningen ook het gewenste resultaat opleveren.

Maar het is onvoldoende om alleen het eindresultaat in de gaten te houden. Vaak duurt het langere tijd voordat het eindresultaat wordt bereikt. Om te controleren of men op de goede weg zit naar het einddoel, kan worden gemeten of de inspanningen goed worden uitgevoerd. Op deze manier krijgt men tussentijdse resultaten te zien en kan aan de hand daarvan eventueel bijsturing plaatsvinden.

Tijdens de ontwikkeling van doelstellingen, kritische succesfactoren, prestatie-indicatoren en normen kan een aantal kwaliteitscriteria worden gehanteerd om er zeker van te zijn dat de ontwikkelde parameters specifiek, meetbaar, acceptabel, relevant en tijdgebonden zijn. Deze kwaliteitscriteria worden hieronder opgesomd.

 

Doelstellingen

• Een doelstelling moet een activiteit beschrijven die leidt tot het gewenste eindresultaat.
• Een doelstelling moet concreet zijn (dus niet in vage bewoordingen gesteld zijn).
• Een doelstelling moet actief zijn door het opnemen van een werkwoord (bijvoorbeeld 'Verhogen van ....')
• Een doelstelling moet betrekking hebben op het verantwoordelijkheidsgebied van degene (afdeling, manager, enz.) waarvoor de doelstelling wordt ontwikkeld.
• De doelstellingen moeten elkaar onderling niet tegenspreken, ze mogen niet conflicterend zijn.
• Het aantal doelstellingen moet gelimiteerd blijven (richtaantal 5-10).

 

Kritische succesfactoren

• Elke doelstelling moet met tenminste één resultaat-KSF en ten hoogste twee inspanning-KSF'en worden gemeten.
• Voor elke kritische succesfactor mag een maximum van drie prestatie-indicatoren worden ontwikkeld. Dit om de hoeveelheid informatie voor een manager, ontwikkelingstijd en ontwikkelingskosten te bepeken, en om er zeker van te zijn dat alleen echt relevante informatie wordt gerapporteerd.
• Kritische succesfactoren moeten niet alleen financiële informatie bevatten maar ook niet-financiële om een gebalanceerd beeld te kr?gen van elke doelstelling.
  
• Een kritische succesfactor is een kwalitatief begrip dat op kwalitatieve wijze beschrijft hoe een doelstelling kan worden gemeten. De kritische succesfactor is dus nooit kwantitatief (dus niet ‘aantal tevreden klanten’ maar ‘klanttevredenheid’).
  
• De kritische succesfactor is duidelijk, kort en kan maar op één manier worden geïnterpreteerd.
• De kritische succesfactor beschrijft alleen wat er wordt gemeten, niet wat de richting of waarde van het resultaat moet zijn (dus ‘kwaliteit personeel’ en niet ‘hoge kwaliteit personeel’).

 

Prestatie-indicatoren

• De definitie van een prestatie-indicator moet kort, simpel en compleet zijn (elke term in de definitie moet omschreven zijn), op een manier dat de prestatie-indicator maar op één manier kan worden geïnterpreteerd.
• De prestatie-indicator moet in de praktijk meetbaar zijn. Er moeten binnen het bedrijf procedures, middelen en (zo veel mogelijk) informatiesystemen aanwezig zijn om hiervoor te zorgen.
• De prestatie-indicator wordt bij voorkeur geaggregeerd uit procesindicatoren.
• De de?nitie van een prestatie-indicator bestaat bij voorkeur uit een teller en een noemer: percentages geven over het algemeen meer informatie dan absolute getallen.
• De de?nitie van een prestatie-indicator bevat een frequentie (tijdseenheid) waarmee de indicator moet worden gemeten en gerapporteerd.

 

 

Normen

 

• ­ De norm voor een prestatie-indicator moet realistisch zijn: een manager moet weten dat de norm haalbaar is.
• De norm voor een prestatie-indicator bevat een bepaalde spreiding waarbinnen het resultaat moet vallen. Pas wanneer het resultaat buiten de spreiding valt (negatief of positief) volgt correctieve actie.
• De norm voor een prestatie-indicator wordt samen met de manager die verantwoordelijk is voor de prestatie-indicator in kwestie bepaald, zodat het draagvlak voor de norm wordt vergroot.

 

 

Bron: Meten moet!, André de Waal, Henk Bulthuis & Kobien Mijland-Bessems

 

Binnen de (inferentiële) statistiek probeer je vaak op grond van de resultaten van een steekproef conclusies te trekken over de populatie. De populatie is de naam voor de complete groep waarover het statistisch onderzoek gaat. De steekproef is het deel van de populatie dat je bij je onderzoek betrekt. Er zijn twee redenen waarom je gebruik maakt van een steekproef. De eerste is dat de populatie zo groot is dat het onmogelijk is om alle objecten te benaderen. De tweede reden is dat het onderzoek te duur wordt om bij alle objecten metingen te verrichten. Door de inferentiële statistiek toe te passen, is het ook niet noodzakelijk om een hele populatie te bemeten. Ook door slechts een deel van de populatie te bemeten, is de onderzoeker in staat om relevante uitspraken te doen over die populatie.

Bij statistisch onderzoek moet je steeds goed onderscheiden of je over de populatie spreekt dan wel over de steekproef. De populatie is over het algemeen slechts in formele zin gegeven in termen van een kansverdeling met enkele onbekende parameters. Het zijn deze parameters die men graag zou kennen, maar om uiteenlopende redenen niet kent. Een steekproef verschaft informatie over de parameters, door het geven van een schatting, het toetsen van een hypothese over een parameter, e.d. Zo is er het populatiegemiddelde, meestal onbekend, en als schatting daarvan het steekproefgemiddelde. Evenzo is de steekproefvariantie een schatting van de populatievariantie, enzovoorts.

Bij het doen van onderzoek is het - zoals gezegd - zelden mogelijk om alle elementen waarin men geïnteresseerd is (de populatie) te onderzoeken. Je onderzoekt dan een steekproef van elementen uit die populatie. Wil je met enig vertrouwen op basis van een steekproef uitspraken doen over een populatie, dan moet de steekproef representatief en willekeurig (aselect) getrokken zijn. Bij een aselecte steekproef heeft ieder element van de populatie een even grote kans om in de steekproef opgenomen te worden. Uitspraken over populaties zijn altijd kansuitspraken; je weet het nooit helemaal zeker, juist omdat je niet de hele populatie, maar slechts een steekproef onderzocht hebt.

De onafhankelijkheid van steekproeven houdt in dat het trekken van een steekproefelement in de ene steekproef geen invloed heeft op het trekken van elementen in andere steekproeven. De scores in de verschillende steekproeven zijn dan ook onderling onafhankelijk, met andere woorden, alle individuen of observaties in alle steekproeven zijn toevalsgewijs.

In een onderzoek waarin bijvoorbeeld twee groepen van respondenten met elkaar worden vergeleken, en in de éne steekproef enkel mannen zitten, en in de andere enkel de partners van diezelfde mannen, spreek je van afhankelijke of gerelateerde steekproeven. Andere voorbeelden van gerelateerde steekproeven zijn: het afnemen van een vragenlijst bij een aantal personen en het na verloop van een maand afnemen van dezelfde vragenlijst bij dezelfde personen, of het indelen van studenten in twee groepen: een testgroep en een controlegroep. De studenten worden niet toevalsgewijs verdeeld over de test- of controlegroep maar telkens als een student toegewezen wordt aan de testgroep, wordt een andere student met zoveel mogelijk dezelfde  karakteristieken als eerste toegewezen aan de controlegroep (dit is een gepaarde steekproef). Gepaarde waarnemingen zijn meetresultaten bij dezelfde onderzoekseenheid.

Aan een steekproef wordt niet alleen de eis gesteld van representativiteit (= respons is representatief voor de populatie waarover de onderzoeker een uitspraak wil doen), maar gelden ook eisen ten aanzien van de omvang van de steekproef. De steekproef moet voldoende groot zijn om statistisch relevante verbanden en verschillen te vinden maar ook niet te klein om onnodig geld te verspillen.

Aan deze eis kan worden voldaan door vooraf de minimale steekproefomvang te bepalen.

De sterkte van een steekproef (power) wordt getalsmatig beïnvloed door het aantal steekproeven, de waargenomen variatie en het verschil dat waargenomen moet kunnen worden.

 

Bepalen van de omvang van een steekproef

Voor het bepalen van de steekproefomvang kan gebruik gemaakt worden van de zogenaamde betrouwbaarheidsintervalmethode (confidence interval approach). De methode van het betrouwbaarheidsinterval is een methode, waarbij de begrippen: nauwkeurigheid (steekproeffout), variabiliteit (variability) en het betrouwbaarheidsinterval (confidence interval) worden gecombineerd om een ‘juiste’ steekproefomvang te nemen.

Binnen betrouwbaarheidsintervalmethode staan - zoals gezegd - drie begrippen centraal:

1. Nauwkeurigheid (steekproeffout): het verschil tussen de steekproefuitkomst en de werkelijke populatiewaarde vanwege het feit dat er een steekproef is getrokken.

2. Variabiliteit (variability): Variabiliteit: omschreven als de mate van verschil (of overeenkomst) in de antwoorden van de respondenten op een bepaalde vraag. De variabiliteit wordt berekend door het vermenigvuldigen van p en q, waarbij p staat voor het geschatte percentage in de populatie en q voor het resterende deel van de populatie (100 - p). Hoe groter de variabiliteit, hoe groter de steekproefomvang moet zijn om een bepaalde nauwkeurigheid te bereiken

3. Betrouwbaarheidsinterval (confidence interval): waardegebied waarvan de grenzen een bepaald percentage antwoorden op een vraag omvatten.

Bij het bepalen van de steekproefgrootte wordt uitgegaan van een normale verdeling en de centrale limietstelling.

Bij het bepalen van de steekproefgrootte kun je de normale verdeling gebruiken in verband met de centrale-limietstelling. Ongeacht de vorm van de verdeling van de populatie, zal de verdeling van de steekproeven (als n groter is  dan 30) een normale verdeling aannemen. De eigenschappen van de normale verdeling zijn zodanig dat 1,96 maal de standaardafwijking in theorie de grenzen van 95 procent van de verdeling definieert.

Bij het bepalen van de  juiste steekproefomvang, hoef je slechts drie factoren in overweging te nemen:

 

1. De (verwachte) mate van variabiliteit in de populatie; bij het bepalen van de variabiliteit in de populatie, geldt als praktische overweging dat je bij het bepalen van de steekproefomvang uitgaat van het slechtste geval(p=50, q=50).

2. De gewenste nauwkeurigheid; bij het vaststellen niveau van de gewenste steekproeffout, geldt dat meestal gegeven is wat een acceptabele steekproeffout is. Vaak is dit +/- 5%. De hoogte van de steekproeffout zal - vanzelfsprekend - afhangen van het belang van de beslissing die op basis van de steekproefresultaten genomen moet worden.

3. Het vereiste betrouwbaarheidsniveau van je schattingen van de populatiewaarden; bij het vaststellen van het gewenste betrouwbaarheidsniveau geldt dat hoe hoger het betrouwbaarheidsniveau moet zijn, des te groter de steekproefomvang wordt. Gebruikelijk is om hiervoor 95% te nemen (z=1,96). Bij een betrouwbaarheidsniveau van 99% hoort een z-waarde van 2,58.

Als het bovenstaande is gespecificeerd, kan op basis van de onderstaande formule de steekproefomvang worden berekend:

Bron: Principes van marktonderzoek,  Alvin C. Burns, Ronald F. Bush, Ingrid Smeets