Handmatig testen is een pleonasme
Reactie op Handmatig testen is niet altijd een optie (AG 22 juli 2011)
Men spreekt van een pleonasme als een deel van de betekenis van een woord of een woordgroep nog eens, 'dubbelop', door een ander woord wordt uitgedrukt. Voorbeelden zijn: witte sneeuw ('wit' is een inherente eigenschap van 'sneeuw' en maakt dus deel uit van de betekenis van sneeuw), iets opnieuw herhalen ('opnieuw' zit al besloten in de betekenis van herhalen), een verbetering ten goede ('ten goede' maakt deel uit van de betekenis van verbetering).
Vaak en veel wordt er gesproken over het automatiseren van testen. Daarin schuilt een principiële vergissing die op zijn best tot teleurstelling leidt en in het slechtste geval tot de uitholling van het testvak.
In de oorspronkelijke versie van TMap wordt deze definitie gegeven voor testen;
“Testen is het proces van plannen, voorbereiden en meten dat ten doel heeft de kenmerken van een informatiesysteem vast te stellen en het verschil tussen de actuele en vereiste status aan te tonen”
In TMap Next is deze definitie veranderd naar;
“Testen is een proces dat inzicht geeft in en adviseert over de kwaliteit en de daaraan gerelateerde risico's”
Testen is dus het intellectuele werk van plannen, voorbereiden, meten en adviseren. Daarbij bestaat het in feite uit vier fundamentele stappen;
– Analyse van de testbasis om daaruit testsituaties af te leiden,
– Uitvoering van de testgevallen,
– Analyse van het gedrag van het systeem (in vergelijking met de verwachting),
– Formulering van advies.
Automatisering kan in het beste geval slechts de tweede stap uitvoeren.
Er is geen tool dat in staat is om het menselijke werk van analyse en interpretatie van de testbasis over te nemen. Vooral niet omdat een testbasis vaak incompleet en vrijwel altijd multi-interpretabel is.
Er is geen tool dat tijdens de testuitvoering een analyse kan doen van het gedrag van het systeem. Er wordt door een tool niet geleerd, geen aandacht besteed aan mogelijke nieuwe testsituaties en als het gedrag maar iets afwijkt van het verwachte dan stokt de testuitvoering.
En ten slotte is er geen tool dat een advies kan formuleren.
Kortom, wat vaak geautomatiseerd testen wordt genoemd is slechts het geautomatiseerd uitvoeren van tests. En dat heeft feitelijk alleen zin wanneer het gedrag van het systeem al eerder is aangetoond. Dat betekent dat het hier niet gaat om testen maar om controleren. De controle of het systeem nog steeds doet wat het daarvoor ook al deed (tijdens de test).
Het is te vergelijken met het ontwikkelen van een nieuw type auto. In eerste instantie worden schetsen gemaakt. Daarop volgen de ontwerpen. En op basis van die ontwerpen wordt een prototype, een eerste versie, gemaakt.
Het prototype wordt aan een scala aan tests onderworpen; van ritten door een testrijder tot focusgroepen. Na vele tests en vaak vele prototypen wordt een model productierijp verklaard.
Wanneer de productie van een nieuw model start, is iedere maat, iedere waarde en iedere norm bekend. Al deze punten worden langs en aan het einde van de lopende band gecontroleerd, gecontroleerd door robots en computers.
Handmatig (of door een mens zelf) testen is dus een pleonasme. Mensen, goedopgeleide en ervaren mensen kunnen testen. Een machine, of automatisering kan controleren. Dat kan het sneller en accurater dan mensen, maar daarmee is het geen testen.
Het is aan de testspecialist om dit verschil helder voor ogen te houden en voortdurend uit te dragen. Het is een principiële basis van ons vak.
Leon Bosma
Senior Testconsultant
P.S. Wilt u reageren? Mail dan naar Leon Bosma, Dit e-mailadres is beschermd tegen spambots. U heeft Javascript nodig om het te kunnen zien.
Men spreekt van een pleonasme als een deel van de betekenis van een woord of een woordgroep nog eens, 'dubbelop', door een ander woord wordt uitgedrukt. Voorbeelden zijn: witte sneeuw ('wit' is een inherente eigenschap van 'sneeuw' en maakt dus deel uit van de betekenis van sneeuw), iets opnieuw herhalen ('opnieuw' zit al besloten in de betekenis van herhalen), een verbetering ten goede ('ten goede' maakt deel uit van de betekenis van verbetering).
Vaak en veel wordt er gesproken over het automatiseren van testen. Daarin schuilt een principiële vergissing die op zijn best tot teleurstelling leidt en in het slechtste geval tot de uitholling van het testvak.
In de oorspronkelijke versie van TMap wordt deze definitie gegeven voor testen;
“Testen is het proces van plannen, voorbereiden en meten dat ten doel heeft de kenmerken van een informatiesysteem vast te stellen en het verschil tussen de actuele en vereiste status aan te tonen”
In TMap Next is deze definitie veranderd naar;
“Testen is een proces dat inzicht geeft in en adviseert over de kwaliteit en de daaraan gerelateerde risico's”
Testen is dus het intellectuele werk van plannen, voorbereiden, meten en adviseren. Daarbij bestaat het in feite uit vier fundamentele stappen;
– Analyse van de testbasis om daaruit testsituaties af te leiden,
– Uitvoering van de testgevallen,
– Analyse van het gedrag van het systeem (in vergelijking met de verwachting),
– Formulering van advies.
Automatisering kan in het beste geval slechts de tweede stap uitvoeren.
Er is geen tool dat in staat is om het menselijke werk van analyse en interpretatie van de testbasis over te nemen. Vooral niet omdat een testbasis vaak incompleet en vrijwel altijd multi-interpretabel is.
Er is geen tool dat tijdens de testuitvoering een analyse kan doen van het gedrag van het systeem. Er wordt door een tool niet geleerd, geen aandacht besteed aan mogelijke nieuwe testsituaties en als het gedrag maar iets afwijkt van het verwachte dan stokt de testuitvoering.
En ten slotte is er geen tool dat een advies kan formuleren.
Kortom, wat vaak geautomatiseerd testen wordt genoemd is slechts het geautomatiseerd uitvoeren van tests. En dat heeft feitelijk alleen zin wanneer het gedrag van het systeem al eerder is aangetoond. Dat betekent dat het hier niet gaat om testen maar om controleren. De controle of het systeem nog steeds doet wat het daarvoor ook al deed (tijdens de test).
Het is te vergelijken met het ontwikkelen van een nieuw type auto. In eerste instantie worden schetsen gemaakt. Daarop volgen de ontwerpen. En op basis van die ontwerpen wordt een prototype, een eerste versie, gemaakt.
Het prototype wordt aan een scala aan tests onderworpen; van ritten door een testrijder tot focusgroepen. Na vele tests en vaak vele prototypen wordt een model productierijp verklaard.
Wanneer de productie van een nieuw model start, is iedere maat, iedere waarde en iedere norm bekend. Al deze punten worden langs en aan het einde van de lopende band gecontroleerd, gecontroleerd door robots en computers.
Handmatig (of door een mens zelf) testen is dus een pleonasme. Mensen, goedopgeleide en ervaren mensen kunnen testen. Een machine, of automatisering kan controleren. Dat kan het sneller en accurater dan mensen, maar daarmee is het geen testen.
Het is aan de testspecialist om dit verschil helder voor ogen te houden en voortdurend uit te dragen. Het is een principiële basis van ons vak.
Leon Bosma
Senior Testconsultant
P.S. Wilt u reageren? Mail dan naar Leon Bosma, Dit e-mailadres is beschermd tegen spambots. U heeft Javascript nodig om het te kunnen zien.
