Viime kuukausina testauksesta kiinnostuneen Twitter-virtaa on täyttänyt säännöllinen #stop29119 -twiittien virta, jopa siinä määrin että Fisma on keskustelemassa asiasta kokouksessaan 22.10.2014. Mistä oikein on kyse? Onko kyseessä myrsky vesilasissa vai perusteltu laajamittainen näkemys siitä, että testausprosessin standardointiyritykset eivät vie ohjelmistoteollisuutta parempaan suuntaan? Oletko muodostanut jo oman kantasi?

stp29119logo

ISO 29119 – mikä se on?

ISO 29119 on viiden testaukseen keskittyvän standardin setti, josta kolme ensimmäistä osaa on julkaistu noin vuosi sitten ja kaksi jälkimmäistä osaa julkaisun alla lähiaikoina. Standardikokoelma käsittelee testausprosessia, dokumentaatiota, tekniikoita ja avainsanaohjattua testausta pyrkimyksenä luoda yhtenäisiä testaustapoja mihin tahansa elinkaarimalliin tai organisaatioon.

Suomessa tätä (kuten useita muitakin) standardeja koordinoi Fisma.

#stop29119 – mistä tämä nousi?

Keskustelu velloo edelleen valtoimenaan sosiaalisessa mediassa ja aiheesta on kirjoitettu paljon blogiartikkeleita, enimmäkseen standardia vastaan (kts. yhteenveto englanniksi http://www.huibschoots.nl/wordpress/?page_id=1771). Keskustelu käynnistyi CAST2014 -konferenssissa James Christien pitämän puheenvuoron jälkeen. James Christie on taustaltaan auditoija, ja nosti esiin tämän standardin epäkohtia suhteessa moniin muihin standardeihin, joiden kanssa hän on päätynyt kosketuksiin. Keskustelu konkretisoitu nopeasti ISST:n (International Society for Software Testing, tilannetekijäohjatun testauksen Eurooppa-keskeinen kansainvälinen yhdistys) puitteissa vetoomukseksi vetää jo julkaistut kolme osaa pois käytöstä ja estää kahden lisäosan julkaisu.

Vetoomuksella on 19.10.2014 mennessä 1162 allekirjoittajaa, ja viestintä standardin vastustuksesta on vasta käynnistymässä tavoittamaan aktiivisten testaajien joukkoa laajemman yleisön. Vetoomus on allekirjoitettavissa osoitteessa: http://www.ipetitions.com/petition/stop29119

ISO 29119 -kritiikki

Kritiikki eri osapuolien toimesta toistaa muutamia teemoja.

  1. Standardin sisällön ongelmat
    Standardi on kirjoitettu huolimattomasti ja jättää paljon tulkinnanvaraa sekä sisältää sisäisiä ristiriitoja. Standardi on erittäin huonoa englantia ja on yleiseltä laadultaan heikko.
    Standardiin valitut asiat toistavat vuosikymmeniä toistettua testauksen kansantiedettä, jolla ei ole takanaan empiiristä todistusaineistoa. Lisäksi standardi ohittaa nykyaikaisen kehityksen ja muutoksen testaukseen ketterien menetelmien myötä. Valitut asiat eivät sovellu suureen osaan nykypäivän tilanteista, mutta silti standardia ei ole rajattu soveltamisalueen osalta. Standardin noudattaminen johtaisi huonoon testaukseen.
  2. Standardin mukaisen toiminnan kustannus
    Standardin kuvaama testaus on erittäin dokumentointipainotteista ja sellaisena kallista. Kuitenkaan dokumentaatiopainotteisuuden parantava vaikutus kattavuuteen ei ole tosiasia, jolle olisi empiiristä todistuspohjaa. Päin vastoin, usein on nähty dokumentaatioon keskittymisen heikentävän testauksen tuloksia. Standardin mukaisesti toimien saadaan huonoa ja kallista testausta, jota monikaan sovellusala ei kestä. Standardin myötä paineet kohdistuvat asiakas-toimittaja -suhteisiin, jossa standardiin viittaamalla asiakas uskoo tilaavansa hyvää testausta.
  3. Konsensuksen saavuttaminen jättämällä merkittäviä sidosryhmiä huomiotta
    Stuart Reid on kertonut kymmenien ihmisten osallistuneen standardin tekemiseen. Nyt yli tuhat äänestää versiota vastaan. Stuart Reid on osallistunut useisiin keskustelutilaisuuksiin, joissa on tilannetekijäohjatun koulukunnan edustajien suhtautuminen standardointiin sekä standardin sisältöön on tullut ilmi – yhteen näistä väittelyistä osallistuin itsekin vuosia sitten CAST -konferenssissa. Siitä huolimatta erimielisyydet ja vastustus ohitettiin. Standardointiprosessi perustuu konsensuksen etsintään. Se ei tarkoita että kaikkien pitäisi olla samaa mieltä. Siihen kuitenkin kuuluu se että ei ole pysyvää vastustusta keskeisien kohtien osalta ja että kaikki osapuolet osallistetaan ristiriitaisuuksien selvittämiseen. Tämän standardin osalta konsensus on ollut mahdollista saavuttaa vain ohittamalla merkittävä pysyvä vastustus.
  4. Standardityöryhmän jäsenten eturistiriidat
    Standardityöryhmän jäsenistä jokaisella on yrityskontaktinsa kautta taloudelliset syyt ajaa standardia, joka ei edistä testauskentän etua vaan luo kilpailuetua tietyille yrityksille. Tästä ilmiöstä puhutaan termillä kuppaaminen / “rent-seeking” – varojen käyttö poliittiseen edunvalvontaan oman osuuden varmistamiseksi, joka ei palvele ohjelmistokentän aitoja tarpeita vaan keskittyy säännöstelyelimien manipulointiin monipolietujen saavuttamiseksi ja kilpailutilanteen heikentämiseksi kilpailijoiden kannalta. Tavoitteena siis ei nähdä parempaa laatua vaan taloudellista etua ja osallistamisen puutteet ovat omiaan vahvistamaan tätä näkemystä.
    Työryhmässä on ollut myös sisäistä erimielisyyttä, mutta työryhmällä ei ole ollut keinoja käsitellä näitä eriäviä käsityksiä tyydyttävään kompromissiin. Erimieliset joko laittoivat nimensä standardiin, johon eivät uskoneet, tai jättivät ryhmän. Ryhmän jättäneitä on, ja Suomen osalta työstöön osallistuneiden nimiä löytyy #stop29119-vetoomuksen allekirjoittaneista. Käsitykseksi on jäänyt että palaute myös osallistuneiden osalta ohitettiin.
  5. Standardin saatavuus heikko, kustannus standardista suuri
    Standardi on varsin korkealle hinnoiteltu ja saa yleisesti kritiikkiä siitä että se on maksumuurin takana. Useat testaajat ovat kommentoineet että luultavasti äänestäisivät standardia vastaan mikäli saisivat mahdollisuuden sen lukea, mutta pitävät epäeettisenä ottaa kantaa itse käymättä materiaalia läpi. Äänekkäimmistä vastustajista monet ovat hankkineet standardin käsiinsä ostamalla version tai lainaamalla kopion kirjastosta, jossa se on ollut saatavilla.
  6. Standardi sääntelyssä
    Puolestapuhujien viestinnässä standardiin viitataan usein ohjeistona, jota sovelletaan. Ohjeistoajattelu tuntuu olevan erityisesti sellaisten piirien suosiossa, joihin ei kohdistu vahvaa painetta sääntelylle. Standardi sanana on määritelty säännöstely-kontekstissa niin että sen kuormittaminen merkitykseen ”sovellettava ohjeisto” sisältää alalle niin suuren riskin, että standardin sijaan pitäisi puhua ohjeistosta tai suosituksista.
  7. Valmius / kyky standardoida testausta
    Testauskentällä on yli vuosikymmenen ollut selkeää, että ala ei ole vakiintunut standardointiin soveltuvalla tavalla, vaan eri toimijoilla ja asiantuntijoilla on perustellusti erilaiset käsitykset ja kokemukset erilaisissa projekteissa, organisaatioissa ja liiketoimintatilanteissa toimimisen pohjalta. Testauskenttä ei ole kyllin vakiintunut prosessien, sanaston tai muunkaan nyt standardoinnin kohteena olevan sisällön osalta että sitä olisi järkevää standardoida. Testaus on niin monipuolista ja erilaista erilaisissa tilanteissa ettei sitä voi standardoida.

Keskusteluyhteyden puute jatkuu

Standardin vastustajat ovat tehneet systemaattisesti rakentavalla asenteella töitä keskustelujen avaamiseksi vetoomuksen julkaisemisen jälkeen. Kun vastustajat ovat yrittäneet luoda fasiloituja keskustelutilaisuuksia asian käsittelemiseksi, kannattajien edustajana Stuart Reid on alkuperäisen mukaantulon jälkeen vetäytynyt keskusteluista. Rex Black, ISTQB:n entinen puheenjohtaja ja perinteisemmän testauksen voimahahmo, ilmaisee yleensä käsityksensä siitä että standardi on yhdentekevä, ja on osallistunut keskusteluihin esittäen väitteitä henkilökohtaisista hyökkäyksistä sosiaalisessa mediassa. Kuitenkin tämän #stop29119 asian osalta keskustelu on ollut hyvinkin rakentavaa vaikkakin vastustavaa eikä Rexin väitteiden tueksi ei ole nostettu materiaalia. Taloudellisten intressien kritisoimista voi tuskin pitää henkilökohtaisena hyökkäyksenä, vaan perusteltuna huolenaiheena eturistiriidoista.

Puolesta -ryhmä pitää vastustajia äänekkäänä vähemmistönä. Vastaan ryhmä pitää puolustajia hiljaisena vähemmistönä. 30 000 ISTQB-kurssin suorittajaa, joihin toisinaan keskusteluissa viitataan tuskin voi pitää standardin kannattajina, etenkin kun kotimaassakin henkilötasolla tunnetaan useita kurssin käyneitä tilannetekijäohjatun testauksen vahvoja puolestapuhujia ja hiljaisempia välinpitämättömiä, joille kurssin käymiselle ei ole ollut vaihtoehtoa. Myös twitter-seuraajista voisi ajatella vetävänsä kannatusjohtopäätöksiä yhtä huonolla perusteella: James Bach ohittaa 9051:llä seuraajallaan Rex Blackin, jolla 1093 seuraajaa. Sen sijaan että leikitään numeroilla voisi keskittyä siihen että vastustuksen sisältö on merkityksellistä ja tilanteesta pitäisi löytää win-win molempien osapuolien kannalta – se aito konsensus.

On myös arvioitu, että Suomessa standardille olisi erityistä/erityisesti kysyntää. Porukka, joka kasattiin kritisoimaan standardia ennen sen julkaisua ei hyvästä työstä huolimatta saanut muutoksia aikaan ja ilmeisesti vähäinen kritiikin määrä voidaan myös sekoittaa tueksi standardille.

Merkitys Suomessa

Standardi ei ole käyttöön ottamisen arvoinen, ja näin Suomen näkövinkkelistä voikin miettiä että kuinka todennäköistä on että fiksu ohjelmistoissa tulevaisuuden näkevä kansakuntamme ottaisi soveltaakseen standardin, joka heikentää onnistumisemme edellytyksiä. Pidän itse hyvin epätodennäköisenä että standardi vaikuttaisi heikentävästi suomalaisiin yrityksiin ja yhteisöihin, etenkin tietäen että Suomi on ketterien ohjelmistokehitysmenetelmien käyttöönoton ja soveltamisen kärkimaa, ja standardi on varsin vahvasti ristiriidassa ketteriin menetelmiin liittyvien tarpeiden osalta. Hämmennystä sillä saatetaan saada aikaan, vaikka Suomen mittakaavassa standardi-sanan vivahde on enemmänkin suuntaa-antava ohjekokoelma.

Lähipäivien IT-uutisista löytyy poiminta ohjelmistoyhtiö Reaktorin perustamasta Amerikan toimistosta, josta ulkoistavat “off-shore”-kohteena Suomeen, jossa osaaminen tuo hinta/tulos -panoksen kohdilleen Amerikan näkökulmasta. Tarkastellen Suomea tästä näkökulmasta tulisi kenties kahdesti miettiä halutaanko sovellettavaksi huonolaatuisia standardeja vai kannattaisiko lähteä kokonaisuutena kannattamaan #stop29119 -liikettä. Globaalisti Suomesta käsin toimiva startup-liike voi myös kokea standardin velvoitteet toimintaa heikentävinä varsinkin, kun standardointiin liittyvät suurimmat huolet ovat kuitenkin Amerikan oikeusasteisiin liittyviä asioita, joissa muilla tavoin toimivat ovat syyllisiä väärään toimintaan ja siten haastettavissa erilaisista toimintatavoistaan oikeuteen.

Suhteessa oikeusasteiden ‘negligence’-perusteisiin voidaan katsoa että #stop29119 -porukka on jo saavuttanut yhden tavoitteen.  Tämän kirjoitushetkellä 1162 ihmisen voimin on ilmaistu että emme seiso yhtenä testausrintamana tämän standardin kuvaaman toiminnan takana.

Vielä ehtii allekirjoittaa

Mikäli et ole vielä allekirjoittanut, tähän liikkeeseen ehtii mukaan vielä pitkään. Vetoomus ei ole poistumassa eikä vastustus vähenemässä. Käy osaltasi jättämässä puumerkkisi: http://www.ipetitions.com/petition/stop29119

Neutraalisti molemmat puolet haastatteleva artikkeli löytyy Software Development Times -lehdestä: http://sdtimes.com/software-testing-schism

 

Artikkelin on kirjoittanut Maaret Pyhäjärvi. Tämä teos on lisensoitu Creative Commons Nimeä-Epäkaupallinen 4.0 Kansainvälinen -käyttöluvalla. Kiitokset täydennyksistä ja palautteista Jari Laakso, Marko Lappalainen ja Tuula Pääkkönen.
Creative Commons -käyttölupa

 

 

 

maaret.pyhajarvi