Pilotista tuotantoon

Miksi tekoälypilotti ei skaalaudu

Pilotti onnistuu, tulokset ovat hyvät ja päätös jatkaa tehdään. Puoli vuotta myöhemmin mikään ei ole muuttunut. Syy on harvoin tekniikassa — se on siinä, mitä pilotti jätti kokeilematta.

Lyhyt vastaus

Tekoälypilotti ei skaalaudu siksi, että pilotti mittaa eri asiaa kuin tuotantokäyttö. Pilotissa on kiinnostunut tiimi, valikoitu aineisto ja lupa poiketa prosessista. Tuotannossa on koko organisaatio, aineisto sellaisena kuin se on ja prosessi, josta ei poiketa. Siirtymä onnistuu, kun viisi asiaa on ratkaistu ennen laajennusta: omistaja, prosessimuutos, aineiston kunto, virheiden käsittely ja kustannusmalli. Yksikään näistä ei ratkea lisäämällä pilottiin osallistujia.

Pilotti mittaa eri asiaa kuin tuotanto

Pilotin tarkoitus on selvittää, toimiiko jokin. Tuotantokäytön kysymys on toinen: kestääkö se, kun käyttäjä ei ole siitä kiinnostunut.

Nämä kaksi kysymystä eivät korreloi keskenään niin paljon kuin oletetaan. Pilotti, jossa neljä innostunutta ihmistä käyttää työkalua valikoituun aineistoon ja korjaa virheet itse, todistaa että työkalu kykenee tehtävään. Se ei todista, että organisaatio kykenee käyttämään sitä.

Innostus ei siirry mukana

Pilottiin valikoituu ihmisiä, jotka haluavat kokeilla. He antavat työkalulle enemmän anteeksi, opettelevat kiertotiet ja kertovat hyvistä tuloksista eteenpäin. Tuotannossa sama työkalu kohtaa käyttäjän, jolla on kiire ja joka palaa vanhaan tapaan heti kun uusi tökkii.

Käsityö katoaa tuloksista

Pilotissa rakentaja on yleensä paikalla. Hän korjaa kehotteen, siivoaa syötteen ja tarkistaa tuloksen. Tämä työ ei näy pilotin mittareissa, koska se ei ole kenenkään kirjattua työaikaa — mutta tuotannossa se työ on joko automatisoitava tai annettava jollekulle tehtäväksi.

Aineisto ei ole sama aineisto

Pilottiin valitaan tapaukset, jotka ovat selkeitä. Tuotannossa tulevat mukaan puuttuvat kentät, väärin täytetyt lomakkeet ja vanhat tietueet, joita kukaan ei ole katsonut vuosiin. Osuus on pieni, mutta juuri se ratkaisee, tarvitaanko ihminen joka tapauksessa väliin.

Kuusi eroa pilotin ja tuotannon välillä

Erot eivät ole teknisiä. Ne ovat organisatorisia, eikä niitä löydä pilottia pidentämällä.

UlottuvuusPilotissaTuotannossa
KäyttäjätVapaaehtoisia ja kiinnostuneitaKaikki, myös ne jotka eivät halua
AineistoValikoitu ja siivottu otosSellaisena kuin se järjestelmässä on
ProsessiSiitä saa poiketa kokeilun ajanSiitä ei poiketa ilman päätöstä
VirheetRakentaja korjaa vierestäPitää olla kirjattu tapa hoitaa
TukiRakentaja on paikallaRakentaja on jo toisessa tehtävässä
KustannusKertaluonteinen kokeilubudjettiToistuva kulu, jolla on omistaja

Vain ensimmäinen rivi korjaantuu ajan myötä. Viisi muuta on ratkaistava päätöksellä ennen laajennusta, ei sen jälkeen.

PILOTTI → TUOTANTO: viisi porttia

Malli on tarkoituksella kevyt. Jokainen portti on yksi kysymys, johon vastataan kirjallisesti ennen kuin käyttäjämäärää kasvatetaan. Jos vastausta ei ole, laajennus ei ole valmis. Tämä ei ole arvio vaan portin koko tarkoitus.

1. Omistaja

Kuka vastaa tästä kuuden kuukauden päästä? Vastauksen on oltava nimi, ei rooli, eikä ohjausryhmä kelpaa vastaukseksi. Omistajan on oltava se, joka omistaa työprosessin — ei se, joka omistaa työkalun.

2. Prosessimuutos

Mikä työvaihe poistuu ja mikä muuttuu? Jos vanha tapa jää rinnalle, tulos on kaksi tapaa tehdä sama asia. Se on kalliimpaa kuin lähtötilanne, ja ensimmäisen ongelman kohdalla palataan vanhaan tapaan.

3. Aineiston kunto

Toimiiko tämä sillä aineistolla, jota ei valittu? Aja pilotin ratkaisu läpi otoksella, joka on poimittu sattumanvaraisesti — mukaan lukien keskeneräiset ja virheelliset tapaukset.

4. Virheiden käsittely

Kuka huomaa virheen, kuka korjaa sen ja mihin se merkitään? Tuotannossa virhe ei ole poikkeus vaan tapahtuma, jolla on oltava reitti. Ilman reittiä virheet päätyvät sähköpostiin ja katoavat.

5. Kustannusmalli

Kuka maksaa ja mistä budjetista, ja mitä kulu tekee kun volyymi kymmenkertaistuu? Kokeilubudjetti loppuu määräpäivänä. Jos jatkoa ei ole kirjattu, käyttö loppuu siihen riippumatta tuloksista.

Miten porttia käytetään
  • Kirjoita vastaukset ylös. Suullinen vastaus katoaa henkilövaihdoksessa.
  • Vastaa kaikkiin viiteen ennen laajennusta, ei laajennuksen aikana.
  • Jos vastaus johonkin on ”selvitetään myöhemmin”, kyseessä on avoin riski eikä ratkaistu kohta — merkitse se sellaisena.
  • Portit eivät ole hyväksyntäportteja. Niiden tarkoitus on tehdä puuttuva vastaus näkyväksi, ei hidastaa.

Kuka omistaa tuotantokäytön

Yleisin yksittäinen syy pysähtymiseen on se, että pilotin omistaja ja tuotannon omistaja ovat eri rooleja, mutta siirtoa ei tehdä.

Pilotin omistaa tyypillisesti se, joka innostui asiasta: kehityspäällikkö, dataosaaja tai liiketoiminnan kehittäjä. Tuotantokäytön omistaa se, jonka työprosessia asia muuttaa: palvelupäällikkö, talouspäällikkö tai tiiminvetäjä. Nämä ovat harvoin sama ihminen.

Jos siirtoa ei tehdä nimenomaisesti, tulos on ennustettava. Pilotin omistaja siirtyy seuraavaan kokeiluun, prosessin omistaja ei koe asiaa omakseen, ja käyttö hiipuu ilman että kukaan tekee päätöstä lopettaa.

Käytännön testi: kysy prosessin omistajalta, mitä hänen tiiminsä tekee toisin ensi kuussa. Jos vastausta ei tule, omistajuutta ei ole siirretty — riippumatta siitä mitä esityksessä luki.

Mitä pilotista kannattaa mitata

Pilotin tavanomaiset mittarit — käyttäjätyytyväisyys, säästetyt tunnit, onnistuneiden vastausten osuus — kertovat siitä, oliko kokeilu miellyttävä. Ne eivät ennusta tuotantoa.

Nämä neljä ennustavat paremmin, koska ne mittaavat sitä mikä muuttuu, kun rakentaja poistuu huoneesta:

1

Läpimeno ilman käsityötä

Kuinka suuri osa tapauksista meni läpi ilman että kukaan korjasi tulosta käsin. Tämä on ainoa luku, joka kertoo automaatioasteen.

2

Rakentajan puuttumiset

Montako kertaa rakentaja korjasi jotain kesken pilotin. Jokainen kerta on työ, joka tuotannossa tarvitsee tekijän.

3

Paluu toisella viikolla

Kuinka moni käyttäjä käytti työkalua vielä ensimmäisen innostuksen jälkeen. Ensimmäinen viikko ei kerro mitään.

4

Poikkeustapausten osuus

Kuinka usein tapaus ei sopinut malliin lainkaan. Tämä luku kasvaa tuotannossa, ei pienene.

Mikään näistä ei vaadi mittausjärjestelmää. Ne kirjataan käsin pilotin aikana, ja juuri siksi ne jäävät kirjaamatta, ellei siitä sovita etukäteen.

Sama logiikka pätee agentteihin: lue AI-agentit yrityksille siitä, mihin tehtäviin agentti ylipäätään sopii, ja tekoälyn käyttöönotosta siitä, missä järjestyksessä laajennus kannattaa tehdä.

Milloin pilottia ei kannata viedä tuotantoon

Läheskään kaikki onnistuneet pilotit eivät ansaitse jatkoa. Lopettaminen on halvempaa kuin puolittainen tuotantokäyttö, ja se on päätös siinä missä jatkaminenkin.

Kun hyöty syntyi ihmisistä eikä työkalusta. Jos pilottitiimi olisi saanut saman tuloksen ilman työkalua, kyseessä oli hyvä tiimi eikä hyvä ratkaisu.

Kun prosessi on muuttumassa muutenkin. Jos järjestelmä vaihtuu tai toimintatapa uudistuu vuoden sisällä, tuotantoon vietävä ratkaisu rakennetaan katoavan prosessin päälle.

Kun aineiston korjaaminen maksaa enemmän kuin hyöty. Tämä on yleisin ja epämukavin syy. Vastaus ei ole tekoälyprojekti vaan tietojen siivous — ja se kannattaa nimetä sillä nimellä.

Kun kukaan ei suostu omistajaksi. Ensimmäinen portti on myös viimeinen tarkistus. Jos omistajaa ei löydy kysyttäessä, häntä ei löydy myöhemminkään.

Usein kysytyt kysymykset

Miksi onnistunut tekoälypilotti ei muutu tuotantokäytöksi?

Koska pilotti mittaa eri asiaa kuin tuotanto. Pilotissa on kiinnostunut tiimi, valikoitu aineisto ja lupa poiketa prosessista. Tuotannossa on koko organisaatio, aineisto sellaisenaan ja prosessi, josta ei poiketa. Erot ovat organisatorisia, joten niitä ei korjata tekniikalla.

Mitkä asiat pitää ratkaista ennen laajennusta?

Viisi: nimetty omistaja, kirjattu prosessimuutos, aineiston kunto sattumanvaraisella otoksella, tapa käsitellä virheet ja kustannusmalli kasvavalle volyymille. Jos johonkin näistä ei ole kirjallista vastausta, laajennus ei ole valmis.

Kuka omistaa tekoälyratkaisun tuotantokäytön?

Se, jonka työprosessia ratkaisu muuttaa — ei se, joka rakensi ratkaisun. Pilotin omistaja ja tuotannon omistaja ovat yleensä eri henkilöitä, ja siirto on tehtävä nimenomaisesti. Ilman siirtoa käyttö hiipuu ilman erillistä lopetuspäätöstä.

Mitä pilotissa kannattaa mitata?

Läpimenoa ilman käsityötä, rakentajan puuttumisten määrää, käyttöä toisella viikolla ja poikkeustapausten osuutta. Käyttäjätyytyväisyys ja säästetyt tunnit kertovat siitä, oliko kokeilu miellyttävä, eivät siitä, kestääkö ratkaisu tuotannossa.

Auttaako pilotin pidentäminen tai käyttäjien lisääminen?

Ei, jos ongelma on jossain viidestä portista. Pidempi pilotti tuottaa lisää samaa tietoa. Omistajuus, prosessimuutos, virheiden käsittely ja kustannusmalli ovat päätöksiä, eivät havaintoja, eivätkä ne synny odottamalla.

Milloin pilotti kannattaa lopettaa?

Kun hyöty syntyi tiimistä eikä työkalusta, kun prosessi on muuttumassa muutenkin, kun aineiston korjaaminen maksaa enemmän kuin saatava hyöty tai kun omistajaksi ei löydy ketään. Lopettaminen on halvempaa kuin puolittainen tuotantokäyttö.

Viisi kysymystä ennen laajennusta

Portit eivät hidasta laajennusta. Ne tekevät näkyväksi sen, mikä muuten huomataan vasta kuuden kuukauden päästä.

Katso käyttöönoton järjestys