Yhden AB-testin pyörittäminen koko sivustolla?

[smo]

Onko tiedossa jotain kikkaa kuinka Google Website Optimizerillä voisi tehdä AB-testin, joka olisi olisi koko sivuston laajuinen?

[suski]

Kysymys on hieman haastava  , sillä A/B -testaushan on kahden eri version testaamista, ts. testaat sivun A ja sivun B kykyä ohjata asiakasta sivulle X. A/B -testaushan on hyödyllistä pitkälti landing pagen optimointiin: Ensin tehdään A/B -testi ja lopuksi "voittajasivu" puretaan osiin ja testataan MVT: llä lopulliset ominaisuudet. Ratkaisevaa on, mille segmentille testi tehdään, ts. pelkästään cpc-liikenteelle, pelkästään suoralle liikenteelle jne. Voitko eriyttää yhden segmentin kokonaan muusta kävijämassastasi?

Koko sivuston testaamiseen, esimerkiksi, jos testaat kahta erilaista layouttia, Analytics on jo parempi testityökalu.Tässä vaan ongelmaksi muodostuu se, että esim. viikon sisällä tapahtuu jo niin paljon muita asioita, jotka voivat vaikuttaa konversioon, että tulokset eivät ole yhtä luotettavia, kuin esim. laskeutumissivun osalta Website Optimizerillä testattaessa. Koodaamallahan pääset syöttämään käyttäjälle esim. tietyn leiskan, sen mukaan, mille laskeutumissivulle hän saapui, mutta käytettävä järjestelmä tai julkkari voi asettaa rajoja tälle. (Joomlalla tämä ainakin on testattavissa. Teet kaksi templatea ja poimit laskeutumissivulta sen, kumpi tuli ja näytät vierailijaille). Tällöin et kuitenkaan voi käyttää GWO:ta tulosten seuraamiseen, sillä sehän laskee vaan A:sta X:ään tai B:stä X:ään konvertoituneita, ei sitä, vaikuttiko konvertoitumiseen se, tuliko käyttäjä sivulle C ja sieltä sivulle X.

[smo]

Kysymys oli siis tyhmä, joten kysytään toisin:

Haluaisin testata erilaisia jokaisen sivun footerissa näytettäviä mainoksia ja niiden kykyä ohjata kävijöitä sivulle X. Kyse ei olisi siis sivun A tai B testauksesta vaan parhaan mainoksen etsimistä parista vaihtoehdosta.

Tai toisena esimerkkina haluaisin testata jokaisella blogini sivulla erilaista RSS-mainosta ja katsoa mikä niistä toimii parhaiten.

Tai kolmantena esimerkkina kiinnostaisi testata verkkokaupan tuotesivuilla erilaisia "Lisää ostoskoriin" ja "Osta" -nappeja.

Onko olemassa joku vaihtoehtoinen työkalu tähän tarpeeseen vai onko pähkäilyni tämän tyyppisestä testauksesta jostain syystä suoraan tuomittu epäonnistumaan? Epäonnistumaan esim. siksi, että sivuston laajuisesti mukaan tulee niin paljon (sivukohtaisesti) muuttuvia elementtejä, että testituloksesta ei voi sanoa lopulta juuta eikä jaata.

[shovi]

SiteCatalystillä tämä onnistuisi helpommin, mutta en pidä tuota mahdottomana testattavana myöskään Google Analyticsilla. Itse tekisin testiä varten uuden profiilin (jotta maalit eivät lopu kesken, GA:ssa on älytön 4 maalin rajoitus)  ja loisin klikkauksesta maalin virtuaalisella sivunlatauksella.

Tämän jälkeen segmentoisin vierailijat sen mukaan, minkä version sivusta he ovat nähneet. Tämän voi tehdä lisäämällä seurantakoodiin seuraavan rivin: pageTracker._setVar("arvo");

Arvo -kohtaan heität vaikka versio-1, versio-2 tai versio-3 sen mukaan, mikä ostoskorinappi, rss-feedinappi tai vastaava vierailijalle on näytetty.

Tuloksia pääset katsomaan kohdasta Visitors > User defined, valitsemalla segmentin (versio-x) ja klikkamalla Goal conversion-tabia. Näet konversioprosentit (tässä tapauksessa klikkaukset) sen mukaan, minkä sisäisen kampanjan käyttäjä on nähnyt.

Kannattaa katsoa tuloksia käyttämällä Advanced Segmentsejä, jolloin tulokset vääristyvät mahdollisimman vähän liikenteen lähteen mukaan. On lähinnä volyymista kiinni, kuinka tarkkaa dataa haluat: voit esim. tehdä uuden Advanced Segmentsin, johon valitset nipun PPC-avainsanoja ja katselet tuloksia näillä, jolloin datan pitäisi olla melko luotettavaa.

Jos haluat hifistellä, vertaa tuloksia liikenteen lähde kerrallaan. Jos huomaat, että lähteestä X tulleet kävijät klikkaavat herkemmin versiota 1 ja lähteestä Z versiota 2, voit jatkossa alkaa näyttämään X-kävijöille versio 1:stä jne.

Events on mahdollisesti maalin sijaan parempi ominaisuus, mutta sitä ei kaikilla ole käytössä, enkä itsekään ole ehtinyt perehtymään muuta kuin pintapuolisesti, joten en osaa sen kanssa neuvoa.

[suski]

Haluaisin testata erilaisia jokaisen sivun footerissa näytettäviä mainoksia ja niiden kykyä ohjata kävijöitä sivulle X. Kyse ei olisi siis sivun A tai B testauksesta vaan parhaan mainoksen etsimistä parista vaihtoehdosta.

MVT -testauksella tämä onnistuu. Määrittelet vaan sen sivun X ja teet esim. kolme vaihtoehtoista mainosta (voivat toki olla eri mainoksiakin).

Tai toisena esimerkkina haluaisin testata jokaisella blogini sivulla erilaista RSS-mainosta ja katsoa mikä niistä toimii parhaiten.

Itse tein erivärisiä RSS-nappeja ja testailin tätä. Tein tähän välisivun, joka redirectoi feedburneriin ja välisivu otti talteen konversion.

Tai kolmantena esimerkkina kiinnostaisi testata verkkokaupan tuotesivuilla erilaisia "Lisää ostoskoriin" ja "Osta" -nappeja.

Tämä on kinkkinen, varsinkin, jos urlit on oikeaoppisesti tuunattu selkokieliseen muotoon, koskapa usein se tulossivu ei ole aina sama. Tämä onnistuu, jos tulossivu on aina esim. koriin.php ja ainoastaan parametrit vaihtuvat lopussa.