Optimisely Intelligence Cloud: Hoe statistykmotor te brûken foar A/B -test slimmer, en rapper

Optimize statistyken foar motor- en A/B -teststrategyen

As jo ​​in eksperiminteprogramma wolle útfiere om jo bedriuw te helpen testen en te learen, binne de kâns grut dat jo it brûke Optimisely Intelligence Cloud - of jo hawwe d'r teminsten nei sjoen. Optimizely is ien fan 'e machtichste ark yn it spul, mar lykas elk sa'n ark, kinne jo it miskien ferkeard brûke as jo net begripe hoe't it wurket. 

Wat makket Optimizely sa machtich? Yn 'e kearn fan har funksjeset leit de meast ynformeare en yntuïtive statistykmotor yn in ark fan tredden, wêrtroch jo mear kinne konsintrearje op it krijen fan wichtige tests live-sûnder jo soargen hoege te meitsjen dat jo jo resultaten ferkeard ynterpretearje. 

Lykas in tradisjonele bline stúdzje yn medisinen, A / B testen sil willekeurich oars sjen litte treatments fan jo side oan ferskate brûkers om dan de effektiviteit fan elke behanneling te fergelykjen. 

Statistiken helpe ús dan om konklúzjes te meitsjen oer hoe effektyf dy behanneling op lange termyn kin wêze. 

De measte A/B -testynstruminten fertrouwe op ien fan twa soarten statistyske konklúzjes: Frequentistyske as Bayesyske statistiken. Elke skoalle hat ferskate foar- en neidielen - Frequentistyske statistyk fereasket dat in stekproefgrutte wurdt fêststeld foarôfgeand oan it útfieren fan in eksperimint, en Bayesyske statistiken jouwe foaral soarch oer it meitsjen fan goede rjochtingsbeslissingen ynstee fan it spesifisearjen fan ien inkeld figuer foar ynfloed, om twa foarbylden te neamen. De supermacht fan Optimizely is dat it hjoed it ienige ark is op 'e merke om in bêste fan beide wrâlden oanpak.

It einresultaat? Optimize stelt brûkers yn steat om eksperiminten rapper, betrouberder en mear yntuïtyf út te fieren.

Om dat folslein te benutten, is it lykwols wichtich om te begripen wat efter de skermen bart. Hjir binne 5 ynsjoggen en strategyen wêrtroch jo de mooglikheden fan Optimizely sille brûke lykas in pro.

Strategy #1: Begryp dat net alle metriken gelyk binne makke

Yn 'e measte testynstruminten is in gewoan oersjoen probleem dat hoe mear metriken jo tafoegje en folgje as diel fan jo test, hoe wierskynliker jo wat ferkearde konklúzjes sille sjen fanwege willekeurige kâns (yn statistiken wurdt dit it "meardere testprobleem neamd ”). Om de resultaten betrouber te hâlden, brûkt Optimizely in searje kontrôles en korreksjes om de kâns dat dat bart sa leech mooglik te hâlden. 

Dy kontrôles en korreksjes hawwe twa gefolgen as jo geane om testen yn Optimizely op te stellen. Earst, de metrike dy't jo oanjaan as jo Primêr Metrysk sil rapst statistyske betsjutting berikke, alle oare dingen konstant. Twadder, hoe mear metriken jo tafoegje oan in eksperimint, hoe langer jo lettere metriken sille duorje om statistyske betsjutting te berikken.

By it plannen fan in eksperimint, soargje derfoar dat jo witte hokker metrike jo True North sil wêze yn jo beslútfoarmingsproses, meitsje dat jo Primary Metric. Hâld dan de rest fan jo metrike list meager troch alles te ferwiderjen dat te oerstallich of tanginsjeel is.

Strategy #2: Bou jo eigen oanpaste attributen

Optimizely is geweldig om jo ferskate nijsgjirrige en handige manieren te jaan om jo eksperimintresultaten te segmentearjen. Jo kinne bygelyks ûndersykje oft bepaalde behannelingen better prestearje op buroblêd vs mobyl, of ferskillen observearje oer ferkearsboarnen. As jo ​​eksperiminteprogramma lykwols folwoeksen is, sille jo fluch winskje foar nije segminten-dizze kinne spesifyk wêze foar jo gebrûksgefal, lykas segminten foar ienmalige vs. eerlijk, wy kinne noch net útfine wêrom dat net út 'e doaze wurdt levere).

It goede nijs is dat fia Optimizely's Project Javascript -fjild, yngenieurs dy't bekend binne mei Optimizely elk oantal nijsgjirrige oanpaste attributen kinne bouwe wêrby't besikers kinne wurde tawiisd en segmenteare troch. By Cro Metrics hawwe wy in oantal stockmodules boud (lykas "nije vs. weromkommende besikers") dy't wy foar al ús kliïnten ynstallearje fia har Project Javascript. It brûken fan dit fermogen is in wichtige differinsjator tusken folwoeksen teams dy't de juste technyske boarnen hawwe om har te helpen útfiere, en teams dy't muoite hawwe om it folsleine potensjeel fan eksperimintearjen te realisearjen.

Strategy #3: Ferkenne Optimizely's Stats Accelerator

Ien faaks oerhypte funksje foar testhulpprogramma is de mooglikheid om "multi-wapene banditen" te brûken, in soarte fan masinelearingsalgoritme dat dynamysk feroaret wêr't jo ferkear wurdt tawiisd yn 'e rin fan in eksperimint, om safolle besikers nei de "winnende" te stjoeren fariaasje as mooglik. It probleem mei multi-wapene banditen is dat har resultaten gjin betroubere yndikatoaren binne foar prestaasjes op lange termyn, dus it gebrûkskoffer foar dizze soarten eksperiminten is beheind ta tiidgefoelige gefallen lykas ferkeappromotaasjes.

Optimiseare hat lykwols in oar type bandit -algoritme beskikber foar brûkers op hegere plannen - Stats Accelerator (no bekend as de "Accelerate Learnings" -opsje binnen Bandits). Yn dizze opset, yn plak fan te besykjen om dynamysk ferkear te tawizen oan 'e fariaasje mei de heechste prestaasjes, alloceart Optimizely ferkear dynamysk oan' e fariaasjes dy't it meast wierskynlik de rapste statistyske betsjutting berikke. Op dizze manier kinne jo rapper leare en de replikabiliteit fan tradisjonele A/B -testresultaten behâlde.

Strategy #4: Foegje emoji's ta oan jo metrike nammen

Op it earste gesicht klinkt dit idee wierskynlik net op syn plak, sels gek. In wichtich aspekt om te soargjen dat jo de juste eksperimintresultaten lêze, begjint lykwols om te soargjen dat jo publyk de fraach kin begripe. 

Soms kinne nettsjinsteande ús bêste ynspanningen metryske nammen betiizjend wurde (wachtsje - docht dat metrike fjoer as de bestelling wurdt aksepteare, as as de brûker de tank -side rekket?), As hat in eksperimint safolle metriken dy't de resultaten op en del skowe side liedt ta totale kognitive overload.

Emojis tafoegje oan jo metrike nammen (doelen, griene markeringen, sels de grutte jildtas kin wurkje) kinne resultearje yn siden dy't folle scannerber binne. 

Fertrou ús - it lêzen fan resultaten sil folle makliker fiele.

Strategy #5: Tink opnij oan jo statistyske betsjuttingsnivo

Resultaten wurde definityf achte yn 'e kontekst fan in Optimizely -eksperimint as se hawwe berikt statistyske betsjutting. Statistyske betsjutting is in stoere wiskundige term, mar yn essinsje is it de kâns dat jo waarnimmingen it gefolch binne fan in wirklik ferskil tusken twa populaasjes, en net allinich willekeurige kânsen. 

Optimizely's rapporteare statistyske betsjuttingsnivo's binne "altyd jildich" tank oan in wiskundich konsept neamd sekwinsjele testen - dit makket se eins folle betrouberder dan dy fan oare testynstruminten, dy't gefoelich binne foar allerhanne problemen "sjen" as jo se te gau lêze.

It is it wurdich te beskôgjen hokker nivo fan statistyske betsjutting jo wichtich achtsje foar jo testprogramma. Wylst 95% it konvinsje is yn 'e wittenskiplike mienskip, testje wy feroarings op webside, net faksins. In oare mienskiplike kar yn 'e eksperimintele wrâld: 90%. Mar binne jo ree om in bytsje mear ûnwissichheid te akseptearjen om eksperiminten rapper út te fieren en mear ideeën te testen? Kinne jo 85% of sels 80% statistyske betsjutting brûke? Mei opsetsin wêze oer jo risiko-beleanningssaldo kin oer tiid eksponinsjele dividenden betelje, dus tink dit foarsichtich troch.

Lês mear oer Optimizely Intelligence Cloud

Dizze fiif rappe prinsipes en ynsjoggen sille ongelooflijk nuttich wêze om yn gedachten te hâlden by it brûken fan Optimizely. Lykas by elk ark, komt it derop del om te soargjen dat jo in goed begryp hawwe fan alle oanpassingen efter de skermen, sadat jo der wis fan kinne wêze dat jo it ark effisjint en effektyf brûke. Mei dizze begripen kinne jo de betroubere resultaten krije wêr't jo nei sykje, as jo se nedich binne. 

Wat tinksto?

Dizze side brûkt Akismet om spam te ferleegjen. Learje hoe't jo kommentaargegevens ferwurke wurde.