Kiedy brak metryki jest lepszy niż byle jaka metryka?

Powie­dzieć że w dzi­siej­szych cza­sach metryki są nową czer­nią, to jak nie powie­dzieć nic. Szcze­gól­nie w branży tech­no­lo­gicz­nej i inter­ne­to­wej, gdzie na porządku dzien­nym jest mie­rze­nie i ana­liza dzia­łań na wszyst­kich pozio­mach orga­ni­za­cji – od ilo­ści dzien­nie prze­pro­wa­dzo­nych roz­mów z klien­tami, aż po śred­nie roczne przy­chody uzy­ski­wane z jed­nego klienta Oczy­wi­ście nie bra­kuje tez tre­ści które pod­po­wia­dają coraz to now­sze, bar­dziej eks­cy­tu­jące i atrak­cyjne wskaź­niki do obser­wa­cji.

Po dru­giej stro­nie tego rów­na­nia znaj­dziemy całe mnó­stwo narzę­dzi ana­li­tycz­nych. Dostępne są nie­malże „we wszyst­kich kształtach i rozmiarach”. Możemy zna­leźć sto­sun­kowo pro­sto takie roz­wia­za­nie do ana­lizy danych które trafi w nasze potrzeby, moż­li­wo­ści, poten­cjał i poziom zna­jo­mo­sci zagad­nień ana­li­tycz­nych.

Skła­da­jąc więc razem poten­cjał pomy­słów i ogromne moż­li­wo­ści reali­za­cji ich otrzy­mu­jemy… No wła­śnie, co otrzy­mu­jemy? Bogac­two nie­ogra­ni­czo­nych moż­li­wo­ści czy też może klę­skę uro­dzaju? Czy mix dowol­nie wybra­nych metryk z dowol­nym narzę­dziem gwa­ran­tuje że otrzy­mamy war­to­ściowe wska­zówki? Moim zda­niem w taki spo­sób łatwiej sobie zro­bić krzywdę niż real­nie coś osią­gnąć. Czego więc bra­kuje?

Ktoś kie­dyś powie­dział że „Wizja bez reali­za­cji to tylko halu­cy­na­cja”. Ana­lo­gicz­nie moim zda­niem można powie­dzieć że „Poten­cjał bez przemyślanego użycia to tylko fajny gadżet”. Dla­tego też przy podej­ściu do ana­li­tyki, bez względu na to czy mówimy o pro­stym blogu oso­bi­stym z prze­pi­sami na pie­rogi, czy też o dużych i zło­żo­nych pro­ble­mach w ramach wiel­kich kor­po­ra­cji uwa­żam że pierw­sze skrzypce powinno grać przemyślenie potrzeby, którą chcemy zaspo­koić korzy­sta­jąc z ana­li­tyki. Zapewne okre­ślono już nie­je­den pro­ces poma­ga­jący zbie­ra­nie tej wie­dzy. Ja nato­miast chciał­bym się podzie­lić kil­koma błę­dami które m.in. mia­łem oka­zję sam popeł­nić w histo­rii swo­jej pracy z ana­li­tyką, a myślę że warto się uni­wer­sal­nie przed nimi chro­nić.

Próżna metryka (vanity metrics) – się­ga­jąc pamię­cią wstecz muszę przy­znać że jest coś upa­ja­ją­cego w widoku wykresu który rośnie. Wzro­sty wsze­la­kiej maści, zie­lone strzałki w górę potra­fią nie­wąt­pli­wie dodać skrzy­deł każ­demu kto obser­wuje swoje metryki. Moim zda­niem dla­tego też cza­sami zapo­mi­namy (albo nie chcemy pamię­tać?) zapy­tać sie­bie na ile te wzro­sty są naszą zasługą, a na ile coś po pro­stu rośnie samo z sie­bie i na ile o czym­kol­wiek nam to mówi? Weźmy tu przy­kład znany być może nie­któ­rym z serialu „Sili­con Val­ley” – mie­rzono tam postęp biznesu ilo­ścią pobrań apli­ka­cji na smart­fony. Infor­ma­cja „mamy ponad 100,000 pobrań naszej apli­ka­cji!” z pew­no­ścią zrobi wra­że­nie na pierw­szy rzut oka. Nato­miast jest to nie­stety metryka zaha­cza­jąca o próż­ność z kilku wzglę­dów:

• ilość pobrań zawsze będzie rosnąć
• samo pobra­nie apli­ka­cji nie mówi nic o: jej uru­cho­mie­niu, ska­so­wa­niu czy tez regu­lar­nym uży­ciu
• jest podatna na wpływ cyklicz­nego insta­lo­wa­nia i odin­sta­lo­wy­wa­nia apli­ka­cji (pamię­ta­cie ten odci­nek? 😉 )

Tak więc wnio­sko­wa­nie o ogól­nej kon­dy­cji biznesu na tej pod­sta­wie będzie obar­czone błę­dem. Oczy­wi­ście w przy­padku gdy chcemy stricte zmie­rzyć sku­tecz­ność nowej reklamy pro­mu­jącą naszą apli­ka­cję takie podej­ście nie będzie takie złe.

Metryka nie wpły­wa­jąca na dzia­ła­nie – jed­nym z postu­la­tów sta­wia­nych przez auto­rów książki „Metoda Lean Ana­ly­tics” jest to, że dobra metryka powinna mieć realny wpływ na dzia­ła­nie orga­ni­za­cji. W moim rozu­mie­niu spro­wa­dza się to do zada­nia sobie pyta­nia „czy jeśli X spad­nie – zmienimy aktu­alne plany? A co jeśli wzro­śnie?”. Jeśli odpo­wiedz na to pyta­nie jest prze­cząca to z pew­nym spo­ko­jem pozwa­lam sobie odpu­ścić monitorowanie takiej metryki. Nawet jeżeli metryka jest war­to­ściowa (tzn. nie jest próżna), ale jej zacho­wa­nie nie ma mieć żad­nego wpływu na moje dzia­ła­nie to wolę zacho­wać „czyst­szy kra­jo­braz”. Zapewne ist­nieją też osoby które stwier­dzą że nie­które rze­czy zawsze trzeba moni­to­ro­wać, bez względu na wszystko. Nie twier­dzę że tak nie jest, moż­liwe. W tej chwili nato­miast moim subiek­tyw­nym prze­ko­na­niem jest że czas poświę­cony na moni­to­ro­wa­nie 10–20 metryk „bez wpływu” lepiej prze­zna­czyć na lep­sze zro­zu­mie­nie tych, które wpły­wają albo poszu­kać dodat­ko­wych źró­deł zna­czą­cej infor­ma­cji (np. poczy­tać roz­mowy z klien­tami i przez to roz­bu­do­wać empa­tię w sto­sunku do użyt­kow­nika pro­duktu).

Metryka nie spa­so­wana z aktu­al­nymi potrze­bami biznesu – ostat­nią pułapką o któ­rej myślę że warto wspo­mnieć jest kwe­stia dopa­so­wa­nia metryk do aktualnych potrzeb bizne­so­wych. Rozważmy lejek sprze­da­żowy i dwa hipo­te­tyczne star­tupy. Niech jeden star­tup będzie na bar­dzo wcze­snym sta­dium roz­woju i dopiero buduje swoją roz­po­zna­wal­ność na rynku, drugi z kolei już funk­cjo­nuje od kilku lat i osią­gnął pewną sta­bil­ność jeśli cho­dzi o wszyst­kie etapy lejka. Czy w każ­dym z tych star­tu­pów na lejek sprze­da­żowy sze­fo­wie patrzą tak samo? Wyobra­żam sobie, że nie. Lejek sprze­da­żowy jest dosyć powszech­nym spo­so­bem oceny stanu zdro­wia pro­duktu pod kątem bizne­so­wy­m/fi­nan­so­wym i z pew­no­ścią wzmo­żony ruch w każ­dym z jego eta­pów powi­nien istot­nie wpły­wać na podejmowane decy­zje. Jed­nakże w przy­padku mło­dego star­tupu sądzę, że jed­nak więk­sze sku­pie­nie powinno być zogni­sko­wane na wcze­snym eta­pie lejka (pozy­ska­nie użyt­kow­nika, akty­wa­cja), gdyż świa­do­mość pro­duktu dopiero się buduje i jest zwy­czaj­nie zbyt wcze­śnie aby opty­ma­li­zo­wać dal­sze etapy (opty­ma­li­za­cja przy­chodu, reten­cja). W począt­ko­wych fazach życia pro­duktu możemy mieć wręcz zbyt mało danych, zbyt małą próbkę aby uzy­skane rezul­taty były mia­ro­dajne i mogły nam pod­po­wie­dzieć real­nie kolejne dzia­ła­nia. Domy­ślasz się już chyba, że w przy­padku doj­rzal­szego, bar­dziej sta­bil­nego pro­duktu dużo więk­szy sens będzie miało spoj­rze­nie cało­ściowe na lejek, może nawet z lekką prze­wagą sku­pie­nia na mone­ty­za­cji i reten­cji. Pod­su­mo­wu­jąc wywód – metryka oprócz tego, że nie próżna i wpły­wa­jąca na dzia­ła­nia powinna rów­nież być zgodnie wpasowana w aktu­alne potrzeby firmy. Jeżeli dana metryka ma nam pod­po­wia­dać na temat zupeł­nie poza krę­giem zain­te­re­so­wa­nia stra­te­gicz­nego to może lepiej ją chwi­lowo przy­naj­mniej odsu­nąć na dal­szy plan.

Wypadało by jeszcze przed zakończeniem tego artykułu odnieść się do pytania zawartego w tytule. Moim zdaniem brak metryk jest praktycznie zawsze lepszy niż mylne metryki. Dlaczego? Bo sądzę że jednak brak miar nie jest wielką tragedią. Nie mając miar zmuszeni jesteśmy polegać na innych źródłach informacji – instynkcie, intuicji biznesowej, głosie klientów, obserwacji otoczenia. Natomiast mylnie postawione metryki mogą działać na tyle “oślepiająco” że zaufamy im zbyt mocno i przez to zignorujemy pozostałe bodźce.

W tym miej­scu zakoń­czę ten arty­kuł, cho­ciaż mam świa­do­mość że mniej lub bar­dziej podob­nych błę­dów jest znacz­nie wię­cej. Dla­tego jeśli znane są Ci takie pułapki albo sposoby na obejście ich to zachę­cam Cie­bie do podzie­le­nia się w komen­ta­rzu. Bar­dzo chęt­nie dowiem się czego jesz­cze dobrze było by się wystrze­gać w codzien­nej pracy „z cyfer­kami” 🙂

Piona!

Link do oryginalnego posta na LinkedIn