Carrotspot Insight - Nauka i biznes, razem czy osobno? Fakty i mity na temat danych oraz wykorzystywania i tworzenia narzędzi diagnostycznych w organizacjach - wywiad z dr Maksymilianem Bieleckim (SWPS)
share
To nie będzie kolejny wywiad ku pokrzepieniu serc, aby bezrefleksyjnie pokazać stan analityki HR w zakresie narzędzi diagnostycznych i stosowanych testów.
💡Poruszymy tematy ciężkie i niewygodne, ale nie zabraknie ciekawych podpowiedzi i przydatnych rad dla zwolenników podejścia psychologicznego do HR i wykorzystywania narzędzi psychometrycznych w organizacji.
Tym czasem sprawdźcie jak nasz gość odpowiada na "podstępne" pytania dot. jego funkcjonowania na styku nauki i biznesu.
Joanna Pietrzak, HRnews.pl: Panie Maksymilianie, działa Pan na styku biznesu i nauki. Proszę powiedzieć, jak naukę implikować do biznesu? Jak wyglądają kulisy Pana pracy, taki codzienny warsztat?
Dr Maksymilian Bielecki: Praca naukowca, który usiłuje współpracować z biznesem, jest trochę jak działalność rzemieślnicza. Lubię o tym myśleć jak o krawiectwie miarowym. Pojawia się klient, ma jakieś potrzeby lub wydaje mu się, że wie, jakie to są potrzeby, a my staramy się odpowiedzieć na nie w możliwie jak najbardziej skuteczny sposób. Co jest jednoznaczne z tym, że rodzi się wiele ciekawości i dużo wyzwań. Te wyzwania wynikają z tego, że klienci, którzy myślą o współpracy z naukowcami, nie zawsze dobrze wiedzą, jakie mają potrzeby i w pewien sposób trzeba ten proces rozpoznawania potrzeb sfacylitować. Natomiast po stronie naukowców, zwłaszcza jeśli są to osoby, które nie mają doświadczenia, także bywa to wyzwaniem. Nawyki przeniesione z życia akademickiego często nie pomagają. Bywa, że dochodzi do konfliktu kultur. Jeżeli jednak współpraca ta układa się dobrze i obie strony mają chęć i doświadczenie, to dochodzi do niezwykle twórczych spotkań. Warto też dodać, że biorąc pod uwagę wymagania dzisiejszego rynku – gospodarki opartej na wiedzy, jest to właściwie koniecznością.
Joanna Pietrak, HRnews.pl: W trakcie moich studiów dziennikarskich mówiono, że to media są czwartą władzą. Teraz mam wrażenie, że to social media są czwartą władzą. Szczególnie w ostatnim czasie social media zelektryzowało pojęcie fake newsów, dezinformacji – również w biznesie. Jeżeli chodzi o społeczność HR-ową, mam wrażenie, że mamy do czynienia z takim fomo – HR-owcy chcą być up to date, jeżeli chodzi o takie zagadnienia jak „great resignation”, „quite quitting”, generalnie te wszystkie buzzwordy. Jak selekcjonować te informacje, jak weryfikować źródła wiedzy, aby dostarczać do biznesu wiarygodne dane?
Dr Maksymilian Bielecki: To jest gigantyczny problem, nieograniczający się do obszaru HR. Z podobnym wyzwaniem zmaga się każdy z nas w codziennym życiu. W sytuacji, w której osoba jest konfrontowana z problemem, co do którego nie ma wszystkich narzędzi, które byłyby potrzebne, aby go rozwiązać. W momencie, kiedy myślę np. o wybraniu się do lekarza albo o zakupie jakiegoś urządzenia, którego nigdy nie kupowałem, to niestety często jestem zdany na rekomendacje i to, co podpowiedzą mi social media. Czyli muszę komuś zaufać. Wracając do głównego wątku – gdzie zatem znaleźć wiedzę z obszaru HR, której będę mógł zaufać w pełni? Ja interesuję się obszarem diagnozy, tworzenia narzędzi i testów oraz wspierania biznesu w tworzeniu tego typu rozwiązań. To jest specjalistyczna wiedza, dlatego drogą na skróty jest tutaj sięgnięcie po wiarygodnych współpracowników z zewnątrz organizacji - często będą to osoby związane ze światem nauki. Tylko największe firmy stać obecnie na to, aby mieć wśród własnych pracowników komplet tego rodzaju kompetencji.
Natomiast, wracając do kwestii social mediów i buzzwordów, warto pamiętać, że - pomijając takie bardzo nagłe wydarzenia jak choćby pandemia, które wszystko wywracają i zmieniają reguły gry - biznesowa codzienność nie zmienia się z miesiąca na miesiąc. A buzzwordy tak! Zachęcałbym do odrobiny sceptycyzmu, ponieważ bardzo często są to modne etykiety, które przylepia się do frustracji pracownika albo do faktu, że można się w pracy wypalić, albo można być pracownikiem, który nie jest w kompetentny sposób zarządzany, w związku z czym ma po prostu ochotę odejść. Jeżeli, zamiast skonfrontować się z tą sytuacją, dodamy do niej etykietkę typu „quite quitting”, okaże się, że tylko pozornie coś zrozumieliśmy. Zachęcałbym do tego, żeby dowiedzieć się, co tak naprawdę dzieje się w organizacji. Ludzie mogą odchodzić z pracy z typowych powodów – „bo warunki pracy”, „bo wynagrodzenie”, frustracja, zmieniające się otoczenie konkurencyjne, itd. Sięgnięcie głębiej wymagałoby wysiłku, a powiedzenie „och, ta dzisiejsza młodzież” z pozoru rozwiązuje problem. To jest trochę zaleta i trochę przywara naukowców, ale lubimy widzieć złożoność rzeczy…
Joanna Pietrzak, HRnews.pl: Podobno samo nazewnictwo wokół pokoleń jest wymysłem konsultantów.
Dr Maksymilian Bielecki: Jest to ogólnie ogromny problem, dlatego, że w tej chwili liczba wystąpień, szkoleń i cały dyskurs towarzyszący pokoleniowości stał się w ostatnim roku, dwóch latach bardzo dominujący. Nie tylko w obszarze HR, ale również w próbie zrozumienia różnych procesów rynkowych dotyczących sprzedaży, podejmowania decyzji konsumenckich czy właśnie wyboru pracodawcy. Wydaje mi się to raczej wytrychem niż kluczem. Potrzeby ludzi i różnice między nimi psychologowie badają już od ponad 100 lat i posiadamy już dużą wiedzę na ten temat. Pomysł, że wszyscy ludzie, których łączy tylko PESEL, są wszyscy tacy sami, jest tak zupełnie niewiarygodny. Jest to tak skrajnym uproszczeniem, że bardzo zniechęca do tego, żeby za tym podążać.
Arkadiusz Kamiński, Carrotspot LAB: Teraz mówi się, że ten, kto ma dane rządzi światem, coraz modniejsze, nie tylko wśród ekspertów jest sformułowanie, że nasze decyzje opieramy na rzetelnych danych, evidence base, evidence base HR, itp. Powiedz proszę, jak wygląda Twoja opinia i Twój warsztat? Czym dla Ciebie jest rzetelne źródło pozyskiwania danych? W momencie, kiedy robisz np. research przed startem jakiegoś projektu, jakiego rodzaju dane bierzesz pod uwagę? Jakie jest ich źródło, co takiego muszą posiadać dane, żebyś je sklasyfikował do pudełka: skorzystam z nich i być może to, co jest w nich zawarte, wpłynie na to, że moje decyzje będą trafniejsze?
Dr Maksymilian Bielecki: Banalna konstatacja – żyjemy w świecie nadmiaru i to dotyczy również danych. Pływamy w oceanie danych i mamy wrażenie, że te dane atakują nas niemal z każdej strony. Czasem mamy wrażenie współpracując z jakąś firmą, że tych danych jest tak dużo, że naszym głównym zadaniem jest zorganizowanie procesu, w ramach którego tymi danymi będzie można sprawnie zarządzać. Stwarza to też pewnego rodzaju niebezpieczeństwo, złudzenie, że taka ilość przechodzi automatycznie w jakość. Dane są w pewnym stopniu jakimś krokiem na ścieżce, która powinna prowadzić przedsiębiorstwa we właściwym kierunku. Należy pamiętać o tym, że to, iż mamy dużo danych, nie znaczy o tym, że są one właściwe. Oczywiście, na poziomie bardzo ogólnym możemy powiedzieć: „dane rządzą” i jeżeli na przykład firma, nie przygląda się tym wskaźnikom HR-owym, to jest to niebezpieczne. Ale sam fakt, że mamy mnóstwo danych, nie rozwiązuje problemu między innymi ze względu na to, w jaki sposób te dane są pozyskiwane. Można mieć bardzo dużo wskaźników, które nie są mierzone dokładnie, możemy patrzeć nie na to, co byśmy chcieli i wreszcie - możemy, patrząc na dane, nie do końca rozumieć, co z nich wynika. Jest to aspekt, który mnie jako osobę siedzącą w świecie statystyki bardzo interesuje.
Wyzwań jest sporo, nie ma wątpliwości, że tendencja do owskaźnikowania jest nie do opanowania, nie ma przed tym ucieczki. To jest droga do rozwoju biznesu. Zachęcałbym jednak do pewnej pokory w tym względzie. Są takie aspekty współpracy i budowania zespołu, które nadal są nieuchwytne, międzyludzkie. Czasem warto sięgnąć nie tylko po ilościowe metody badań, ale też inne metody – po to aby diagnozę pogłębić. Mam dość bogate doświadczenie w badaniach ilościowych i jakościowych. Uważam, że są to te dwie nogi, na których zrozumienie zjawiska i świata, a często własnego przedsiębiorstwa, powinno stać.
Arkadiusz Kamiński, Carrotspot LAB: Czym z perspektywy naukowca różnią się publikacje, artykuły naukowe od artykułów zamieszczanych przez tzw. po polsku wpływaczy, a z ang. influencerów np. na blogach? Jakie są prawidłowości, które wyróżniają oba typy tych treści?
Dr Maksymilian Bielecki: Zaczynając od poziomu idealistycznego, naukowiec jest osobą motywowaną wyłącznie poszukiwaniem prawdy i poznawaniem rzeczywistości. Robi to w sposób rzetelny, replikowalny, powtarzalny, w związku z tym zaufanie do wyników jest duże, zwłaszcza przy założeniu, że jest osobą zupełnie bezinteresowną. Obecnie psychologia w niektórych obszarach zmaga się z kryzysem zaufania, ponieważ nie wszyscy badacze przestrzegali tych standardów w takim stopniu, jakbyśmy chcieli. Nie zmienia to jednak faktu, że badania naukowe rządzą się tego rodzaju ideałami i celami. Z drugiej strony, patrząc na influencerów, którzy bardzo często posiadają dużą wiedzę i cenne kompetencje, są jednak osobami, które żyją z budowania zasięgów i popularności. W tym momencie pojawia się pytanie o ich wiarygodność o możliwości weryfikacji. Jakie mamy narzędzia, które pozwolą ocenić, czy dane publikowane przez tę osobę są porządnie zweryfikowane, czy rzeczywiście opierają się na badaniach? Nie chcę szufladkować – są osoby, które są rozpoznawalne medialnie i jednocześnie wykonują w tym obszarze bardzo dobrą robotę. Niestety nie jest to regułą, jak w świecie badań.
Arkadiusz Kamiński, Carrotspot LAB: Czy spotkałeś w swojej praktyce kogoś, kto wykorzystał dane wątpliwej jakości? Czy dostrzegałeś jakieś negatywne konsekwencje z tego płynące?
Dr Maksymilian Bielecki: Podstawowym kłopotem w sytuacji, w której wyciągamy wnioski w oparciu o dane, jest pytanie, czy rzeczywiście zmierzyliśmy to, czego potrzebujemy. Bardzo łatwo jest tu się pomylić. Mamy miarę zadowolenia pracowników, a wydaje nam się, że automatycznie będzie miarą ich lojalności. Mamy miarę niezadowolenia pracowników, a traktujemy ją jak miarę wypalenia zawodowego. Oczywiście, te rzeczy się ze sobą wiążą, ale jeśli interesuje nas problem X, zachęcam, żeby w porządny i rzetelny sposób ten problem zmierzyć, a nie coś innego. Podsumowując, jest to posiadanie pomiarów, które nas interesują. Drugim problemem jest kwestia interpretacji, wiążąca się z różnymi nieporozumieniami statystycznymi. Nie da się porównać wniosków z przypadkowo dobranej grupy dwudziestu osób, z wnioskami wyciąganymi z reprezentatywnej próby dwóch tysięcy pracowników. Manager, mylący tego rodzaju dwie sytuacje, jest w poważnych tarapatach.
Zdarzyło mi się obserwować takie sytuacje od wewnątrz różnych przedsiębiorstw. Jedna z dużych firm miała całą politykę HR-ową i premiową zawieszoną na jednym wskaźniku, który nie był porządnie mierzony, a cała walka toczyła się o to, by wyprzedzić w tym wskaźniku konkurencję. Z tym wiąże się zjawisko „zużywania się” różnych wskaźników i KPI-ów, które bardzo często motywują organizację do wewnętrznego hakowania. Ma to miejsce również w świecie akademickim, np. w Wielkiej Brytanii, gdzie wskaźnikiem jest zadowolenie studentów. Prowadzi to do takich praktyk, że studentów w strategiczny sposób „głaszcze się po głowach”, żeby „dowieźć” wskaźniki. Wolelibyśmy, żeby przedsiębiorstwami „dowoziły” rzeczywistość, a nie wskaźniki – te dwie płaszczyzny czasem mogą się rozmijać.
Arkadiusz Kamiński, Carrotspot LAB: Czy biznes potrafi wykorzystywać opracowania naukowe?
Dr Maksymilian Bielecki: Trudno sobie wyobrazić dynamicznie rozwijające się przedsiębiorstwo, które nie współpracuje blisko z nauką, bądź nie przenika się ze światem naukowym. To truizm, ale żyjemy w gospodarce opartej na wiedzy, tę wiedzę ktoś musi generować. To, czy formalnie jest to osoba posiadająca tytuł naukowy i pracująca na uczelni, czy szef działu R&D i jest on po stronie biznesu, bardzo często będzie miało zupełnie trzeciorzędne znaczenie.
Przykład pandemii pokazuje, że działania naukowców współpracujących z biznesem pozwoliły na szybkie wynalezienie szczepionki na COVID-19, którą mógł zaszczepić się cały świat, jednocześnie minimalizując skutki pandemii. Naiwne oddzielanie tych dwóch światów nie jest uzasadnione. Dziś chcielibyśmy, żeby naukowcy siedzieli w tej samej fizycznej czy wirtualnej przestrzeni, co biznes, żeby pracowali razem i dobrze się rozumieli. Nie zmienia to faktu, że pewne odkrycia naukowe mają potencjał medialny i łatwo jest je wtedy zamienić w modne buzzwordy, co w nieuchronny sposób prowadzi to do różnego rodzaju zniekształceń i wulgaryzacji wiedzy naukowej. To nie jest proste, żeby w skuteczny sposób korzystać z zaawansowanej wiedzy i jest to realnym wyzwaniem w aspekcie pragmatycznej działalności biznesowej. Ulubioną odpowiedzią naukowca w wielu dziedzinach jest „to zależy”. Świat jest złożony, skomplikowany – zwłaszcza ten dzisiejszy świat, pełen tylu powiązań, sprzeczności, usieciowiony, niepewny. Jeśli przychodzi się z taką informacją do biznesu, to bardzo często reakcją jest niechęć, ponieważ ma być prosto, ma być skutecznie. Jest to perspektywa, która czasem utrudnia porozumienie, ale również bywa inspirująca. Kluczową kompetencją w tej współpracy jest odnalezienie się w napięciu między prawdą i jej złożonością a potrzebą podejmowania decyzji po stronie biznesowej.
Arkadiusz Kamiński, Carrotspot LAB: Puentując, zauważalny jest trend, że rynek jest zdominowany przez specjalistów IT, programistów, analityków, ale drugim ważnym obszarem, jeśli chodzi o zatrudnienie w Polsce, stają się członkowie zespołów R&D, ich kompetencje są coraz częściej poszukiwane . Korporacje, duże firmy budują działy badań i rozwoju, w związku z czym naukowcy zaczynają pracę w biznesie. Czy zatem slogan „z teorią w praktykę” się materializuje?
Dr Maksymilian Bielecki: Z perspektywy człowieka obserwującego od dłuższego czasu rynek akademicki i biznesowy, mogę powiedzieć o rozpuszczaniu się sztywnej granicy – to na szczęście nie są już dwa światy. SWPS jako uczelnia prowadzi działania, które są w bliskim kontakcie z rynkiem, z biznesem, zarówno przez spin-offy, które pojawiają się przy uczelni oraz przez spółkę SWPS Innowacje, która zajmuje się świadczeniem tego rodzaju usług. Szereg projektów biznesowych, w których uczestniczyłem, było tam ulokowanych. A w drugą stronę, biznes wchodzi bardzo szeroko do uczelni, zwłaszcza jeżeli chodzi o stronę HR-ową. Przedsiębiorstwa za pośrednictwem Biura Karier na SWPSie mogą zaproponować różnego rodzaju staże czy praktyki, pozyskując tym samym obiecujących pracowników. Jest to również bardzo odświeżające dla uczelni, ponieważ pozwala na innowacyjne spojrzenie na dydaktykę. Dzięki temu studenci mają szansę pozyskać nową wiedzę, która jest wiedzą żywą, zakorzenioną w dzisiejszym świecie. Tworzymy model, który podąża za nowoczesną rzeczywistością, jest szybki - to ogromna korzyść dla obu światów.
Arkadiusz Kamiński, Carrotspot LAB: Na rynku psychologicznym testy HR, tzn. te wykorzystywane przez HR cieszą się coraz większą popularnością, natomiast negatywnym trendem, który obserwuję jest to, że przypisujemy narzędziom, ankietom właściwości testów psychologicznych, których one nie posiadają. Jak powinien być skonstruowany test psychologiczny? Jakie powinien mieć parametry?
Dr Maksymilian Bielecki: Zacznijmy od uporządkowania narzędzi diagnostycznych, z których możemy korzystać. W odniesieniu do HR-u możemy wyróżnić dwie kategorie: testy i kwestionariusze osobowości.
Testy to narzędzie diagnostyczne, dzięki któremu możemy dowiedzieć się, jaki jest poziom wiedzy albo umiejętności osoby, czyli są to narzędzia, w których sprawdzamy czy ktoś coś wie albo potrafi. Druga kategoria, to takie narzędzia, w których staramy się dowiedzieć, kim ktoś jest i jaki ktoś jest. To jest cały obszar pomiaru osobowości, a czasem innych właściwości, bardziej zmiennych, takich jak nastrój czy zadowolenie z pracy. Są to narzędzia kwestionariuszowe. Jeśli mają być to porządne narzędzia, to muszą spełniać tzw. kryteria dobroci psychometrycznej.
Podstawowe dwa z nich to rzetelność i trafność. Rzetelność mówi nam, czy narzędzie jest wystarczająco dokładne, czy pozwala dokładnie zmierzyć to, na czym nam zależy – to aspekt związany z precyzją. W zakresie trafności weryfikujemy, czy narzędzie mierzy to, co powinno, co chcemy zmierzyć. Zatem, jeśli na przykład chcemy zmierzyć jakąś cechę osobowości, analizujemy, czy skala, kwestionariusz faktycznie do niej się odnosi. Przy testach inteligencji, weryfikujemy, czy one rzeczywiście badają inteligencję. Może okazać się, że test mierzący satysfakcję z pracy, de facto jest testem odnoszącym się do tego, w jakim humorze jest aktualnie badana osoba – tego zdecydowanie nie chcemy.
Obie te właściwości testów – i rzetelność, i trafność nie mają charakteru deklaratywnego. Samo stworzenie testu jest niewystarczające - należy jeszcze na poziomie badań zweryfikować, czy dany test faktycznie spełnia oczekiwane kryteria precyzji i pozwala nam wychwycić zjawisko, na którym nam zależy. Wśród wielu modnych i często używanych narzędzi, także w obszarze HR-owym, informacje dotyczące jakości są niewystarczające. Jedynym źródłem tych danych są osoby czy firmy, które czerpią korzyści materialne z ich wykorzystywania a zatem nie są bezinteresowne. Nastraja to do sceptycyzmu. Drugim aspektem utrudniającym stworzenie wiarygodnych narzędzi jest kwestia czysto rynkowa. Z perspektywy biznesowej wielu firmom opłaca się stworzyć jakieś narzędzie, lepsze czy gorsze, ale własne. Firma będzie miała do niego prawa, będzie czerpała z tego profity, obuduje to produktowo i z tym wejdzie na rynek. Najbardziej wpływowa teoria osobowości, czyli tak zwana teoria Wielkiej Piątki ma już dobrych kilkadziesiąt lat. Jest szereg dobrych narzędzi, którymi można mierzyć cechy osobowości zgodnie z tą konceptualizacją. Część tych narzędzi jest dostępna na bazie licencji otwartych, zatem trudno jest dzięki nim zbudować unikalność biznesową.
Arkadiusz Kamiński, Carrotspot LAB: Mamy teorię na podstawie, której stworzymy test. Wiemy, że test powinien spełniać dwa absolutnie podstawowe warunki: rzetelność i trafność. W takim razie jak zbadać rzetelność naszego narzędzia? Jakie są metody na badanie rzetelności?
Dr Maksymilian Bielecki: Statystyka daje tu szereg rozwiązań. Najczęściej podawaną miarą jest współczynnik Alfa Cronbacha - cieszy się on dużo popularnością, ponieważ wystarczy raz zmierzyć wystarczająco dużą grupę, aby dowiedzieć się, jak dany test pracuje. Jednak nie jest to jedyny wskaźnik. Inny taki wskaźnik oblicza się porównujący wyniki uzyskane w dwóch pomiarach oddalonych w czasie. Jest odpowiedni, jeżeli chcemy zmierzyć zjawisko, które jest dość trwałe np. inteligencja czy osobowość. Zjawiska te nie zmieniają się z dnia na dzień, nawet nie zmieniają się z miesiąca na miesiąc, pod warunkiem, że nie wydarzy się nic wyjątkowego w życiu naszych badanych. Podobnie jak temperament, który jest dość stabilnym składnikiem naszego funkcjonowania.
Warto jednak pamiętać, że wszystkie własności testów są bezpośrednio powiązane z grupą, w której dany test był wykorzystywany. Niestety, zdarza się korzystanie z narzędzi zagranicznych, które zostały po prostu przetłumaczone, choć stworzono je z myślą o ludziach żyjących w zupełnie innej kulturze. Aby zastosować test stworzony w innym języku, oprócz tłumaczenia konieczna jest adaptacja danego narzędzia – proces znacznie bardziej złożony. Test czy kwestionariusz po przetłumaczeniu powinien być poddany ponownej weryfikacji w nowym kontekście. Bardzo często się okazuje, że nie udaje się to za pierwszym razem, ponieważ nie jest to proces banalny. Co ciekawe, zdarza się też że narzędzia tracą swoje własności psychometryczne, jeżeli zmienia się jakiś istotny sposób kontekst – pandemia była takim ogromnym wyzwaniem. Obszary badania satysfakcji pracowników - chociażby atmosfera w pracy, przestrzeń w biurze, benefity typu „owocowe wtorki” – przestały mieć znaczenie kiedy każdy z pracowników przeszedł w tryb pracy zdalnej. Także obecnie, w sytuacji, kiedy wiele osób funkcjonuje w systemie hybrydowym, wiele narzędzi nie do końca radzi sobie z nowymi modelami pracy.
Arkadiusz Kamiński, Carrotspot LAB: Z jakiego powodu testy o niskiej rzetelności i jakości są tak popularne w biznesie?
Dr Maksymilian Bielecki: Zacznę od uwagi ogólniejszej. Problem nie dotyczy tylko narzędzi diagnostycznych, ale także metod badawczych używanych w innych obszarach biznesu. Mam duże doświadczenie w realizacji projektów dotyczących badania wizerunku, gdzie czasem używa się np. metod neuronaukowych w sposób zupełnie nieadekwatny. Mam wrażenie, że jest pewien urok w tym, co nieco tajemnicze, mało transparentne a zarazem nowoczesne. Wiele firm ma też tendencje do outsourcowania odpowiedzialności za pewne decyzje. Czasem z perspektywy menadżerskiej prościej jest podjąć decyzje HR-owe, czy personalne w oparciu o wyniki, które pochodzą z zewnętrznego źródła i nie brać za nie pełnej odpowiedzialności. W przypadku narzędzi diagnostycznych używanych w HR – za błędnymi wyborami narzędzi stoi często połączenie skutecznego marketingu i nie najlepszych wzorców. Kilka spośród popularnych na rynku rozwiązań jest – z perspektywy naukowej – bardzo kontrowersyjnych.
Arkadiusz Kamiński, Carrotspot LAB: My mieliśmy okazję współpracować w projekcie łączącym naukę i biznes. Celem tego projektu było stworzenie narzędzia diagnostycznego dla HR. W tym projekcie SWPS Innowacje połączyło swe siły ze Carrotspot LAB. Jak na kanwie naszych doświadczeń, również tych gorzkich, wyglądało podejście metodologiczne, które wykorzystaliście do stworzenia tego narzędzia? Na czym ono się opierało? Co dla Ciebie jako naukowca było istotne w tym projekcie?
Dr Maksymilian Bielecki: Być może jest to magia funkcjonowania pamięci, ale nie pamiętam gorzkich aspektów, zapamiętałem ciekawy i sprawnie przeprowadzony proces w który zaangażowany był ze strony Uniwersytetu SWPS liczny zespół. Przede wszystkim wspomnieć muszę tu o dr Magdalenie Kaczmarek, z którą bardzo często działamy wspólnie właśnie w kontekście konstrukcji narzędzi i psychometrii. Z perspektywy naukowca tworzącego tego typu rozwiązania, był to projekt dość typowy, zaczynający się od pogłębionej refleksji, również teoretycznej, ale również refleksji dotyczącej potrzeb firmy. Badaliśmy, co tak naprawdę chcielibyście zmierzyć, jak to odnosi się na przykład do motywacji pracowników, tego jak odnajdują się w miejscu pracy i tego, jakie wymiary powinniśmy uchwycić, aby były one jednocześnie mierzalne i miały odpowiednie implikacje biznesowe. Ciekawym wyróżnikiem tego procesu była praca warsztatowa. Bardzo często, jeśli ktoś chce coś zmierzyć, sięga po gotowe rozwiązanie „z półki”. My chcieliśmy przyjrzeć się pewnym obszarom funkcjonowania pracowników w organizacjach w pogłębiony sposób. To wymagało konstrukcji tej przestrzeni, wymiarów, które chcieliśmy zmierzyć. Dzięki temu, że wspólnie razem pracowaliśmy ostateczny efekt odpowiadał z jednej strony na Wasze potrzeby, a z drugiej strony spełniał standardy, na których nam jako naukowcom zależy. Oprócz inspiracji teoretycznych, istotnym źródłem założeń konstrukcyjnych narzędzia CMVI była analiza innych obecnych na rynku metod oraz rozpoznanie potrzeb potencjalnych użytkowników tego narzędzia, czyli osób pracujących na kierowniczych stanowiskach w obszarze HR. W celu lepszego rozeznania kontekstu praktycznego, w którym stosowane będzie CMVI, na wcześniejszym etapie projektu zrealizowaliśmy serię 17 wywiadów indywidualnych (IDI) z udziałem ekspertów. Osób rozpoznawalnych i kształtujących w istotny sposób obszar HR i psychologii organizacji w Polsce. Przeprowadziliśmy także konsultacje z ekspertami w formie warsztatu. Efektem integracji wiedzy teoretycznej z przesłankami opracowanymi w oparciu o dane pozyskane od ekspertów było określenie głównych założeń dla CMVI.
W momencie, kiedy mieliśmy opracowany model, ruszyliśmy standardową ścieżką konstrukcji narzędzi, czyli najpierw opracowaliśmy pytania, które miały te poszczególne wymiary mierzyć, potem eksperci oceniali, czy te pytania mierzą to, co faktycznie mierzyć powinny. Następnie przeprowadziliśmy badania konstrukcyjne i normalizacyjne na próbach o odpowiednio dużej liczebności. To jest etap, którego nie możemy ominąć, a który bywa często „przeskakiwany”. Na tym właśnie etapie możliwa jest weryfikacja istotnych własności narzędzia, m.in. jego rzetelności, trafności. To też etap, w którym założenia teoretyczne są często modyfikowane. Decydujemy, czy faktycznie mierzonych wymiarów jest tyle ile pierwotnie planowaliśmy, czy ostateczny kształt narzędzia odpowiada pierwotnym założeniom.
Ważnym aspektem, który CMVI na pewno wyróżnia, jest fakt, że nasze badania umożliwiały też stworzenie dobrych norm. Normalizacja to jedno z kluczowych wymagań, które stawiamy, jeżeli chcemy, by narzędzie dostarczało nam użytecznej wiedzy pozwalającej na przykład powiedzieć „w porównaniu do wszystkich innych ludzi zatrudnionych, których mierzyliśmy tym narzędziem jesteś wyjątkowo niezadowolony ze swojej pracy - mieścisz się w dolnych 10% najbardziej niezadowolonych pracowników. Żeby takie stwierdzenie miało sens, musimy wiedzieć, jakie są poziomy zadowolenia w badanej populacji, czyli musimy dysponować wyjątkowo dużymi danymi, używając żargonu psychometrycznego – normalizacyjnymi. Musimy dysponować grupę odniesienia z którą porównywać będziemy kolejne badane osoby.
Warto podkreślić, że nawet jeżeli test czy kwestionariusz mają „jakieś” normy, to nie jest to warunek wystarczający sensownej interpretacji wyników. Normy – podobnie jak cały kwestionariusz – mają charakter „lokalny” i mają też swój termin trwałości. Jeśli użyjemy norm, które powstały w innym kraju, czy też opracowano je badając satysfakcję pracowników 20 lat temu, to tak naprawdę nie dowiemy się niczego sensownego. Uzyskane wyniki będą silnie zniekształcone. W dzisiejszej, bardzo dynamicznej biznesowej rzeczywistości powinniśmy proces normalizacji co kilka lat powtarzać tak, aby interpretacja wyników dalej była wartościowa. Samego narzędzia wtedy nie zmieniamy, ale zbieramy duże dane, które pozwalają nam sprawdzać, jak obecnie narzędzie to funkcjonuje. W wypadku rozwiązań HR-owych czy biznesowych będących w ciągłej eksploatacji nie wymaga to z resztą zazwyczaj dodatkowych badań, bo możemy w tym celu wykorzystać dane, które napływają do nas na bieżąco.
Wreszcie, warto podkreślić, że aspektem ważnym zarówno w części naukowej, jak i części praktycznej jest to, co się dzieje na samym końcu z uzyskanym wynikiem. Nawet, jeśli narzędzie jest absolutnie poprawne metodologicznie, to jeżeli nie będzie ono przedstawiało wyników w sposób, który jest komunikatywny, zrozumiały, to nie będzie spełniało swoich zadań w kontekstach biznesowych. Bardzo ciekawym wyzwaniem jest to, jak zamienić pomiary psychometryczne we właściwą informację zwrotną dla osoby badanej czy dla organizacji. W informację, która będzie zrozumiała, będzie mogła być podstawą lepszych decyzji czy skutecznej implementacji. Wierzę, że w pracy nad CMVI udało się nam osiągnąć ten cel.
Joanna Pietrzak & Arkadiusz Kamiński: Dziękujemy bardzo.
