Nie mogę uwierzyć, że przegapiłem tak fascynujące badania naukowe. Profesor Philip E. Tetlock przez dwadzieścia lat skrzętnie notował rezultaty prognoz setek medialnych ekspertów: ekonomicznych, politycznych i militarnych. Uzbierał ponad 30 000 krótko i długoterminowych prognoz stworzonych z 90 000 scenariuszy.

Wszyscy uczestnicy jego eksperymentu utrzymywali się z publikowania eksperckich opinii w wymienionych wyżej dziedzinach. Oczywiście, pozostali anonimowi. 64% z badanych posiadało doktorat, 97% wykształcenie wyższe (postgraduate diplomas). Przeciętnie posiadali 12 lat profesjonalnego doświadczenia. Profesor Tetlock nie korzystał z tego co eksperci powiedzieli lub napisali lecz zadawał im konkretne pytania, które zmuszały ich do postawienia prognoz spełniających kryteria SMART. Eksperci z reguły mieli do wyboru trzy odpowiedzi. Na przykład zapytani o poziom długu publicznego USA do PKB w latach 90) mieli przypisać prawdopodobieństwo trzem scenariuszom:

  • pozostanie w granicach 35%-40%
  • będzie powyżej tego poziomu
  • znajdzie się poniżej tego poziomu

Co się okazało? Jak łatwo się domyśleć, kolektywnie eksperci okazali się dużo gorsi od zaawansowanych modeli statystycznych. Przegrali także z prymitywnymi modelami statystycznymi, na przykład opartymi na prostej ekstrapolacji trendu. Mało tego, okazali się nawet gorsi od stada małp rzucającego lotkami – skuteczność ich prognoz wynosiła mniej niż 33% (większość pytań miała trzy scenariusze).

Co ciekawe, profesor Tetlock zauważył istotną korelację pomiędzy medialną popularnością eksperta a słabymi wynikami jego prognoz. Niech Roubini Indeks będzie anegdotyczną ilustracją tego zjawiska.

Tetlock zauważył inną prawidłowość: zarówno wieczni optymiści jak i zawodowe Kasandry odznaczali się większym zaufaniem do swoich prognoz niż umiarkowani eksperci oraz zdecydowanie gorszymi rezultatami swoich prognoz. Grupa optymistów przypisała 65% prawdopodobieństwa optymistycznym scenariuszom, które zmaterializowały się w 15% prognoz. Grupa pesymistów, przypisała łącznie 70% prawdopodobieństwo ziszczenia się katastroficznych scenariuszy, które zdarzyły się w 12% przypadków. Fascynujące, że mimo tak beznadziejnych wyników media poświęcały więcej uwagi ‘radykalnym’ ekspertom niż ich umiarkowanym kolegom.

Tetlock podzielił także ekspertów na dwie grupy: jeże i lisy (za Berlinem). Jeże kochają wielkie idee i patrzą na świat przez okulary marksizmu, libertarianizmu czy feminizmu. Lisy nie mają problemów z akceptowaniem niepewności, nie są przywiązani do żadnej wielkiej idei. Można powiedzieć, że są intelektualnymi oportunistami. Tutaj nie będzie niespodzianki – prognozy lisów były skuteczniejsze, choć jeże były duże lepsze w prognozowania czarnych i białych łabędzi.

Okazało się także, że dobre wyniki w cognitive reflection test (CRT) były pozytywnie skorelowane z wyższą skutecznością prognoz. CRT wygląda na przykład tak (proszę szybko odpowiedzieć): kij bejsbolowy i piłka kosztują razem 1,10 USD. Kij kosztuje dolar więcej niż piłka. Ile kosztuje piłka?

Zainteresowane osoby mogą obejrzeć wykład profesora Tetlocka, które wygłosił dla pracowników Google w 2006 roku: