{"id":7079,"date":"2020-03-17T22:45:09","date_gmt":"2020-03-17T21:45:09","guid":{"rendered":"http:\/\/naukowy.blog.polityka.pl\/?p=7079"},"modified":"2020-03-18T16:44:14","modified_gmt":"2020-03-18T15:44:14","slug":"jedna-jaskolka-nie-czyni-paradygmatu","status":"publish","type":"post","link":"https:\/\/blog.polityka.pl\/naukowy\/2020\/03\/17\/jedna-jaskolka-nie-czyni-paradygmatu\/","title":{"rendered":"Jedna jask\u00f3\u0142ka nie czyni paradygmatu"},"content":{"rendered":"\n
\"\"<\/figure><\/div>\n\n\n\n

Miesi\u0105c temu Marcin Nowak napisa\u0142<\/a>, \u017ce zesp\u00f3\u0142 poaborcyjny udaje si\u0119 wykaza\u0107 tylko w niekt\u00f3rych badaniach o niekoniecznie wy\u015brubowanych metodologiach. Zbieg\u0142o si\u0119 to z moim udzia\u0142em w spotkaniu roboczym pewnego projektu – tematyka inna, ale r\u00f3wnie\u017c rozwa\u017cano kwestie dost\u0119pno\u015bci danych\u00a0i ich jako\u015bci.<\/p>\n\n\n\n\n\n\n\n

Kwestie wykorzystywania danych zebranych przy okazji innych bada\u0144 porusza\u0142em par\u0119 lat temu<\/a>. Ju\u017c wtedy wspomnia\u0142em, \u017ce dane z r\u00f3\u017cnych zbior\u00f3w cz\u0119sto ci\u0119\u017cko por\u00f3wnywa\u0107. Problem polega nie tylko na tym, \u017ce kto\u015b zmierzy\u0142 utlenialno\u015b\u0107 metod\u0105 nadmanganianow\u0105, a kto\u015b inny dwuchromianow\u0105 (wyniki naprawd\u0119 s\u0105 inne), czy chlorofil na chromatografi\u0119 rozpuszcza\u0142 w alkoholu, czy acetonie (wyniki powinny by\u0107 podobne, ale nie zawsze s\u0105). Nawet uzyskane t\u0105 sam\u0105 metod\u0105 dane mog\u0105 by\u0107 pozyskane z r\u00f3\u017cn\u0105 rzetelno\u015bci\u0105, wynikaj\u0105c\u0105 cho\u0107by ze staranno\u015bci.<\/p>\n\n\n\n

Staranno\u015bci nie da si\u0119 w \u017caden spos\u00f3b sprawdzi\u0107, ale metodologia powinna by\u0107 umieszczona w publikacji w spos\u00f3b pozwalaj\u0105cy na ocen\u0119 przynajmniej jej. Ka\u017cda metoda ma swoje ograniczenia i pozwala na wyci\u0105ganie pewnego zakresu wniosk\u00f3w. Pewne metody pozwalaj\u0105 na pobie\u017cne wyniki, inne na dog\u0142\u0119bne. Dotyczy to zar\u00f3wno wynik\u00f3w pomiarowych, jak i p\u0142yn\u0105cych z nich tez w stylu: substancja X szkodzi bardziej ni\u017c Y.<\/p>\n\n\n\n

Nauki opisuj\u0105 \u015bwiaty prostsze (jak znaczna cz\u0119\u015b\u0107 fizyki czy chemii) i bardziej z\u0142o\u017cone (jak biologia). Ro\u015bnie liczba wyj\u0105tk\u00f3w. W naukach spo\u0142ecznych wyj\u0105tk\u00f3w jest du\u017co i czasem ci\u0119\u017cko uwierzy\u0107, \u017ce w og\u00f3le s\u0105 regu\u0142y, co wynika z niedoskona\u0142o\u015bci samego warsztatu naukowego, ale i ze zbyt du\u017cej do ogarni\u0119cia liczby zmiennych (cho\u0107 oczywi\u015bcie nie usprawiedliwia to np. tych szk\u00f3\u0142 ekonomii, kt\u00f3re wprost twierdz\u0105, \u017ce ich zasady falsyfikowalno\u015bci nie obejmuj\u0105).<\/p>\n\n\n\n

Pozostaj\u0105c przy biologii czy ekologii – s\u0105 pewne zasady i prawa, ale wi\u0119kszo\u015b\u0107 regu\u0142 to tylko regu\u0142y, od kt\u00f3rych mog\u0105 by\u0107 wyj\u0105tki. Organizmy potrzebuj\u0105 tlenu do oddychania – ca\u0142a masa wyj\u0105tk\u00f3w. Eukarionty maj\u0105 j\u0105dra, mitochondria, aparaty Golgiego, rybosomy itd. Ale jak pisa\u0142em, bez mitochondri\u00f3w da si\u0119 \u017cy\u0107<\/a> itd. Nie przypadkiem rozw\u00f3j metod statystycznych posun\u0105\u0142 si\u0119 g\u0142\u00f3wnie na potrzeby opisu zjawisk ekologicznych czy socjologicznych. Trzeba oceni\u0107, kiedy mo\u017cna jeszcze m\u00f3wi\u0107 o regule, a kiedy wyj\u0105tk\u00f3w jest za du\u017co.<\/p>\n\n\n\n

Wcale nietrudno o sytuacj\u0119, gdy w jednym badaniu biologicznym (ekologicznym, medycznym) wychodzi jedno, a w drugim – drugie. St\u0105d konieczno\u015b\u0107 por\u00f3wnywania bada\u0144 – metodologii, jako\u015bci itd. Podr\u0119czniki i ksi\u0105\u017cki popularnonaukowe s\u0105 pe\u0142ne opis\u00f3w prze\u0142omowych do\u015bwiadcze\u0144 czy publikacji bada\u0144 b\u0119d\u0105cych kamieniami milowymi danej dziedziny. Eratostenes mierzy\u0142 d\u0142ugo\u015b\u0107 cienia. Galileusz puszcza\u0142 kule z wie\u017cy. Flemingowi zaple\u015bnia\u0142a szalka z bakteriami. W CERN-ie zarejestrowano bozon Higgsa. Eureka – i mamy nowy paradygmat.<\/p>\n\n\n\n

Ale \u017ceby co\u015b sta\u0142o si\u0119 paradygmatem, nie mo\u017ce opiera\u0107 si\u0119 na jednej obserwacji. Powinno by\u0107 powtarzalne (no, obserwacja supernowej mo\u017ce nie by\u0107 \u0142atwa do powt\u00f3rzenia). Pomiar rozmiaru Ziemi czy przyspieszenia ziemskiego rzeczywi\u015bcie zwykle daje te same warto\u015bci. Pr\u00f3ba zabijania bakterii penicylin\u0105 do pewnego momentu te\u017c dawa\u0142a ten sam skutek, ale wiemy dzi\u015b, \u017ce nie zawsze. Da si\u0119 znale\u017a\u0107 obserwacje, gdy po podaniu du\u017cej dawki witaminy C kto\u015b wyzdrowia\u0142 z ci\u0119\u017ckiej choroby. Czy to dow\u00f3d jej terapeutycznego dzia\u0142ania? Nie wiadomo, dop\u00f3ki nie zbada si\u0119 wi\u0119cej.<\/p>\n\n\n\n

Gdy na ca\u0142ym \u015bwiecie ludzie badaj\u0105 podobne zjawiska, mo\u017cna analizowa\u0107 ich wyniki. Analiza analiz to metaanaliza. Dzi\u015b w medycynie opis jednego pacjenta nie ma za du\u017cej warto\u015bci. Opis jednych bada\u0144 klinicznych, w kt\u00f3rych bior\u0105 udzia\u0142 liczni pacjenci, mo\u017ce wystarczy\u0107 do dopuszczenia leku do u\u017cytku, ale \u017ceby jaka\u015b terapia trafi\u0142a do zalece\u0144 towarzystwa medycznego, to lepiej, \u017ceby wnioski wynika\u0142y z metaanalizy.<\/p>\n\n\n\n

Poj\u0119ciem pokrewnym jest przegl\u0105d systematyczny literatury naukowej. W takim przegl\u0105dzie zbiera si\u0119 publikacje na dany temat i bior\u0105c pod uwag\u0119 r\u00f3\u017cne kryteria ich adekwatno\u015bci, wyci\u0105ga ostateczne wnioski.<\/p>\n\n\n\n

Jak pisa\u0142em, niedawno by\u0142em na spotkaniu projektu badaj\u0105cego m.in. wp\u0142yw ekstremalnych zjawisk hydrologicznych na faun\u0119 rzek. Projekt b\u0119dzie zawiera\u0142 cz\u0119\u015b\u0107 w\u0142asnych bada\u0144 terenowych, ale w du\u017cej mierze ma si\u0119 opiera\u0107 na analizie danych zgromadzonych wcze\u015bniej, np. w ramach monitoringu jako\u015bci w\u00f3d czy bada\u0144 rybackich. Jeden z uczestnik\u00f3w spotkania przygotowa\u0142 prezentacj\u0119 w\u0142a\u015bnie o przegl\u0105dzie systematycznym, kt\u00f3ry wykonywa\u0142 niedawno w ramach badania wp\u0142ywu poboru w\u00f3d z rzek na \u017cyj\u0105ce w nich zwierz\u0119ta.<\/p>\n\n\n\n

Jak to wygl\u0105da w praktyce? Dzi\u015b ju\u017c nikt nie siedzi w bibliotekach, tylko przegl\u0105da Web of Science, Scopusa itp. bazy, kt\u00f3re prawie si\u0119 nie r\u00f3\u017cni\u0105 zawarto\u015bci\u0105 (przynajmniej w zakresie biologii), i szuka po s\u0142owach kluczowych. W tym konkretnym przegl\u0105dzie wystartowano od ponad miliona artyku\u0142\u00f3w dotycz\u0105cych rzek, mia\u0142 sze\u015b\u0107 etap\u00f3w. W pierwszym odsiano artyku\u0142y jakkolwiek zwi\u0105zane z poborem w\u00f3d – zosta\u0142o ponad p\u00f3\u0142 miliona. W drugim etapie wybrano te, kt\u00f3re dotyczy\u0142y ekologii – zosta\u0142o ponad 65 tys. (swoj\u0105 drog\u0105 oznacza to, \u017ce prawie wszystkie artyku\u0142y dotycz\u0105ce poboru w\u00f3d nie zajmuj\u0105 si\u0119 jego ekologicznym wymiarem – dla mnie to zaskakuj\u0105ce). Ok. 3800 wyda\u0142o si\u0119 obiecuj\u0105cych do przejrzenia na podstawie tytu\u0142u. Spo\u015br\u00f3d nich do przejrzenia abstrakt\u00f3w wybrano 372. Z nich za\u015b obiecuj\u0105cych – tak \u017ceby przejrze\u0107 tekst – wyda\u0142o si\u0119 76. 17 odrzucono ze wzgl\u0119du na nieodpowiedni\u0105 lokalizacj\u0119 geograficzn\u0105 (badaczy interesowa\u0142a g\u0142\u00f3wnie ni\u017cowa cz\u0119\u015b\u0107 Wielkiej Brytanii), 27 ze wzgl\u0119du na brak u\u017cytecznych danych, a 22 ze wzgl\u0119du na og\u00f3lne nieprzystawanie. Czyli ostatecznie do analizy wybrano 10 publikacji.<\/p>\n\n\n\n

Liczby\u00a0z pierwszych etap\u00f3w pokazuj\u0105 inflacj\u0119 s\u0142owa pisanego. Samych artyku\u0142\u00f3w o rzekach jest ponad milion. Nie spos\u00f3b ich wszystkich przeczyta\u0107, \u017ceby poczu\u0107 si\u0119 potamologiem maj\u0105cym ogl\u0105d wsp\u00f3\u0142czesnej wiedzy o rzekach. Nawet liczba artyku\u0142\u00f3w \u0142\u0105cz\u0105cych ekologi\u0119 z poborem w\u00f3d jest za du\u017ca do ogarni\u0119cia. Powiedzmy, \u017ce artyku\u0142\u00f3w interesuj\u0105cych jest kilkadziesi\u0105t.<\/p>\n\n\n\n

I nagle ukazuje si\u0119 druga strona medalu. Spo\u015br\u00f3d nich wi\u0119kszo\u015b\u0107 okazuje si\u0119 w gruncie rzeczy nieprzydatna do analizy. W razie r\u00f3\u017cnic we wnioskach mo\u017ce okaza\u0107 si\u0119, \u017ce jest ich za ma\u0142o, by por\u00f3wna\u0107 je statystycznie.<\/p>\n\n\n\n

Wynika to nie tylko z tego, \u017ce nie wszystkie publikacje zawieraj\u0105 dane u\u017cyteczne, kt\u00f3rych metodyka pozyskania jest dobrze opisana. Prawa publikacji naukowych sprawiaj\u0105, \u017ce raz opisany temat staje si\u0119 niejako zaklepany i wydawcy nie chc\u0105 publikowa\u0107 rzeczy podobnych. Gdyby to dotyczy\u0142o spraw w stylu „odkrycie nowego pierwiastka”, opis nowego gatunku czy dowodu jakiego\u015b twierdzenia matematycznego, to by\u0142oby jako\u015b uzasadnione. Ale jak pisa\u0142em, zdarza si\u0119, \u017ce dwa podobne badania daj\u0105 odmienne wyniki i nie ma w tym nic niezwyk\u0142ego. Je\u017celi opublikuje si\u0119 tylko jedno, w \u015bwiat idzie przekaz – jest tak. Tymczasem mo\u017ce by\u0107 tak tylko w niekt\u00f3rych przypadkach.<\/p>\n\n\n\n

Mimo inflacji publikacji wszyscy w zasadzie chc\u0105 przedstawia\u0107 je jako wyj\u0105tkowe, co tylko wzmacnia powy\u017csze zjawisko. Ca\u0142kiem du\u017co pisa\u0142em o nadymaniu publikacji par\u0119 lat temu<\/a>. Tak\u017ce dla mnie jako popularyzatora lepiej przedstawia\u0107 publikacje jako interesuj\u0105ce i odpowiadaj\u0105ce na wa\u017cne pytania, a nie jako jedne z wielu, czasem sprzecznych. Tym bardziej dla os\u00f3b chc\u0105cych podeprze\u0107 swoje pomys\u0142y odpowiednimi badaniami. Wybieranie wisienek publikacyjnych jest ganione, ale czasem mo\u017ce by\u0107 tak, \u017ce nie trzeba ich wybiera\u0107 z ciasta, bo dost\u0119pne s\u0105 same wisienki, podczas gdy badania, kt\u00f3re mog\u0142yby by\u0107 ciastem, zostaj\u0105 w najlepszym razie szar\u0105 literatur\u0105.<\/p>\n\n\n\n

Je\u017celi 10 bada\u0144 wskazuje, \u017ce obecno\u015b\u0107 danej substancji nie ma \u017cadnego wp\u0142ywu, a jedno wskazuje, \u017ce wp\u0142yw jest – niestety, ca\u0142kiem prawdopodobne, \u017ce opublikowane zostanie to ostatnie. Wtedy nawet nie b\u0119dzie czego metaanalizowa\u0107.<\/p>\n\n\n\n

Wspomniany na pocz\u0105tku projekt zak\u0142ada przeanalizowanie nie tylko literatury naukowej indeksowanej w Web of Science. O ile nikt nie napisze oryginalnego artyku\u0142u z fizyki cz\u0105stek elementarnych czy genomiki po polsku, w\u0119giersku, niemiecku czy rosyjsku (to, \u017ce dwa ostatnie s\u0105 j\u0119zykami kongresowymi, a w jednym z nich publikowa\u0142 kiedy\u015b Einstein, ma si\u0119 do wsp\u00f3\u0142czesnej rzeczywisto\u015bci nijak), o tyle dane interesuj\u0105ce z punktu widzenia tego projektu mo\u017cna znale\u017a\u0107 w pismach typu „Komunikaty Rybackie”, kt\u00f3rych nie ma nawet w obecnym wykazie ministerialnym, a co dopiero w mi\u0119dzynarodowych bazach. Co wi\u0119cej, s\u0105 w raportach oddzia\u0142ywania na \u015brodowisko inwestycji, planach zada\u0144 ochronnych obszar\u00f3w Natura 2000, operatach rybackich czy w ko\u0144cu raportach z monitoringu jako\u015bci w\u00f3d. Te dane rzadko trafiaj\u0105 do publikacji, a prawie nigdy do publikacji presti\u017cowych. Niekoniecznie te\u017c s\u0105 sp\u00f3jne metodologicznie z innymi (chocia\u017cby dane monitoringowe powinny by\u0107 pozyskiwane w warunkach typowych, a nie ekstremalnych, bardziej interesuj\u0105cych z punktu widzenia tego projektu).<\/p>\n\n\n\n

W ten spos\u00f3b badacze chc\u0105cy dog\u0142\u0119bnie przeanalizowa\u0107 dane zagadnienie stoj\u0105 przed paradoksem: jest masa danych, kt\u00f3re nigdzie nie s\u0105 publikowane, i masa publikacji, ale danych, kt\u00f3re mo\u017cna podda\u0107 rzetelnej analizie, ju\u017c znacznie mniej.<\/p>\n\n\n\n

Piotr Panek<\/strong>
fot. Piotr Panek, licencja\u00a0CC-BY-SA 4.o<\/a><\/em><\/p>\n","protected":false},"excerpt":{"rendered":"

Badacze chc\u0105cy dog\u0142\u0119bnie przeanalizowa\u0107 zagadnienie stoj\u0105 przed paradoksem – jest masa danych, ale takich, kt\u00f3re mo\u017cna podda\u0107 analizie wcale nie jest tak du\u017co<\/p>\n","protected":false},"author":1,"featured_media":7084,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[58,11,43,1],"tags":[569,154],"_links":{"self":[{"href":"https:\/\/blog.polityka.pl\/naukowy\/wp-json\/wp\/v2\/posts\/7079"}],"collection":[{"href":"https:\/\/blog.polityka.pl\/naukowy\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.polityka.pl\/naukowy\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.polityka.pl\/naukowy\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.polityka.pl\/naukowy\/wp-json\/wp\/v2\/comments?post=7079"}],"version-history":[{"count":5,"href":"https:\/\/blog.polityka.pl\/naukowy\/wp-json\/wp\/v2\/posts\/7079\/revisions"}],"predecessor-version":[{"id":7088,"href":"https:\/\/blog.polityka.pl\/naukowy\/wp-json\/wp\/v2\/posts\/7079\/revisions\/7088"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.polityka.pl\/naukowy\/wp-json\/wp\/v2\/media\/7084"}],"wp:attachment":[{"href":"https:\/\/blog.polityka.pl\/naukowy\/wp-json\/wp\/v2\/media?parent=7079"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.polityka.pl\/naukowy\/wp-json\/wp\/v2\/categories?post=7079"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.polityka.pl\/naukowy\/wp-json\/wp\/v2\/tags?post=7079"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}