• Artykuły
  • Forum
  • Ciekawostki
  • Encyklopedia
  • Replikacja - metoda naukowa

    Przeczytaj także...
    Prawo Goodharta mówi, że jakakolwiek próba uregulowania przez bank centralny bądź opodatkowania jednego kanału działalności bankowej szybko doprowadzi do tego, iż interesy bankowe zostaną przeniesione do innego kanału, który nie podlega regulacji lub jest nieopodatkowany.Andrew Gelman (ur. 11 lutego 1965) – statystyk amerykański, profesor statystyki i politologii, kierownik Centrum Statystyki Stosowanej na uniwersytecie Columbia. Obronił stopień B.S. w matematyce i fizyce na MIT w 1986, i doktorat ze statystyki na uniwersytecie Harvarda w 1990 pod kierunkiem Donalda Rubina. Został uhonorowany trzema nagrodami Amerykańskiego Towarzystwa Statystycznego za osiągnięcia w dziedzinie statystyki stosowanej. Aktualnie wykłada politologię i statystykę na uniwersytecie Columbia. Jest autorem podręczników i tekstów popularnonaukowych, głównie z obszaru statystyki bayesowskiej.
    Ronald Aylmer Fisher (ur. 17 lutego 1890 w Londynie, zm. 29 lipca 1962 w Adelaide) – genetyk i statystyk brytyjski, profesor eugeniki London School of Economics w latach (1933-1943) i profesor genetyki Uniwersytetu w Cambridge (1943-1957), członek Royal Society w Londynie (Towarzystwa Królewskiego). Anders Hald określił go jako "geniusza, który niemalże sam stworzył podstawy współczesnej statystyki", zaś Richard Dawkins jako "największego ze spadkobierców Darwina".

    Replikacja to pojęcie z zakresu metodologii nauk oraz statystyki opisujące powtarzanie badań w celu zweryfikowania ich wyników jako część ustawicznego procesu autokorekcyjnego w metodzie naukowej. Słowami filozofa nauki Karla Poppera „niepowtarzalne, jednostkowe wydarzenia nie mają dla nauki żadnego znaczenia”. Statystyk Ronald Fisher napisał: „możemy uznać, że zjawisko jest udowodnione eksperymentalnie wówczas, gdy wiemy, jak przeprowadzić eksperyment, który rzadko zawiedzie w wykazaniu istotnych statystycznie rezultatów.”

    Statystyka (niem. Statistik, „badanie faktów i osób publicznych”, z łac. [now.] statisticus, „polityczny, dot. polityki”, od status, „państwo, stan”) – nauka, której przedmiotem zainteresowania są metody pozyskiwania i prezentacji, a przede wszystkim analizy danych opisujących zjawiska, w tym masowe.JSTOR (/dʒeɪ-stɔːr/, skrót od ang. Journal Storage) – biblioteka cyfrowa utworzona w 1995 roku. Początkowo zawierała cyfrowe kopie czasopism naukowych o wyczerpanym nakładzie. Następnie zaczęła zbierać także książki, materiały źródłowe oraz aktualne numery czasopism naukowych. Pozwala na wyszukiwanie w pełnej treści niemal 2000 czasopism naukowych.

    Przekonująca replikacja powinna w miarę możliwości maksymalnie wiernie odtwarzać warunki i narzędzia, jakie zastosowano w oryginalnym badaniu. Dodatkowo, powinna cechować się wysoką mocą statystyczną i transparentnością. W przypadku gdy projekt pierwotnego badania jest uznany za wadliwy, można również przeprowadzić replikację konceptualną, rozszerzającą oryginalny cel i wyniki, przy użyciu lepszych narzędzi.

    Science – recenzowane czasopismo naukowe wydawane przez American Association for the Advancement of Science. Ukazuje się jako tygodnik ilustrowany.Błąd pierwszego rodzaju (błąd pierwszego typu, alfa-błąd, false positive) − w statystyce pojęcie z zakresu weryfikacji hipotez statystycznych − błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem α (mała grecka litera alfa) i nazywamy poziomem istotności testu.

    W standardowej procedurze weryfikacji hipotez statystycznych w podejściu częstościowym, z samej definicji progu istotności 5% wynika, że 5% wyników przekracza go przez przypadek. W praktyce założenia modeli statystycznych i metodologii badań mogą nie być dokładnie przestrzegane, w związku z czym liczba „fałszywych alarmów” może być wyższa, niż sugeruje ta nominalna wartość. Z tego powodu wartość dowodowa niezreplikowanych badań jest silnie ograniczona.

    Jerzy Spława-Neyman (ur. 16 kwietnia 1894 w Benderach, zm. 5 sierpnia 1981 w Oakland w Kalifornii) – polski i amerykański matematyk i statystyk. Był on twórcą nowoczesnego pojęcia przedziału ufności i wprowadził je do teorii testowania hipotez statystycznych.Moc testu (pojęcie statystyczne) to prawdopodobieństwo niepopełnienia błędu drugiego rodzaju. Im większe jest to prawdopodobieństwo, tym lepszy jest dany test jako narzędzie do różnicowania między hipotezą prawdziwą i fałszywą.

    Narzędziem, które służy agregacji danych i wyników ze zbioru replikacji jest metaanaliza. Pozwala ona na zbiorcze rozpatrzenie wartości dowodowej badań, oraz wykrycie tendencyjności publikacji.

    Kryzys replikacji[ | edytuj kod]

    Presja instytucjonalna wywierana na badaczy, gdy ocena ich pracy uzależniona jest od takich kryteriów, jak liczba publikacji i istotnych statystycznie wyników, zachęca naukowców do nadużywania metod weryfikacji hipotez statystycznych. W ocenie Gelmana, wskutek niezrozumienia lub celowego naruszania zasad metodologii, badacze i wydawcy czasopism naukowych przywiązywali w praktyce nadmierną wagę do uzyskiwania wyników istotnych statystycznie, niezależnie od tego czy są one prawdziwe, czy nie. Badania które przekroczyły ten próg były publikowane kilkukrotnie częściej. Biagioli, opisując ten problem, nawiązał do prawa Goodharta: ocena pracy naukowej skupiona na prostych wskaźnikach, takich jak istotność statystyczna, sprawia że zaczynają być one traktowane jak cel sam w sobie, i podważa wiarygodność i rzetelność nauki. Jak zademonstrował zespół statystyków w 2011, przy pomocy zbioru różnego rodzaju drobnych nadużyć metodologicznych, można uzyskać istotność statystyczną na nominalnym poziomie 5%, przy realnym prawdopodobieństwu błędu I rodzaju ponad 50%.

    Wnioskowanie częstościowe (ang. frequentist inference), NHST, (ang. null hypothesis significance testing), statystyka częstościowa – podejście w dziedzinie wnioskowania statystycznego oparte na falsyfikacji hipotez statystycznych w oparciu o ich oczekiwane długoterminowe właściwości. Jest ono amalgamatem metod wypracowanych przez Ronalda Fishera oraz Neymana i Pearsona. Jego główną właściwością jest to, że w długim horyzoncie czasowym, badacz posługujący się prawidłowo metodami częstościowymi nie popełni błędów decyzyjnych statystycznie częściej, niż założył. Charakterystycznym dla statystyki częstościowej narzędziem jest P-wartość testu. Głównymi alternatywnymi podejściami jest wnioskowanie bayesowskie i stosowanie ilorazów wiarygodności.Sir Karl Raimund Popper (ur. 28 lipca 1902 w Wiedniu, zm. 17 września 1994 w Londynie) – filozof specjalizujący się w filozofii nauki i filozofii społeczno-politycznej. Jego system filozoficzny został przez niego samego nazwany racjonalizmem krytycznym, który on sam uważał za kontynuację filozofii Immanuela Kanta. Sformułował zasadę falsyfikowalności jako kryterium naukowości (popperyzm) oraz koncepcję społeczeństwa otwartego, będącego swoistym rozwinięciem koncepcji demokracji Johna Locke’a i Johna Stuarta Milla.

    W latach 2010. opublikowano szereg badań i raportów, sugerujących że zjawisko to ma poważną skalę, i wymaga ściślejszego traktowania. W ankiecie obejmującej ok. 1500 naukowców z różnych dziedzin, 90% respondentów stwierdziło, że nauki są dotknięte kryzysem replikacji – większość opublikowanych wyników nie jest ponownie testowana, a jeśli do tego dochodzi, rezultatów często nie udaje się powtórzyć. Przykładowo, zależnie od dziedziny, większość naukowców deklarowała, że przynajmniej raz nie powiodła im się replikacja cudzej pracy, w:

    PMID (ang. PubMed Identifier, PubMed Unique Identifier) – unikatowy identyfikator przypisany do każdego artykułu naukowego bazy PubMed.Złudzenie publikacyjne, tendencyjność publikacyjna, efekt szuflady – zafałszowanie naukowego obrazu rzeczywistości powstające wskutek wybiórczości w publikowaniu wyników naukowych. Może ono powstawać między innymi wówczas, gdy autorzy lub wydawcy nie interesują się wynikami, które uważają za mało interesujące lub niezgodne z ich poglądami, lub celowo ukrywają takie wyniki (stąd „efekt szuflady”). Wynika również z niezrozumienia lub nieintuicyjności metodologii weryfikacji zerowych hipotez statystycznych – obserwuje się, że wyniki zerowe są publikowane rzadziej od pozytywnych, na przykład w przeglądzie badań medycznych z 1987 roku trzykrotnie rzadziej. Studiowanie literatury przedmiotu daje więc zniekształcony obraz proporcji badań, w których dane twierdzenie zostało potwierdzone i sfalsyfikowane. Autorzy mogą więc pomijać raportowanie „nieudanych” badań i eksperymentów. Problem ten pogłębia dodatkowo dziennikarstwo popularnonaukowe, które dokonuje kolejnej, wybiórczej selekcji wyników badań, skupiając się w informacji publicznej na sensacyjnych rezultatach, i pomijając wyniki zerowe – jak demonstruje analiza z 2017 roku.
  • chemii: 90%,
  • biologii: 80%,
  • fizyce i inżynierii: 70%,
  • medycynie: 70%,
  • naukach o Ziemi i środowisku: 60%.
  • W metaanalizie ankiet z 2009 r., ok. 14% badaczy przyznało, że osobiście dopuściło się dowolnych drobnych nadużyć metodologicznych w karierze, a 72% wiedziało, że dopuścił się ich inny znajomy badacz. Do dosłownego fabrykowania danych i wyników przyznało się 2% respondentów.

    Metodologia nauk – nauka zajmująca się metodami stosowanymi w naukach przy formułowaniu twierdzeń i teorii naukowych. Metodologia nauk analizuje nie tylko procedury badawcze, lecz także jej wytwory: pojęcia, hipotezy, twierdzenia.Prerejstracja badania, prerejestracja planu badawczego, wstępna rejestracja projektu badania – w metodologii i wnioskowaniu statystycznym, zarejestrowanie planu zbierania i analizy danych przed realizacją konfirmacyjnego badania naukowego, w celu zagwarantowania jego zgodności z założeniami metodologicznymi.

    Pod wpływem tych dyskusji, zespoły naukowców z różnych dziedzin psychologii, koordynowane w ramach Open Science Collaboration, przeprowadziły i opublikowały w 2015 r. wyniki replikacji 100 badań psychologicznych opublikowanych w 2008 r. w prestiżowych czasopismach naukowych. Udało się im powtórzyć oryginalne wnioski w 36% przypadków, uzyskując z reguły mniejsze oszacowania wielkości efektu. Grupa ta rekomendowała szereg środków zaradczych w obliczu debatowanego kryzysu, między innymi prerejestrację planów badań, udostępnianie pełnych danych o narzędziach, procedurach i wynikach, dbałość o wystarczającą moc statystyczną, i dalsze, częstsze wykonywanie i publikowanie replikacji. Inni autorzy zwrócili uwagę, że replikacje były niedoceniane i publikowane bardzo rzadko (w jednym z przeglądów w psychologii, stanowiły 1% publikacji), w związku z czym proponuje się również systemy premiowania za wykonywanie takich badań.

    Wielkość efektu – ilościowa miara siły zjawiska (np. różnica między grupą kontrolną a grupą eksperymentalną) obliczana na podstawie danych.PMCID (ang. PubMed Central Identifier) – unikatowy identyfikator przypisany do każdego cytowanego artykułu naukowego bazy PubMed Central.

    Statystycy, którzy wspólnie z Ronaldem Fisherem stworzyli fundamenty podejścia częstościowego weryfikacji hipotez statystycznych, Neyman i Pearson, zaznaczyli już w 1928 r.: „metody statystyczne powinny być używane z rozwagą i zrozumieniem, a nie jako narzędzia które same w sobie udzielają ostatecznych odpowiedzi”.

    PLOS ONE (do 2012 „PLoS ONE”) – recenzowane internetowe czasopismo naukowe wydawane przez Public Library of Science na zasadach otwartego dostępu. Publikowane w nim prace dotyczą niemal wszystkich dziedzin nauki. Wszystkie treści umieszczone w „PLOS ONE” publikowane są na wolnej licencji Creative Commons w wersji 2.5 z uznaniem autorstwa (CC-BY-2.5). Teksty indeksowane są m.in. w Google Scholar, Scopus, PubMed, PubMed Central i MEDLINE.Poziom istotności – jest to maksymalne dopuszczalne prawdopodobieństwo popełnienia błędu I rodzaju (zazwyczaj oznaczane symbolem α). Określa tym samym maksymalne ryzyko błędu, jakie badacz jest skłonny zaakceptować. Wybór wartości α zależy od badacza, natury problemu i od tego, jak dokładnie chce on weryfikować swoje hipotezy, najczęściej przyjmuje się α = 0,05; rzadziej 0,1, 0,03, 0,01 lub 0,001. Wartość założonego poziomu istotności jest porównywana z wyliczoną z testu statystycznego p-wartością (czasem porównuje się od razu wartości statystyki testowej z wartością odpowiadającą danemu poziomowi istotności). Jeśli p-wartość jest większa, oznacza to, iż nie ma powodu do odrzucenia tzw. hipotezy zerowej H0, która zwykle stwierdza, że obserwowany efekt jest dziełem przypadku.

    Replikacja a moc statystyczna[ | edytuj kod]

    Nawet przy mocy 80%, szansa na trzy udane replikacje badań istniejącego zjawiska to jedynie 51%
    Nawet przy mocy 80%, szansa na trzy udane replikacje badań istniejącego zjawiska to jedynie 51%

    Efektywności replikacji i procesu naukowego może przeciwdziałać zaniedbywanie mocy statystycznej badań (w szczególności, stosowanie zbyt małych prób badawczych). Nawet przy stosowaniu mocy na rekomendowanym poziomie 80%, prawdopodobieństwo że na trzy próby powtórzenia badania, każde się powiedzie, wynosi zaledwie 51%. W praktyce częściej spotykane są jednak niższe wartości mocy testów. W związku z tym, naturalne jest że nawet w przypadku badania rzeczywiście istniejących zjawisk, w literaturze występować będą nieudane replikacje. Według statystyków, ocena wartości dowodowej zbioru badań nie powinna w związku z tym polegać na prostym „liczeniu głosów” badań za i przeciwko hipotezie – do wyciągania ogólnych wniosków z wielu badań służą techniki metaanalityczne.

    Metaanaliza – pojęcie z zakresu analizy danych, określające wtórne odkrywanie wiedzy metodą uogólniania informacji zawartych w publikacjach czy źródłach pierwotnych.Nature – jedno z najstarszych i najbardziej prestiżowych czasopism naukowych. Ukazuje się jako ilustrowany tygodnik. Zostało założone przez Normana Lockyera. Pierwszy numer ukazał się 4 listopada 1869 roku – poruszone w nim tematy obejmowały m.in. zapylanie kwiatów kwitnących w zimie, spotkanie niemieckich przyrodników i lekarzy w Innsbrucku, stan podróżnika Davida Livingstone’a czy otwarcie Kanału Sueskiego. Aktualnie wydawcą „Nature” jest firma Nature Publishing Group, należąca do brytyjskiego wydawnictwa Macmillan Publishers. Oprócz „Nature” wydaje ona także miesięczniki naukowe, prowadzi serwis internetowy [email protected] oraz serwis rekrutacyjny Nature Jobs.

    Przypisy[ | edytuj kod]

    1. Karl Popper, Logika odkrycia naukowego, Wydawnictwo Naukowe PWN, 1972, rozdział 4, §22, s. 74, ISBN 83-01-13870-X, OCLC 749339838.1 stycznia
    2. Ronald Aylmer Fisher, The design of experiments., Hafner Press, 1974, s. 14, ISBN 978-0-02-844690-5, OCLC 471778573.1 stycznia
    3. Mark J. Brandt i inni, The Replication Recipe: What makes for a convincing replication?, „Journal of Experimental Social Psychology”, 50, 2014, s. 217–224, DOI10.1016/j.jesp.2013.10.005 [dostęp 2017-01-09].1 stycznia
    4. Douglas G. Bonett, Replication-Extension Studies, „Current Directions in Psychological Science”, 6, 2012, s. 409–412, DOI10.1177/0963721412459512 [dostęp 2017-01-09] (ang.).
    5. Daniël Lakens, Joe Hilgard, Janneke Staaks, On the reproducibility of meta-analyses: six practical recommendations, „BMC Psychology”, 4, 2016, s. 24, DOI10.1186/s40359-016-0126-3, ISSN 2050-7283, PMID27241618, PMCIDPMC4886411 [dostęp 2017-01-08].1 stycznia
    6. Andrew Gelman, Working through some issues, „Significance”, 12 (3), 2015, s. 33–35, DOI10.1111/j.1740-9713.2015.00828.x [dostęp 2019-06-26] (ang.).
    7. Kay Dickersin i inni, Publication bias and clinical trials, „Controlled Clinical Trials”, 4, 1987, s. 343–353, DOI10.1016/0197-2456(87)90155-3 [dostęp 2017-01-08].
    8. Mario Biagioli, Watch out for cheats in citation game, „Nature”, 7611, 2016, s. 201–201, DOI10.1038/535201a [dostęp 2017-01-08].c?
    9. Joseph P. Simmons, Leif D. Nelson, Uri Simonsohn, False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant, „Psychological Science”, 11, 2011, s. 1359–1366, DOI10.1177/0956797611417632 [dostęp 2017-01-08] (ang.).
    10. Monya Baker, 1,500 scientists lift the lid on reproducibility, „Nature”, 7604, 2016, s. 452–454, DOI10.1038/533452a [dostęp 2017-01-08].c?
    11. Daniele Fanelli, How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data, „PLOS ONE”, 5, 2009, e5738, DOI10.1371/journal.pone.0005738, ISSN 1932-6203, PMID19478950, PMCIDPMC2685008 [dostęp 2017-01-08].c?
    12. Open Science Collaboration, Estimating the reproducibility of psychological science, „Science”, 6251, 2015, aac4716, DOI10.1126/science.aac4716, ISSN 0036-8075, PMID26315443 [dostęp 2017-01-08] (ang.).c?
    13. Open Science Collaboration, Maximizing the Reproducibility of Your Research, [w:] Scott O. Lilienfeld, Irwin D. Waldman, Psychological Science Under Scrutiny: Recent Challenges and Proposed Solutions, New York: Wiley, 2017, ISBN 978-1-118-66107-9 [dostęp 2017-01-08].
    14. Brian A. Nosek i inni, Promoting an open research culture, „Science”, 6242, 2015, s. 1422–1425, DOI10.1126/science.aab2374, ISSN 0036-8075, PMID26113702, PMCIDPMC4550299 [dostęp 2017-01-08] (ang.).c?
    15. M.C. Makel, J.A. Plucker, B. Hegarty, Replications in Psychology Research: How Often Do They Really Occur?, „Perspectives on Psychological Science”, 6, 2012, s. 537–542, DOI10.1177/1745691612460688 [dostęp 2017-01-09] (ang.).
    16. Sander L. Koole, Daniel Lakens, Rewarding Replications: A Sure and Simple Way to Improve Psychological Science, „Perspectives on Psychological Science”, 6, 2012, s. 608–614, DOI10.1177/1745691612462586 [dostęp 2017-01-08] (ang.).
    17. Jerzy Neyman, Egon S. Pearson, On the Use and Interpretation of Certain Test Criteria for Purposes of Statistical Inference: Part I, „Biometrika”, 1/2, 1928, s. 175–240, DOI10.2307/2331945, JSTOR2331945 [dostęp 2017-01-08].1 stycznia
    18. Katherine S. Button i inni, Power failure: why small sample size undermines the reliability of neuroscience, „Nature Reviews Neuroscience”, 5, 2013, s. 365–376, DOI10.1038/nrn3475, ISSN 1471-003X [dostęp 2017-01-08] (ang.).
    19. Michael Borenstein i inni, Vote Counting – A New Name for an Old Problem, „Introduction to Meta-Analysis”, John Wiley & Sons, Ltd, 2009, s. 251–255, DOI10.1002/9780470743386.ch28, ISBN 978-0-470-74338-6 [dostęp 2017-01-08] (ang.).???, 1 stycznia
    DOI (ang. digital object identifier – cyfrowy identyfikator dokumentu elektronicznego) – identyfikator dokumentu elektronicznego, który w odróżnieniu od identyfikatorów URL nie zależy od fizycznej lokalizacji dokumentu, lecz jest do niego na stałe przypisany.Weryfikacja hipotez statystycznych – sprawdzanie sądów o populacji przez badanie jej wycinka (próby statystycznej). Wyróżnia się kilka podejść do problemu weryfikacji hipotez, między innymi:



    w oparciu o Wikipedię (licencja GFDL, CC-BY-SA 3.0, autorzy, historia, edycja)

    Warto wiedzieć że... beta

    Metoda naukowa – sposoby intersubiektywnego poznawania i komunikowania wiedzy, oparte o prawa logiki i prawdopodobieństwa, posługujące się dedukcją i systematyczną indukcją w procesie formułowania, uzasadniania, testowania i korygowania teorii i hipotez.
    International Standard Serial Number, ISSN czyli Międzynarodowy Znormalizowany Numer Wydawnictwa Ciągłego – ośmiocyfrowy niepowtarzalny identyfikator wydawnictw ciągłych tradycyjnych oraz elektronicznych. Jest on oparty na podobnej koncepcji jak identyfikator ISBN dla książek, ISAN dla materiałów audio-wideo. Niektóre publikacje wydawane w seriach mają przyporządkowany zarówno numer ISSN, jak i ISBN.

    Reklama

    Czas generowania strony: 0.053 sek.