• Artykuły
  • Forum
  • Ciekawostki
  • Encyklopedia

    • P-hacking

    Przeczytaj także...
    JSTOR (/dʒeɪ-stɔːr/, skrót od ang. Journal Storage) – biblioteka cyfrowa utworzona w 1995 roku. Początkowo zawierała cyfrowe kopie czasopism naukowych o wyczerpanym nakładzie. Następnie zaczęła zbierać także książki, materiały źródłowe oraz aktualne numery czasopism naukowych. Pozwala na wyszukiwanie w pełnej treści niemal 2000 czasopism naukowych. Ekologia behawioralna jest to nauka powstała w drugiej połowie lat siedemdziesiątych XX wieku. Obejmuje zagadnienia będące na pograniczu ekologii oraz etologii. Ekologia behawioralna zajmuje się badaniem zachowań zwierząt w warunkach zmieniającego się środowiska oraz bada ich zdolności przystosowawcze, które umożliwiają im przetrwanie oraz rozród. Zajmuje się również poznawaniem relacji zwierząt i ich fizjologicznymi możliwościami, które wykształciły się na drodze ewolucji. Jedną z gałęzi ekologii behawioralnej jest ekologia behawioralna człowieka, będąca swoistym pograniczem nauk biologicznych i społecznych.
    Replikacja to pojęcie z zakresu metodologii nauk oraz statystyki opisujące powtarzanie badań w celu zweryfikowania ich wyników jako część ustawicznego procesu autokorekcyjnego w metodzie naukowej. Słowami filozofa nauki Karla Poppera „niepowtarzalne, jednostkowe wydarzenia nie mają dla nauki żadnego znaczenia”. Statystyk Ronald Fisher dodaje: „możemy uznać, że zjawisko jest udowodnione eksperymentalnie wówczas, gdy wiemy, jak przeprowadzić eksperyment, który rzadko zawiedzie w wykazaniu istotnych statystycznie rezultatów.”

    P-hacking, p-hacking, data dredging (z ang., nadużywanie danych), QRP (ang. questionable research practices – wątpliwe praktyki badawcze) – błędy metodologiczne, jakich dopuszczają się badacze łamiący założenia przyjętego podejścia wnioskowania statystycznego, szczególnie w obszarze weryfikacji hipotez statystycznych, kierując się nadmierną motywacją uzyskania wyniku istotnego statystycznie, ze szkodą dla faktycznej wartości naukowej badań.

    PMID (ang. PubMed Identifier, PubMed Unique Identifier) – unikatowy identyfikator przypisany do każdego artykułu naukowego bazy PubMed.PLOS Biology (do 2012 r. PLoS Biology) – recenzowane czasopismo naukowe, publikujące na zasadach wolnej licencji prace naukowe z dziedziny biologii. Profil czasopisma obejmuje szeroko pojętą biologię, od poziomu biologii molekularnej po ekologię, z uwzględnieniem tematyki na pograniczu biologii, chemii, medycyny i matematyki. Publikowane artykuły indeksowane są m.in. w Google Scholar, Scopus, PubMed, MEDLINE, CAS, Web of Science. Główna siedziba redakcji czasopisma mieści się w Stanach Zjednoczonych, a czasopismo publikowane jest w języku angielskim.

    P-hacking polega na łamaniu założeń używanych modeli statystycznych, takich jak stosowanie niezależnych prób losowych, oraz na popełnianiu błędów logicznych.

    Przykłady błędów typu P-hacking to:

    Metody przeciwdziałania takiemu zjawisku obejmują między innymi prerejestrację planów badawczych, dającą notarialną gwarancję, że zaplanowana struktura analiz była przestrzegana, oraz częstsze wykonywanie replikacji badań. Wicherts i in. zaproponowali listę kontrolną wyliczającą 34 błędy badawcze, których należy unikać.

    Wnioskowanie statystyczne to dział statystyki zajmujący się problemami uogólniania wyników badania próby losowej na całą populację oraz szacowania błędów wynikających z takiego uogólnienia (patrz badanie statystyczne).Psychologia społeczna – dziedzina nauki z pogranicza psychologii i socjologii badająca w jaki sposób obecność innych ludzi i ich działania wpływają na psychikę jednostki. Innymi słowy jest to nauka badająca procesy psychiczne i zachowanie się ludzi znajdujących się w sytuacjach społecznych – takich, w których występują inni ludzie. Jest to stosunkowo młoda gałąź psychologii, która wyodrębniła się dopiero pod koniec lat trzydziestych XX wieku wraz z rozwojem metod eksperymentalnych Kurta Lewina i jego uczniów.

    Narzędzia pomagające wykryć P-hacking to takie metody metaanalityczne jak m.in. wykresy lejkowe czy P-curve. Wykryto dzięki nim pewną ilość nadużyć w badaniach, np. w obszarze psychologii społecznej. Przeglądy publikacji wskazują że P-hacking jest często spotykany, jednak możliwe że nie ma poważnego wpływu np. na metaanalizy. Przykładowo, w jednym z badań ankietowych do niezaplanowanego podglądania danych i przerywaniu badań przyznało się 55% z ok. 2000 naukowców. Przeglądy zademonstrowały występowanie problemów tego typu między innymi w biznesowych badaniach A/B w informatyce, w ekologii behawioralnej, i w quasi-eksperymentach ekonomii.

    Prerejstracja badania, prerejestracja planu badawczego, wstępna rejestracja projektu badania – w metodologii i wnioskowaniu statystycznym, zarejestrowanie planu zbierania i analizy danych przed realizacją konfirmacyjnego badania naukowego, w celu zagwarantowania jego zgodności z założeniami metodologicznymi. Quasi-eksperyment – metody analizy danych obserwacyjnych na sposoby pozwalające odnaleźć w nich strukturę odpowiadającą eksperymentowi kontrolowanemu, dzięki czemu uzyskane statystyki opisowe i korelacyjne mogą uprawniać do wnioskowania przyczynowego, nawet pomimo braku klasycznej randomizacji i manipulacji eksperymentalnej. W przypadku problemów badawczych, przy których wykonanie rzeczywistego eksperymentu jest nieetyczne lub niepraktyczne, metody te stanowią pragmatyczną alternatywę umożliwiającą systematyczną pracę naukową.

    Przypisy[ | edytuj kod]

    1. Joseph Simmons, Leif D. Nelson, Uri Simonsohn, Life After P-Hacking, „NA - Advances in Consumer Research Volume 41”, 2013 [dostęp 2017-01-15].1 stycznia
    2. S. Stanley Young, Alan Karr, Deming, data and observational studies, „Significance”, 8 (3), 2011, s. 116–120, DOI: 10.1111/j.1740-9713.2011.00506.x, ISSN 1740-9713 [dostęp 2017-01-15] (ang.).
    3. George Davey Smith, Shah Ebrahim, Data dredging, bias, or confounding, „British Medical Journal”, 325 (7378), 2002, s. 1437–1438, DOI: 10.1136/bmj.325.7378.1437, ISSN 0959-8138, PMID: 12493654 [dostęp 2017-01-15] (ang.).
    4. ↑ Wolfgang Forstmeier, Eric-Jan Wagenmakers, Timothy H. Parker, Detecting and avoiding likely false-positive findings – a practical guide, „Biological Reviews”, 92 (4), 2017, s. 1941–1968, DOI: 10.1111/brv.12315, ISSN 1469-185X [dostęp 2019-03-31] (ang.).
    5. Norbert L. Kerr, HARKing: Hypothesizing After the Results are Known, „Personality and Social Psychology Review”, 2 (3), 2016, s. 196–217, DOI: 10.1207/s15327957pspr0203_4 [dostęp 2017-01-31] (ang.).
    6. Regina Nuzzo, How scientists fool themselves – and how they can stop, „Nature”, 526 (7572), 2015, s. 182–185, DOI: 10.1038/526182a [dostęp 2017-01-31] (ang.).
    7. Andrew Gelman, Eric Loken, The Statistical Crisis in Science, „American Scientist”, 102 (6), DOI: 10.1511/2014.111.460 [dostęp 2017-01-31] (ang.).c?
    8. Olive Jean Dunn, Multiple Comparisons among Means, „Journal of the American Statistical Association”, 56 (293), 1961, s. 52–64, DOI: 10.1080/01621459.1961.10482090, ISSN 0162-1459 [dostęp 2017-01-31].
    9. Daniël Lakens, Ellen R.K. Evers, Sailing From the Seas of Chaos Into the Corridor of Stability, „Perspectives on Psychological Science”, 9 (3), 2014, s. 278–292, DOI: 10.1177/1745691614528520 [dostęp 2017-01-31] (ang.).
    10. P. Armitage, C.K. McPherson, B.C. Rowe, Repeated Significance Tests on Accumulating Data, „Journal of the Royal Statistical Society. Series A (General)”, 132 (2), 1969, s. 235–244, DOI: 10.2307/2343787, JSTOR: 2343787 [dostęp 2017-01-31].1 stycznia
    11. Daniël Lakens, Performing high-powered studies efficiently with sequential analyses, „European Journal of Social Psychology”, 44 (7), 2014, s. 701–710, DOI: 10.1002/ejsp.2023, ISSN 1099-0992 [dostęp 2017-01-31] (ang.).
    12. Joseph P. Simmons, Leif D. Nelson, Uri Simonsohn, False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant, Rochester, NY: Social Science Research Network, 23 maja 2011 [dostęp 2017-01-15].
    13. Jelte M. Wicherts i inni, Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking, „Frontiers in Psychology”, 7, 2016, DOI: 10.3389/fpsyg.2016.01832, ISSN 1664-1078 [dostęp 2019-03-31] (ang.).
    14. Matthias Egger i inni, Bias in meta-analysis detected by a simple, graphical test, „British Medical Journal”, 315 (7109), 1997, s. 629–634, DOI: 10.1136/bmj.315.7109.629, ISSN 0959-8138, PMID: 9310563 [dostęp 2017-01-15] (ang.).
    15. Jonathan A.C Sterne, Matthias Egger, Funnel plots for detecting bias in meta-analysis, „Journal of Clinical Epidemiology”, 54 (10), s. 1046–1055, DOI: 10.1016/s0895-4356(01)00377-8.
    16. Uri Simonsohn, Joseph P. Simmons, Leif D. Nelson, Better P-Curves: Making P-Curve Analysis More Robust to Errors, Fraud, and Ambitious P-Hacking, A Reply to Ulrich and Miller, Rochester, NY: Social Science Research Network, 10 lipca 2015 [dostęp 2017-01-15].
    17. Uri Simonsohn, Just Post It: The Lesson from Two Cases of Fabricated Data Detected by Statistics Alone, Rochester, NY: Social Science Research Network, 29 stycznia 2013 [dostęp 2017-01-15].
    18. Joseph P. Simmons, Uri Simonsohn, Power Posing: P-Curving the Evidence, Rochester, NY: Social Science Research Network, 26 września 2016 [dostęp 2017-01-15].
    19. Megan L. Head i inni, The Extent and Consequences of P-Hacking in Science, „PLoS Biology”, 13 (3), 2015, DOI: 10.1371/journal.pbio.1002106, ISSN 1544-9173, PMID: 25768323, PMCID: PMC4359000 [dostęp 2017-01-15].c?
    20. Leslie K. John, George Loewenstein, Drazen Prelec, Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling, „Psychological Science”, 23 (5), 2012, s. 524–532, DOI: 10.1177/0956797611430953 [dostęp 2017-01-31] (ang.).
    21. Christophe van den Bulte i inni, p-Hacking and False Discovery in A/B Testing, Rochester, NY , 11 grudnia 2018 [dostęp 2019-03-31] (ang.).
    22. Michael D. Jennions i inni, Evidence that nonsignificant results are sometimes preferred: Reverse P-hacking or selective reporting?, „PLOS Biology”, 17 (1), 2019, e3000127, DOI: 10.1371/journal.pbio.3000127, ISSN 1545-7885, PMID: 30682013, PMCID: PMC6364929 [dostęp 2019-03-31] (ang.).c?
    23. Anthony G. Heyes, Nikolai Cook, Abel Brodeur, Methods Matter: P-Hacking and Causal Inference in Economics, „IZA Discussion Paper”, Rochester, NY , 17 września 2018 [dostęp 2019-03-31] (ang.).
    British Medical Journal – brytyjskie czasopismo medyczne, wydawane od 1840 roku. Wydawane jest przez BMJ Group. Redaktorem BMJ od lutego 2005 roku jest Fiona Godlee.PMCID (ang. PubMed Central Identifier) – unikatowy identyfikator przypisany do każdego cytowanego artykułu naukowego bazy PubMed Central.




    Warto wiedzieć że... beta

    Jelte Michiel Wicherts (ur. 13 września 1976 w Amersfoort) – holenderski psycholog, profesor Uniwersytetu w Tilburgu. Zajmuje się metodologią i statystyką, oraz psychometrią inteligencji. Współprowadzi uniwersytecki ośrodek Meta-Research Center, promujący otwartą naukę i poświęcony pracy nad metodami wykrywania błędów i oszustw naukowych.
    Poziom istotności – jest to maksymalne dopuszczalne prawdopodobieństwo popełnienia błędu I rodzaju (zazwyczaj oznaczane symbolem α). Określa tym samym maksymalne ryzyko błędu, jakie badacz jest skłonny zaakceptować. Wybór wartości α zależy od badacza, natury problemu i od tego, jak dokładnie chce on weryfikować swoje hipotezy, najczęściej przyjmuje się α = 0,05; rzadziej 0,1, 0,03, 0,01 lub 0,001. Wartość założonego poziomu istotności jest porównywana z wyliczoną z testu statystycznego p-wartością (czasem porównuje się od razu wartości statystyki testowej z wartością odpowiadającą danemu poziomowi istotności). Jeśli p-wartość jest większa, oznacza to, iż nie ma powodu do odrzucenia tzw. hipotezy zerowej H0, która zwykle stwierdza, że obserwowany efekt jest dziełem przypadku.
    American Scientist (nie mylić z Scientific American) – ilustrowany dwumiesięczny magazyn o nauce i technologii. Każdy numer zawiera cztery do pięciu artykułów pisanych przez naukowców i inżynierów, poruszających tematykę różnych dziedzin naukowych, m.in. archeologii, astronomii, zoologii czy akustyki. Edytorzy wzbogacają teksty fotografiami i przypisami, akcentując wyznaczone partie tekstu.
    Metaanaliza – pojęcie z zakresu analizy danych, określające wtórne odkrywanie wiedzy metodą uogólniania informacji zawartych w publikacjach czy źródłach pierwotnych.
    Nature – jedno z najstarszych i najbardziej prestiżowych czasopism naukowych. Ukazuje się jako ilustrowany tygodnik. Zostało założone przez Normana Lockyera. Pierwszy numer ukazał się 4 listopada 1869 roku – poruszone w nim tematy obejmowały m.in. zapylanie kwiatów kwitnących w zimie, spotkanie niemieckich przyrodników i lekarzy w Innsbrucku, stan podróżnika Davida Livingstone’a czy otwarcie Kanału Sueskiego. Aktualnie wydawcą „Nature” jest firma Nature Publishing Group, należąca do brytyjskiego wydawnictwa Macmillan Publishers. Oprócz „Nature” wydaje ona także miesięczniki naukowe, prowadzi serwis internetowy [email protected] oraz serwis rekrutacyjny Nature Jobs.
    DOI (ang. digital object identifier – cyfrowy identyfikator dokumentu elektronicznego) – identyfikator dokumentu elektronicznego, który w odróżnieniu od identyfikatorów URL nie zależy od fizycznej lokalizacji dokumentu, lecz jest do niego na stałe przypisany.
    Weryfikacja hipotez statystycznych – sprawdzanie sądów o populacji przez badanie jej wycinka (próby statystycznej). Wyróżnia się kilka podejść do problemu weryfikacji hipotez, między innymi:

    Reklama

    Czas generowania strony: 0.903 sek.