Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty

↓ Direkt till sidans innehåll
↓ Direkt till sidans sekundära innehåll (sidomenyn)

Sökning: WFRF:(Tobias Jonathan) > Observing many rese...

Breznau, NateUniv Bremen, Germany,Research Center on Inequality and Social Policy (SOCIUM), University of Bremen, Bremen, Germany (författare)

Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty

Artikel/kapitelEngelska2022

Förlag, utgivningsår, omfång ...

2022-10-28
National Academy of Sciences,2022
electronicrdacarrier

Nummerbeteckningar

LIBRIS-ID:oai:DiVA.org:liu-190642
https://urn.kb.se/resolve?urn=urn:nbn:se:liu:diva-190642URI
https://doi.org/10.1073/pnas.2203150119DOI
https://urn.kb.se/resolve?urn=urn:nbn:se:umu:diva-200696URI

Kompletterande språkuppgifter

Språk:engelska
Sammanfattning på:engelska

Ingår i deldatabas

SwePubSwePub

Klassifikation

Ämneskategori:ref swepub-contenttype
Ämneskategori:art swepub-publicationtype

Anmärkningar

Funding Agencies|Freies Wissen ("Open Knowledge") Fellowship of Wikimedia
Edited by Douglas Massey, Princeton University, Princeton, NJ
This study explores how researchers analytical choices affect the reliability of scientific findings. Most discussions of reliability problems in science focus on systematic biases. We broaden the lens to emphasize the idiosyncrasy of conscious and unconscious decisions that researchers make during data analysis. We coordinated 161 researchers in 73 research teams and observed their research decisions as they used the same data to independently test the same prominent social science hypothesis: that greater immigration reduces support for social policies among the public. In this typical case of social science research, research teams reported both widely diverging numerical findings and substantive conclusions despite identical start conditions. Researchers expertise, prior beliefs, and expectations barely predict the wide variation in research outcomes. More than 95% of the total variance in numerical results remains unexplained even after qualitative coding of all identifiable decisions in each teams workflow. This reveals a universe of uncertainty that remains hidden when considering a single study in isolation. The idiosyncratic nature of how researchers results and conclusions varied is a previously underappreciated explanation for why many scientific hypotheses remain contested. These results call for greater epistemic humility and clarity in reporting scientific findings.

Ämnesord och genrebeteckningar

SAMHÄLLSVETENSKAP Annan samhällsvetenskap Tvärvetenskapliga studier inom samhällsvetenskap hsv//swe
SOCIAL SCIENCES Other Social Sciences Social Sciences Interdisciplinary hsv//eng
SAMHÄLLSVETENSKAP Sociologi Sociologi hsv//swe
SOCIAL SCIENCES Sociology Sociology hsv//eng
metascience; many analysts; researcher degrees of freedom; analytical flexibility; immigration and policy preferences

Biuppslag (personer, institutioner, konferenser, titlar ...)

Rinke, Eike MarkUniv Leeds, England,School of Politics and International Studies, University of Leeds, Leeds, United Kingdom (författare)
Wuttke, AlexanderUniv Mannheim, Germany,Mannheim Centre for European Social Research, University of Mannheim, Mannheim, Germany; Department of Political Science, Ludwig Maximilian University, Munich, Germany (författare)
Nguyen, Hung H. V.Univ Bremen, Germany; Bremen Int Grad Sch Social Sci, Germany (författare)
Adem, MunaIndiana Univ, IN 47405 USA (författare)
Adriaans, JuleGerman Inst Econ Res DIW, Germany (författare)
Alvarez-Benjumea, AmaliaMax Planck Inst Res Collect Goods, Germany (författare)
Andersen, Henrik K.Tech Univ Chemnitz, Germany,Johannes Gutenberg Univ Mainz, Germany (författare)
Auer, DanielUniv Mannheim, Germany (författare)
Azevedo, FlavioUniv Cambridge, England (författare)
Bahnsen, OkeUniv Mannheim, Germany (författare)
Balzer, DaveJohannes Gutenberg Univ Mainz, Germany (författare)
Bauer, GerritLudwig Maximilians Univ Munchen, Germany (författare)
Bauer, Paul C.Univ Mannheim, Germany (författare)
Baumann, MarkusHeidelberg Univ, Germany; Goethe Univ Frankfurt, Germany (författare)
Baute, SharonUniv Konstanz, Germany (författare)
Benoit, VerenaLudwig Maximilians Univ Munchen, Germany; Univ Bamberg, Germany (författare)
Bernauer, JulianUniv Mannheim, Germany (författare)
Berning, CarlJohannes Gutenberg Univ Mainz, Germany (författare)
Berthold, AnnaUniv Bamberg, Germany (författare)
Bethke, Felix S.Peace Res Inst Frankfurt, Germany,UCL, England (författare)
Biegert, ThomasLondon Sch Econ & Polit Sci, England (författare)
Blinzler, KatharinaLeibniz Inst Social Sci GESIS, Germany (författare)
Blumenberg, Johannes N.Leibniz Inst Social Sci GESIS, Germany (författare)
Bobzien, LiciaHertie Sch, Germany (författare)
Bohman, Andrea,1983-Umeå universitet,Sociologiska institutionen,Umea Univ, Sweden(Swepub:umu)aeabon03 (författare)
Bol, ThijsUCL, England; Univ Amsterdam, Netherlands (författare)
Bostic, AmieUniv Texas Rio Grande Valley, TX 78520 USA (författare)
Brzozowska, ZuzannaAustrian Acad Sci, Austria; Gesundheit Osterreich GOG, Austria (författare)
Burgdorf, KatharinaUniv Mannheim, Germany (författare)
Burger, KasparUCL, England; Univ Zurich, Switzerland; Univ Zurich, Switzerland (författare)
Busch, Kathrin B. (författare)
Carlos-Castillo, JuanUniv Chile, Chile; Pontificia Univ Catolica Chile, Chile (författare)
Chan, NathanLoyola Marymount Univ, CA 90045 USA (författare)
Christmann, PabloLeibniz Inst Social Sci, Germany (författare)
Connelly, RoxanneUniv Edinburgh, Scotland (författare)
Czymara, Christian S.Goethe Univ Frankfurt, Germany (författare)
Damian, ElenaSciensano, Belgium (författare)
Ecker, AlejandroUniv Mannheim, Germany (författare)
Edelmann, AchimMedialab Sci Po, France (författare)
Eger, Maureen A.,Dr.1977-Umeå universitet,Sociologiska institutionen,Umea Univ, Sweden(Swepub:umu)maeg0005 (författare)
Ellerbrock, SimonUniv Mannheim, Germany; Univ Mannheim, Germany (författare)
Forke, Anna (författare)
Forster, AndreaFree Univ Berlin, Germany (författare)
Gaasendam, ChrisKatholieke Univ Leuven, Belgium (författare)
Gavras, KonstantinUniv Mannheim, Germany (författare)
Gayle, VernonUniv Edinburgh, Scotland (författare)
Gessler, TheresaEuropean Univ Viadrina, Germany (författare)
Gnambs, TimoLeibniz Inst Educ Trajectories, Germany (författare)
Godefroidt, AmelieKatholieke Univ Leuven, Belgium (författare)
Groemping, MaxGriffith Univ, Australia (författare)
Gross, MartinUniv Tubingen, Germany (författare)
Gruber, StefanMax Planck Inst Social Law & Social Policy, Germany (författare)
Gummer, TobiasLeibniz Inst Social Sci, Germany (författare)
Hadjar, AndreasUniv Luxembourg, Luxembourg; Hans Bockler Fdn, Germany; Univ Fribourg, Switzerland; Univ Luxembourg, Luxembourg (författare)
Heisig, Jan PaulUniv Groningen, Netherlands; Berlin Social Sci Ctr WZB, Germany (författare)
Hellmeier, SebastianBerlin Social Sci Ctr WZB, Germany (författare)
Heyne, StefanieUniv Mannheim, Germany (författare)
Hirsch, MagdalenaBerlin Social Sci Ctr WZB, Germany,German Inst Econ Res DIW, Germany; Humboldt Univ, Germany (författare)
Hjerm, Mikael,1969-Umeå universitet,Sociologiska institutionen,Umea Univ, Sweden(Swepub:umu)mihj0001 (författare)
Hochman, OshratLeibniz Inst Social Sci, Germany (författare)
Hovermann, AndreasHans Bockler Fdn, Germany; German Socio Econ Panel Survey, Germany (författare)
Hunger, SophiaBerlin Social Sci Ctr, Germany (författare)
Hunkler, ChristianHumboldt Univ, Germany (författare)
Huth, NoraUniv Wuppertal, Germany (författare)
Ignacz, Zsofia S.Goethe Univ Frankfurt, Germany (författare)
Jacobs, LauraUniv Libre Bruxelles, Belgium (författare)
Jacobsen, JannesZeppelin Univ, Germany; German Ctr Integrat & Migrat Res DeZIM, Germany,Univ Calif Los Angeles, CA 90095 USA,Univ Tubingen, Germany,German Inst Econ Res DIW, Germany (författare)
Jaeger, BastianTilburg Univ, Netherlands (författare)
Jungkunz, SebastianUniv Duisburg Essen, Germany; Univ Munster, Germany; Univ Groningen, Netherlands; Univ Bamberg, Germany (författare)
Jungmann, NilsLeibniz Inst Social Sci GESIS, Germany (författare)
Kauff, MathiasMed Sch Hamburg, Germany (författare)
Kleinert, ManuelJustus Liebig Univ Giessen, Germany (författare)
Klinger, JuliaUniv Cologne, Germany (författare)
Kolb, Jan-PhilippGesundheit Osterreich GOG, Austria; Fed Stat Off Germany, Germany (författare)
Kolczynska, MartaPolish Acad Sci, Poland (författare)
Kuk, JohnUniv Oklahoma, OK 73019 USA (författare)
Kunissen, KatharinaJohannes Gutenberg Univ Mainz, Germany (författare)
Sinatra, Dafina Kurti (författare)
Langenkamp, AlexanderGoethe Univ Frankfurt, Germany (författare)
Lersch, Philipp M.German Inst Econ Res DIW, Germany; Humboldt Univ, Germany,Univ Konstanz, Germany (författare)
Lobel, Lea-MariaGerman Inst Econ Res DIW, Germany (författare)
Lutscher, PhilippUniv Oslo, Norway (författare)
Mader, MatthiasUniv Konstanz, Germany,German Inst Econ Res DIW, Germany,Univ S Florida, FL 33620 USA (författare)
Madia, Joan E.Univ Oxford, England; Fdn Bruno Kessler, Italy (författare)
Malancu, NataliaUniv Geneva, Switzerland (författare)
Maldonado, LuisPontificia Univ Catolica Chile, Chile (författare)
Marahrens, HelgeIndiana Univ, IN 47405 USA (författare)
Martin, NicoleUniv Manchester, England (författare)
Martinez, PaulWestern Governors Univ, UT 84107 USA (författare)
Mayerl, JochenTech Univ Chemnitz, Germany (författare)
Mayorga, Oscar J.Univ Calif Los Angeles, CA 90095 USA (författare)
McManus, PatriciaIndiana Univ, IN 47405 USA (författare)
McWagner, KyleUniv Calif Irvine, CA 92617 USA (författare)
Meeusen, CecilKatholieke Univ Leuven, Belgium (författare)
Meierrieks, DanielBerlin Social Sci Ctr WZB, Germany (författare)
Mellon, JonathanUniv Manchester, England (författare)
Merhout, FriedolinUniv Copenhagen, Denmark; Univ Copenhagen, Denmark (författare)
Merk, SamuelUniv Educ Karlsruhe, Germany (författare)
Meyer, DanielUniv Cologne, Germany (författare)
Micheli, LeticiaJulius Maximilians Univ Wurzburg, Germany (författare)
Mijs, JonathanBoston Univ, MA 02215 USA (författare)
Moya, CristobalUniv Bielefeld, Germany (författare)
Neunhoeffer, MarcelUniv Mannheim, Germany (författare)
Nust, DanielUniv Munster, Germany (författare)
Nygård, OlavLinköpings universitet,Avdelningen för migration, etnicitet och samhälle (REMESO),Filosofiska fakulteten,REMESO - Institutet för forskning om Migration, Etnicitet och Samhälle(Swepub:liu)olany64 (författare)
Ochsenfeld, FabianMax Planck Gesell, Germany (författare)
Otte, GunnarJohannes Gutenberg Univ Mainz, Germany (författare)
Pechenkina, Anna O.Utah State Univ, UT 84321 USA (författare)
Prosser, ChristopherRoyal Holloway Univ London, England (författare)
Raes, LouisTilburg Univ, Netherlands (författare)
Ralston, KevinUniv Edinburgh, Scotland (författare)
Ramos, Miguel R.Univ Birmingham, England (författare)
Roets, ArneUniv Ghent, Belgium (författare)
Rogers, JonathanNew York Univ Abu Dhabi, U Arab Emirates (författare)
Ropers, GuidoUniv Mannheim, Germany (författare)
Samuel, RobinUniv Luxembourg, Luxembourg; Univ Luxembourg, Luxembourg (författare)
Sand, GregorMax Planck Inst Social Law & Social Policy, Germany (författare)
Schachter, ArielaLeibniz Inst Social Sci GESIS, Germany (författare)
Schaeffer, MerlinUniv Copenhagen, Denmark (författare)
Schieferdecker, DavidFree Univ Berlin, Germany (författare)
Schlueter, ElmarJustus Liebig Univ Giessen, Germany (författare)
Schmidt, RegineUniv Bamberg, Germany (författare)
Schmidt, Katja M.German Inst Econ Res DIW, Germany (författare)
Schmidt-Catran, AlexanderGoethe Univ Frankfurt, Germany (författare)
Schmiedeberg, ClaudiaLudwig Maximilians Univ Munchen, Germany (författare)
Schneider, J. UrgenUniv Tubingen, Germany (författare)
Schoonvelde, MartijnUniv Coll Dublin, Ireland; Univ Groningen, Netherlands (författare)
Schulte-Cloos, JuliaEuropean Univ Inst, Italy (författare)
Schumann, SandyUCL, England (författare)
Schunck, ReinhardUniv Wuppertal, Germany (författare)
Schupp, J. UrgenGerman Inst Econ Res DIW, Germany (författare)
Seuring, JulianLeibniz Inst Educ Trajectories, Germany (författare)
Silber, HenningLeibniz Inst Social Sci GESIS, Germany (författare)
Sleegers, WillemTilburg Univ, Netherlands (författare)
Sonntag, NicoJohannes Gutenberg Univ Mainz, Germany (författare)
Staudt, Alexander (författare)
Steiber, NadiaUniv Vienna, Austria (författare)
Steiner, NilsJohannes Gutenberg Univ Mainz, Germany (författare)
Sternberg, Sebastian (författare)
Stiers, DieterKatholieke Univ Leuven, Belgium (författare)
Stojmenovska, DraganaUniv Amsterdam, Netherlands (författare)
Storz, NoraUniv Utrecht, Netherlands (författare)
Striessnig, ErichUniv Vienna, Austria (författare)
Stroppe, Anne-KathrinLeibniz Inst Social Sci GESIS, Germany (författare)
Teltemann, JannaUniv Hildesheim, Germany (författare)
Tibajev, AndreyLinköpings universitet,Avdelningen för migration, etnicitet och samhälle (REMESO),Filosofiska fakulteten,REMESO - Institutet för forskning om Migration, Etnicitet och Samhälle(Swepub:liu)andti43 (författare)
Tung, BrianWashington Univ, MO 63130 USA (författare)
Vagni, GiacomoUCL, England (författare)
Van Assche, JasperUniv Ghent, Belgium; Univ Libre Bruxelles, Belgium (författare)
van der Linden, MetaUniv Utrecht, Netherlands (författare)
van der Noll, JolandaUniv Hagen, Germany (författare)
Van Hootegem, ArnoKatholieke Univ Leuven, Belgium (författare)
Vogtenhuber, StefanUniv Vienna, Austria (författare)
Voicu, BogdanRomanian Acad, Romania; Lucian Blaga Univ Sibiu, Romania (författare)
Wagemans, FiekeNetherlands Inst Social Res, Netherlands; Netherlands Inst Social Res, Netherlands (författare)
Wehl, NadjaUniv Konstanz, Germany (författare)
Werner, HannahKatholieke Univ Leuven, Belgium (författare)
Wiernik, Brenton M.Univ S Florida, FL 33620 USA (författare)
Winter, FabianMax Planck Inst Res Collect Goods, Germany (författare)
Wolf, ChristofUniv Mannheim, Germany; Univ Mannheim, Germany; Leibniz Inst Social Sci GESIS, Germany (författare)
Yamada, YukiKyushu Univ, Japan (författare)
Zhang, NanUniv Mannheim, Germany (författare)
Ziller, ConradUniv Duisburg Essen, Germany; Univ Duisburg Essen, Germany (författare)
Zins, StefanFed Employment Agcy, Germany (författare)
Zoltak, TomaszPolish Acad Sci, Poland,Department of Research on Social and Institutional Transformations, Institute of Political Studies of the Polish Academy of Sciences, Warsaw, Poland (författare)
Univ Bremen, GermanyResearch Center on Inequality and Social Policy (SOCIUM), University of Bremen, Bremen, Germany (creator_code:org_t)

Sammanhörande titlar

Ingår i:Proceedings of the National Academy of Sciences of the United States of America: National Academy of Sciences119:440027-84241091-6490

Internetlänk

Hitta via bibliotek

Proceedings of the National Academy of Sciences of the United States of America (Sök värdpublikationen i LIBRIS)

Till lärosätets databas

Hitta mer i SwePub

Av författaren/redakt...: Breznau, Nate; Rinke, Eike Mark; Wuttke, Alexande ...; Nguyen, Hung H. ...; Adem, Muna; Adriaans, Jule; visa fler...; Alvarez-Benjumea ...; Andersen, Henrik ...; Auer, Daniel; Azevedo, Flavio; Bahnsen, Oke; Balzer, Dave; Bauer, Gerrit; Bauer, Paul C.; Baumann, Markus; Baute, Sharon; Benoit, Verena; Bernauer, Julian; Berning, Carl; Berthold, Anna; Bethke, Felix S.; Biegert, Thomas; Blinzler, Kathar ...; Blumenberg, Joha ...; Bobzien, Licia; Bohman, Andrea, ...; Bol, Thijs; Bostic, Amie; Brzozowska, Zuza ...; Burgdorf, Kathar ...; Burger, Kaspar; Busch, Kathrin B ...; Carlos-Castillo, ...; Chan, Nathan; Christmann, Pabl ...; Connelly, Roxann ...; Czymara, Christi ...; Damian, Elena; Ecker, Alejandro; Edelmann, Achim; Eger, Maureen A. ...; Ellerbrock, Simo ...; Forke, Anna; Forster, Andrea; Gaasendam, Chris; Gavras, Konstant ...; Gayle, Vernon; Gessler, Theresa; Gnambs, Timo; Godefroidt, Amel ...; Groemping, Max; Gross, Martin; Gruber, Stefan; Gummer, Tobias; Hadjar, Andreas; Heisig, Jan Paul; Hellmeier, Sebas ...; Heyne, Stefanie; Hirsch, Magdalen ...; Hjerm, Mikael, 1 ...; Hochman, Oshrat; Hovermann, Andre ...; Hunger, Sophia; Hunkler, Christi ...; Huth, Nora; Ignacz, Zsofia S ...; Jacobs, Laura; Jacobsen, Jannes; Jaeger, Bastian; Jungkunz, Sebast ...; Jungmann, Nils; Kauff, Mathias; Kleinert, Manuel; Klinger, Julia; Kolb, Jan-Philip ...; Kolczynska, Mart ...; Kuk, John; Kunissen, Kathar ...; Sinatra, Dafina ...; Langenkamp, Alex ...; Lersch, Philipp ...; Lobel, Lea-Maria; Lutscher, Philip ...; Mader, Matthias; Madia, Joan E.; Malancu, Natalia; Maldonado, Luis; Marahrens, Helge; Martin, Nicole; Martinez, Paul; Mayerl, Jochen; Mayorga, Oscar J ...; McManus, Patrici ...; McWagner, Kyle; Meeusen, Cecil; Meierrieks, Dani ...; Mellon, Jonathan; Merhout, Friedol ...; Merk, Samuel; Meyer, Daniel; Micheli, Leticia; Mijs, Jonathan; Moya, Cristobal; Neunhoeffer, Mar ...; Nust, Daniel; Nygård, Olav; Ochsenfeld, Fabi ...; Otte, Gunnar; Pechenkina, Anna ...; Prosser, Christo ...; Raes, Louis; Ralston, Kevin; Ramos, Miguel R.; Roets, Arne; Rogers, Jonathan; Ropers, Guido; Samuel, Robin; Sand, Gregor; Schachter, Ariel ...; Schaeffer, Merli ...; Schieferdecker, ...; Schlueter, Elmar; Schmidt, Regine; Schmidt, Katja M ...; Schmidt-Catran, ...; Schmiedeberg, Cl ...; Schneider, J. Ur ...; Schoonvelde, Mar ...; Schulte-Cloos, J ...; Schumann, Sandy; Schunck, Reinhar ...; Schupp, J. Urgen; Seuring, Julian; Silber, Henning; Sleegers, Willem; Sonntag, Nico; Staudt, Alexande ...; Steiber, Nadia; Steiner, Nils; Sternberg, Sebas ...; Stiers, Dieter; Stojmenovska, Dr ...; Storz, Nora; Striessnig, Eric ...; Stroppe, Anne-Ka ...; Teltemann, Janna; Tibajev, Andrey; Tung, Brian; Vagni, Giacomo; Van Assche, Jasp ...; van der Linden, ...; van der Noll, Jo ...; Van Hootegem, Ar ...; Vogtenhuber, Ste ...; Voicu, Bogdan; Wagemans, Fieke; Wehl, Nadja; Werner, Hannah; Wiernik, Brenton ...; Winter, Fabian; Wolf, Christof; Yamada, Yuki; Zhang, Nan; Ziller, Conrad; Zins, Stefan; Zoltak, Tomasz; visa färre...

Om ämnet

SAMHÄLLSVETENSKAP: SAMHÄLLSVETENSKA ...; och Annan samhällsve ...; och Tvärvetenskaplig ...

SAMHÄLLSVETENSKAP: SAMHÄLLSVETENSKA ...; och Sociologi; och Sociologi

Artiklar i publikationen: Proceedings of t ...

Av lärosätet: Linköpings universitet; Umeå universitet

Sök utanför SwePub

Sök vidare i:: Google; Google Book Search; Google Scholar

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

LIBRIS.kb.se