SwePub
Tyck till om SwePub Sök här!
Sök i LIBRIS databas

  Utökad sökning

onr:"swepub:oai:DiVA.org:liu-190642"
 

Sökning: onr:"swepub:oai:DiVA.org:liu-190642" > Observing many rese...

Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty

Breznau, Nate (författare)
Univ Bremen, Germany,Research Center on Inequality and Social Policy (SOCIUM), University of Bremen, Bremen, Germany
Rinke, Eike Mark (författare)
Univ Leeds, England,School of Politics and International Studies, University of Leeds, Leeds, United Kingdom
Wuttke, Alexander (författare)
Univ Mannheim, Germany,Mannheim Centre for European Social Research, University of Mannheim, Mannheim, Germany; Department of Political Science, Ludwig Maximilian University, Munich, Germany
visa fler...
Nguyen, Hung H. V. (författare)
Univ Bremen, Germany; Bremen Int Grad Sch Social Sci, Germany
Adem, Muna (författare)
Indiana Univ, IN 47405 USA
Adriaans, Jule (författare)
German Inst Econ Res DIW, Germany
Alvarez-Benjumea, Amalia (författare)
Max Planck Inst Res Collect Goods, Germany
Andersen, Henrik K. (författare)
Tech Univ Chemnitz, Germany,Johannes Gutenberg Univ Mainz, Germany
Auer, Daniel (författare)
Univ Mannheim, Germany
Azevedo, Flavio (författare)
Univ Cambridge, England
Bahnsen, Oke (författare)
Univ Mannheim, Germany
Balzer, Dave (författare)
Johannes Gutenberg Univ Mainz, Germany
Bauer, Gerrit (författare)
Ludwig Maximilians Univ Munchen, Germany
Bauer, Paul C. (författare)
Univ Mannheim, Germany
Baumann, Markus (författare)
Heidelberg Univ, Germany; Goethe Univ Frankfurt, Germany
Baute, Sharon (författare)
Univ Konstanz, Germany
Benoit, Verena (författare)
Ludwig Maximilians Univ Munchen, Germany; Univ Bamberg, Germany
Bernauer, Julian (författare)
Univ Mannheim, Germany
Berning, Carl (författare)
Johannes Gutenberg Univ Mainz, Germany
Berthold, Anna (författare)
Univ Bamberg, Germany
Bethke, Felix S. (författare)
Peace Res Inst Frankfurt, Germany,UCL, England
Biegert, Thomas (författare)
London Sch Econ & Polit Sci, England
Blinzler, Katharina (författare)
Leibniz Inst Social Sci GESIS, Germany
Blumenberg, Johannes N. (författare)
Leibniz Inst Social Sci GESIS, Germany
Bobzien, Licia (författare)
Hertie Sch, Germany
Bohman, Andrea, 1983- (författare)
Umeå universitet,Sociologiska institutionen,Umea Univ, Sweden
Bol, Thijs (författare)
UCL, England; Univ Amsterdam, Netherlands
Bostic, Amie (författare)
Univ Texas Rio Grande Valley, TX 78520 USA
Brzozowska, Zuzanna (författare)
Austrian Acad Sci, Austria; Gesundheit Osterreich GOG, Austria
Burgdorf, Katharina (författare)
Univ Mannheim, Germany
Burger, Kaspar (författare)
UCL, England; Univ Zurich, Switzerland; Univ Zurich, Switzerland
Busch, Kathrin B. (författare)
Carlos-Castillo, Juan (författare)
Univ Chile, Chile; Pontificia Univ Catolica Chile, Chile
Chan, Nathan (författare)
Loyola Marymount Univ, CA 90045 USA
Christmann, Pablo (författare)
Leibniz Inst Social Sci, Germany
Connelly, Roxanne (författare)
Univ Edinburgh, Scotland
Czymara, Christian S. (författare)
Goethe Univ Frankfurt, Germany
Damian, Elena (författare)
Sciensano, Belgium
Ecker, Alejandro (författare)
Univ Mannheim, Germany
Edelmann, Achim (författare)
Medialab Sci Po, France
Eger, Maureen A., Dr. 1977- (författare)
Umeå universitet,Sociologiska institutionen,Umea Univ, Sweden
Ellerbrock, Simon (författare)
Univ Mannheim, Germany; Univ Mannheim, Germany
Forke, Anna (författare)
Forster, Andrea (författare)
Free Univ Berlin, Germany
Gaasendam, Chris (författare)
Katholieke Univ Leuven, Belgium
Gavras, Konstantin (författare)
Univ Mannheim, Germany
Gayle, Vernon (författare)
Univ Edinburgh, Scotland
Gessler, Theresa (författare)
European Univ Viadrina, Germany
Gnambs, Timo (författare)
Leibniz Inst Educ Trajectories, Germany
Godefroidt, Amelie (författare)
Katholieke Univ Leuven, Belgium
Groemping, Max (författare)
Griffith Univ, Australia
Gross, Martin (författare)
Univ Tubingen, Germany
Gruber, Stefan (författare)
Max Planck Inst Social Law & Social Policy, Germany
Gummer, Tobias (författare)
Leibniz Inst Social Sci, Germany
Hadjar, Andreas (författare)
Univ Luxembourg, Luxembourg; Hans Bockler Fdn, Germany; Univ Fribourg, Switzerland; Univ Luxembourg, Luxembourg
Heisig, Jan Paul (författare)
Univ Groningen, Netherlands; Berlin Social Sci Ctr WZB, Germany
Hellmeier, Sebastian (författare)
Berlin Social Sci Ctr WZB, Germany
Heyne, Stefanie (författare)
Univ Mannheim, Germany
Hirsch, Magdalena (författare)
Berlin Social Sci Ctr WZB, Germany,German Inst Econ Res DIW, Germany; Humboldt Univ, Germany
Hjerm, Mikael, 1969- (författare)
Umeå universitet,Sociologiska institutionen,Umea Univ, Sweden
Hochman, Oshrat (författare)
Leibniz Inst Social Sci, Germany
Hovermann, Andreas (författare)
Hans Bockler Fdn, Germany; German Socio Econ Panel Survey, Germany
Hunger, Sophia (författare)
Berlin Social Sci Ctr, Germany
Hunkler, Christian (författare)
Humboldt Univ, Germany
Huth, Nora (författare)
Univ Wuppertal, Germany
Ignacz, Zsofia S. (författare)
Goethe Univ Frankfurt, Germany
Jacobs, Laura (författare)
Univ Libre Bruxelles, Belgium
Jacobsen, Jannes (författare)
Zeppelin Univ, Germany; German Ctr Integrat & Migrat Res DeZIM, Germany,Univ Calif Los Angeles, CA 90095 USA,Univ Tubingen, Germany,German Inst Econ Res DIW, Germany
Jaeger, Bastian (författare)
Tilburg Univ, Netherlands
Jungkunz, Sebastian (författare)
Univ Duisburg Essen, Germany; Univ Munster, Germany; Univ Groningen, Netherlands; Univ Bamberg, Germany
Jungmann, Nils (författare)
Leibniz Inst Social Sci GESIS, Germany
Kauff, Mathias (författare)
Med Sch Hamburg, Germany
Kleinert, Manuel (författare)
Justus Liebig Univ Giessen, Germany
Klinger, Julia (författare)
Univ Cologne, Germany
Kolb, Jan-Philipp (författare)
Gesundheit Osterreich GOG, Austria; Fed Stat Off Germany, Germany
Kolczynska, Marta (författare)
Polish Acad Sci, Poland
Kuk, John (författare)
Univ Oklahoma, OK 73019 USA
Kunissen, Katharina (författare)
Johannes Gutenberg Univ Mainz, Germany
Sinatra, Dafina Kurti (författare)
Langenkamp, Alexander (författare)
Goethe Univ Frankfurt, Germany
Lersch, Philipp M. (författare)
German Inst Econ Res DIW, Germany; Humboldt Univ, Germany,Univ Konstanz, Germany
Lobel, Lea-Maria (författare)
German Inst Econ Res DIW, Germany
Lutscher, Philipp (författare)
Univ Oslo, Norway
Mader, Matthias (författare)
Univ Konstanz, Germany,German Inst Econ Res DIW, Germany,Univ S Florida, FL 33620 USA
Madia, Joan E. (författare)
Univ Oxford, England; Fdn Bruno Kessler, Italy
Malancu, Natalia (författare)
Univ Geneva, Switzerland
Maldonado, Luis (författare)
Pontificia Univ Catolica Chile, Chile
Marahrens, Helge (författare)
Indiana Univ, IN 47405 USA
Martin, Nicole (författare)
Univ Manchester, England
Martinez, Paul (författare)
Western Governors Univ, UT 84107 USA
Mayerl, Jochen (författare)
Tech Univ Chemnitz, Germany
Mayorga, Oscar J. (författare)
Univ Calif Los Angeles, CA 90095 USA
McManus, Patricia (författare)
Indiana Univ, IN 47405 USA
McWagner, Kyle (författare)
Univ Calif Irvine, CA 92617 USA
Meeusen, Cecil (författare)
Katholieke Univ Leuven, Belgium
Meierrieks, Daniel (författare)
Berlin Social Sci Ctr WZB, Germany
Mellon, Jonathan (författare)
Univ Manchester, England
Merhout, Friedolin (författare)
Univ Copenhagen, Denmark; Univ Copenhagen, Denmark
Merk, Samuel (författare)
Univ Educ Karlsruhe, Germany
Meyer, Daniel (författare)
Univ Cologne, Germany
Micheli, Leticia (författare)
Julius Maximilians Univ Wurzburg, Germany
Mijs, Jonathan (författare)
Boston Univ, MA 02215 USA
Moya, Cristobal (författare)
Univ Bielefeld, Germany
Neunhoeffer, Marcel (författare)
Univ Mannheim, Germany
Nust, Daniel (författare)
Univ Munster, Germany
Nygård, Olav (författare)
Linköpings universitet,Avdelningen för migration, etnicitet och samhälle (REMESO),Filosofiska fakulteten,REMESO - Institutet för forskning om Migration, Etnicitet och Samhälle
Ochsenfeld, Fabian (författare)
Max Planck Gesell, Germany
Otte, Gunnar (författare)
Johannes Gutenberg Univ Mainz, Germany
Pechenkina, Anna O. (författare)
Utah State Univ, UT 84321 USA
Prosser, Christopher (författare)
Royal Holloway Univ London, England
Raes, Louis (författare)
Tilburg Univ, Netherlands
Ralston, Kevin (författare)
Univ Edinburgh, Scotland
Ramos, Miguel R. (författare)
Univ Birmingham, England
Roets, Arne (författare)
Univ Ghent, Belgium
Rogers, Jonathan (författare)
New York Univ Abu Dhabi, U Arab Emirates
Ropers, Guido (författare)
Univ Mannheim, Germany
Samuel, Robin (författare)
Univ Luxembourg, Luxembourg; Univ Luxembourg, Luxembourg
Sand, Gregor (författare)
Max Planck Inst Social Law & Social Policy, Germany
Schachter, Ariela (författare)
Leibniz Inst Social Sci GESIS, Germany
Schaeffer, Merlin (författare)
Univ Copenhagen, Denmark
Schieferdecker, David (författare)
Free Univ Berlin, Germany
Schlueter, Elmar (författare)
Justus Liebig Univ Giessen, Germany
Schmidt, Regine (författare)
Univ Bamberg, Germany
Schmidt, Katja M. (författare)
German Inst Econ Res DIW, Germany
Schmidt-Catran, Alexander (författare)
Goethe Univ Frankfurt, Germany
Schmiedeberg, Claudia (författare)
Ludwig Maximilians Univ Munchen, Germany
Schneider, J. Urgen (författare)
Univ Tubingen, Germany
Schoonvelde, Martijn (författare)
Univ Coll Dublin, Ireland; Univ Groningen, Netherlands
Schulte-Cloos, Julia (författare)
European Univ Inst, Italy
Schumann, Sandy (författare)
UCL, England
Schunck, Reinhard (författare)
Univ Wuppertal, Germany
Schupp, J. Urgen (författare)
German Inst Econ Res DIW, Germany
Seuring, Julian (författare)
Leibniz Inst Educ Trajectories, Germany
Silber, Henning (författare)
Leibniz Inst Social Sci GESIS, Germany
Sleegers, Willem (författare)
Tilburg Univ, Netherlands
Sonntag, Nico (författare)
Johannes Gutenberg Univ Mainz, Germany
Staudt, Alexander (författare)
Steiber, Nadia (författare)
Univ Vienna, Austria
Steiner, Nils (författare)
Johannes Gutenberg Univ Mainz, Germany
Sternberg, Sebastian (författare)
Stiers, Dieter (författare)
Katholieke Univ Leuven, Belgium
Stojmenovska, Dragana (författare)
Univ Amsterdam, Netherlands
Storz, Nora (författare)
Univ Utrecht, Netherlands
Striessnig, Erich (författare)
Univ Vienna, Austria
Stroppe, Anne-Kathrin (författare)
Leibniz Inst Social Sci GESIS, Germany
Teltemann, Janna (författare)
Univ Hildesheim, Germany
Tibajev, Andrey (författare)
Linköpings universitet,Avdelningen för migration, etnicitet och samhälle (REMESO),Filosofiska fakulteten,REMESO - Institutet för forskning om Migration, Etnicitet och Samhälle
Tung, Brian (författare)
Washington Univ, MO 63130 USA
Vagni, Giacomo (författare)
UCL, England
Van Assche, Jasper (författare)
Univ Ghent, Belgium; Univ Libre Bruxelles, Belgium
van der Linden, Meta (författare)
Univ Utrecht, Netherlands
van der Noll, Jolanda (författare)
Univ Hagen, Germany
Van Hootegem, Arno (författare)
Katholieke Univ Leuven, Belgium
Vogtenhuber, Stefan (författare)
Univ Vienna, Austria
Voicu, Bogdan (författare)
Romanian Acad, Romania; Lucian Blaga Univ Sibiu, Romania
Wagemans, Fieke (författare)
Netherlands Inst Social Res, Netherlands; Netherlands Inst Social Res, Netherlands
Wehl, Nadja (författare)
Univ Konstanz, Germany
Werner, Hannah (författare)
Katholieke Univ Leuven, Belgium
Wiernik, Brenton M. (författare)
Univ S Florida, FL 33620 USA
Winter, Fabian (författare)
Max Planck Inst Res Collect Goods, Germany
Wolf, Christof (författare)
Univ Mannheim, Germany; Univ Mannheim, Germany; Leibniz Inst Social Sci GESIS, Germany
Yamada, Yuki (författare)
Kyushu Univ, Japan
Zhang, Nan (författare)
Univ Mannheim, Germany
Ziller, Conrad (författare)
Univ Duisburg Essen, Germany; Univ Duisburg Essen, Germany
Zins, Stefan (författare)
Fed Employment Agcy, Germany
Zoltak, Tomasz (författare)
Polish Acad Sci, Poland,Department of Research on Social and Institutional Transformations, Institute of Political Studies of the Polish Academy of Sciences, Warsaw, Poland
visa färre...
 (creator_code:org_t)
2022-10-28
2022
Engelska.
Ingår i: Proceedings of the National Academy of Sciences of the United States of America. - : National Academy of Sciences. - 0027-8424 .- 1091-6490. ; 119:44
  • Tidskriftsartikel (refereegranskat)
Abstract Ämnesord
Stäng  
  • This study explores how researchers analytical choices affect the reliability of scientific findings. Most discussions of reliability problems in science focus on systematic biases. We broaden the lens to emphasize the idiosyncrasy of conscious and unconscious decisions that researchers make during data analysis. We coordinated 161 researchers in 73 research teams and observed their research decisions as they used the same data to independently test the same prominent social science hypothesis: that greater immigration reduces support for social policies among the public. In this typical case of social science research, research teams reported both widely diverging numerical findings and substantive conclusions despite identical start conditions. Researchers expertise, prior beliefs, and expectations barely predict the wide variation in research outcomes. More than 95% of the total variance in numerical results remains unexplained even after qualitative coding of all identifiable decisions in each teams workflow. This reveals a universe of uncertainty that remains hidden when considering a single study in isolation. The idiosyncratic nature of how researchers results and conclusions varied is a previously underappreciated explanation for why many scientific hypotheses remain contested. These results call for greater epistemic humility and clarity in reporting scientific findings.

Ämnesord

SAMHÄLLSVETENSKAP  -- Annan samhällsvetenskap -- Tvärvetenskapliga studier inom samhällsvetenskap (hsv//swe)
SOCIAL SCIENCES  -- Other Social Sciences -- Social Sciences Interdisciplinary (hsv//eng)
SAMHÄLLSVETENSKAP  -- Sociologi -- Sociologi (hsv//swe)
SOCIAL SCIENCES  -- Sociology -- Sociology (hsv//eng)

Nyckelord

metascience; many analysts; researcher degrees of freedom; analytical flexibility; immigration and policy preferences

Publikations- och innehållstyp

ref (ämneskategori)
art (ämneskategori)

Hitta via bibliotek

Till lärosätets databas

Hitta mer i SwePub

Av författaren/redakt...
Breznau, Nate
Rinke, Eike Mark
Wuttke, Alexande ...
Nguyen, Hung H. ...
Adem, Muna
Adriaans, Jule
visa fler...
Alvarez-Benjumea ...
Andersen, Henrik ...
Auer, Daniel
Azevedo, Flavio
Bahnsen, Oke
Balzer, Dave
Bauer, Gerrit
Bauer, Paul C.
Baumann, Markus
Baute, Sharon
Benoit, Verena
Bernauer, Julian
Berning, Carl
Berthold, Anna
Bethke, Felix S.
Biegert, Thomas
Blinzler, Kathar ...
Blumenberg, Joha ...
Bobzien, Licia
Bohman, Andrea, ...
Bol, Thijs
Bostic, Amie
Brzozowska, Zuza ...
Burgdorf, Kathar ...
Burger, Kaspar
Busch, Kathrin B ...
Carlos-Castillo, ...
Chan, Nathan
Christmann, Pabl ...
Connelly, Roxann ...
Czymara, Christi ...
Damian, Elena
Ecker, Alejandro
Edelmann, Achim
Eger, Maureen A. ...
Ellerbrock, Simo ...
Forke, Anna
Forster, Andrea
Gaasendam, Chris
Gavras, Konstant ...
Gayle, Vernon
Gessler, Theresa
Gnambs, Timo
Godefroidt, Amel ...
Groemping, Max
Gross, Martin
Gruber, Stefan
Gummer, Tobias
Hadjar, Andreas
Heisig, Jan Paul
Hellmeier, Sebas ...
Heyne, Stefanie
Hirsch, Magdalen ...
Hjerm, Mikael, 1 ...
Hochman, Oshrat
Hovermann, Andre ...
Hunger, Sophia
Hunkler, Christi ...
Huth, Nora
Ignacz, Zsofia S ...
Jacobs, Laura
Jacobsen, Jannes
Jaeger, Bastian
Jungkunz, Sebast ...
Jungmann, Nils
Kauff, Mathias
Kleinert, Manuel
Klinger, Julia
Kolb, Jan-Philip ...
Kolczynska, Mart ...
Kuk, John
Kunissen, Kathar ...
Sinatra, Dafina ...
Langenkamp, Alex ...
Lersch, Philipp ...
Lobel, Lea-Maria
Lutscher, Philip ...
Mader, Matthias
Madia, Joan E.
Malancu, Natalia
Maldonado, Luis
Marahrens, Helge
Martin, Nicole
Martinez, Paul
Mayerl, Jochen
Mayorga, Oscar J ...
McManus, Patrici ...
McWagner, Kyle
Meeusen, Cecil
Meierrieks, Dani ...
Mellon, Jonathan
Merhout, Friedol ...
Merk, Samuel
Meyer, Daniel
Micheli, Leticia
Mijs, Jonathan
Moya, Cristobal
Neunhoeffer, Mar ...
Nust, Daniel
Nygård, Olav
Ochsenfeld, Fabi ...
Otte, Gunnar
Pechenkina, Anna ...
Prosser, Christo ...
Raes, Louis
Ralston, Kevin
Ramos, Miguel R.
Roets, Arne
Rogers, Jonathan
Ropers, Guido
Samuel, Robin
Sand, Gregor
Schachter, Ariel ...
Schaeffer, Merli ...
Schieferdecker, ...
Schlueter, Elmar
Schmidt, Regine
Schmidt, Katja M ...
Schmidt-Catran, ...
Schmiedeberg, Cl ...
Schneider, J. Ur ...
Schoonvelde, Mar ...
Schulte-Cloos, J ...
Schumann, Sandy
Schunck, Reinhar ...
Schupp, J. Urgen
Seuring, Julian
Silber, Henning
Sleegers, Willem
Sonntag, Nico
Staudt, Alexande ...
Steiber, Nadia
Steiner, Nils
Sternberg, Sebas ...
Stiers, Dieter
Stojmenovska, Dr ...
Storz, Nora
Striessnig, Eric ...
Stroppe, Anne-Ka ...
Teltemann, Janna
Tibajev, Andrey
Tung, Brian
Vagni, Giacomo
Van Assche, Jasp ...
van der Linden, ...
van der Noll, Jo ...
Van Hootegem, Ar ...
Vogtenhuber, Ste ...
Voicu, Bogdan
Wagemans, Fieke
Wehl, Nadja
Werner, Hannah
Wiernik, Brenton ...
Winter, Fabian
Wolf, Christof
Yamada, Yuki
Zhang, Nan
Ziller, Conrad
Zins, Stefan
Zoltak, Tomasz
visa färre...
Om ämnet
SAMHÄLLSVETENSKAP
SAMHÄLLSVETENSKA ...
och Annan samhällsve ...
och Tvärvetenskaplig ...
SAMHÄLLSVETENSKAP
SAMHÄLLSVETENSKA ...
och Sociologi
och Sociologi
Artiklar i publikationen
Proceedings of t ...
Av lärosätet
Linköpings universitet
Umeå universitet

Sök utanför SwePub

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

 
pil uppåt Stäng

Kopiera och spara länken för att återkomma till aktuell vy