Sökning: onr:"swepub:oai:DiVA.org:liu-190642" >
Observing many rese...
Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty
-
- Breznau, Nate (författare)
- Univ Bremen, Germany,Research Center on Inequality and Social Policy (SOCIUM), University of Bremen, Bremen, Germany
-
- Rinke, Eike Mark (författare)
- Univ Leeds, England,School of Politics and International Studies, University of Leeds, Leeds, United Kingdom
-
- Wuttke, Alexander (författare)
- Univ Mannheim, Germany,Mannheim Centre for European Social Research, University of Mannheim, Mannheim, Germany; Department of Political Science, Ludwig Maximilian University, Munich, Germany
-
visa fler...
-
- Nguyen, Hung H. V. (författare)
- Univ Bremen, Germany; Bremen Int Grad Sch Social Sci, Germany
-
- Adem, Muna (författare)
- Indiana Univ, IN 47405 USA
-
- Adriaans, Jule (författare)
- German Inst Econ Res DIW, Germany
-
- Alvarez-Benjumea, Amalia (författare)
- Max Planck Inst Res Collect Goods, Germany
-
- Andersen, Henrik K. (författare)
- Tech Univ Chemnitz, Germany,Johannes Gutenberg Univ Mainz, Germany
-
- Auer, Daniel (författare)
- Univ Mannheim, Germany
-
- Azevedo, Flavio (författare)
- Univ Cambridge, England
-
- Bahnsen, Oke (författare)
- Univ Mannheim, Germany
-
- Balzer, Dave (författare)
- Johannes Gutenberg Univ Mainz, Germany
-
- Bauer, Gerrit (författare)
- Ludwig Maximilians Univ Munchen, Germany
-
- Bauer, Paul C. (författare)
- Univ Mannheim, Germany
-
- Baumann, Markus (författare)
- Heidelberg Univ, Germany; Goethe Univ Frankfurt, Germany
-
- Baute, Sharon (författare)
- Univ Konstanz, Germany
-
- Benoit, Verena (författare)
- Ludwig Maximilians Univ Munchen, Germany; Univ Bamberg, Germany
-
- Bernauer, Julian (författare)
- Univ Mannheim, Germany
-
- Berning, Carl (författare)
- Johannes Gutenberg Univ Mainz, Germany
-
- Berthold, Anna (författare)
- Univ Bamberg, Germany
-
- Bethke, Felix S. (författare)
- Peace Res Inst Frankfurt, Germany,UCL, England
-
- Biegert, Thomas (författare)
- London Sch Econ & Polit Sci, England
-
- Blinzler, Katharina (författare)
- Leibniz Inst Social Sci GESIS, Germany
-
- Blumenberg, Johannes N. (författare)
- Leibniz Inst Social Sci GESIS, Germany
-
- Bobzien, Licia (författare)
- Hertie Sch, Germany
-
- Bohman, Andrea, 1983- (författare)
- Umeå universitet,Sociologiska institutionen,Umea Univ, Sweden
-
- Bol, Thijs (författare)
- UCL, England; Univ Amsterdam, Netherlands
-
- Bostic, Amie (författare)
- Univ Texas Rio Grande Valley, TX 78520 USA
-
- Brzozowska, Zuzanna (författare)
- Austrian Acad Sci, Austria; Gesundheit Osterreich GOG, Austria
-
- Burgdorf, Katharina (författare)
- Univ Mannheim, Germany
-
- Burger, Kaspar (författare)
- UCL, England; Univ Zurich, Switzerland; Univ Zurich, Switzerland
-
Busch, Kathrin B. (författare)
-
- Carlos-Castillo, Juan (författare)
- Univ Chile, Chile; Pontificia Univ Catolica Chile, Chile
-
- Chan, Nathan (författare)
- Loyola Marymount Univ, CA 90045 USA
-
- Christmann, Pablo (författare)
- Leibniz Inst Social Sci, Germany
-
- Connelly, Roxanne (författare)
- Univ Edinburgh, Scotland
-
- Czymara, Christian S. (författare)
- Goethe Univ Frankfurt, Germany
-
- Damian, Elena (författare)
- Sciensano, Belgium
-
- Ecker, Alejandro (författare)
- Univ Mannheim, Germany
-
- Edelmann, Achim (författare)
- Medialab Sci Po, France
-
- Eger, Maureen A., Dr. 1977- (författare)
- Umeå universitet,Sociologiska institutionen,Umea Univ, Sweden
-
- Ellerbrock, Simon (författare)
- Univ Mannheim, Germany; Univ Mannheim, Germany
-
Forke, Anna (författare)
-
- Forster, Andrea (författare)
- Free Univ Berlin, Germany
-
- Gaasendam, Chris (författare)
- Katholieke Univ Leuven, Belgium
-
- Gavras, Konstantin (författare)
- Univ Mannheim, Germany
-
- Gayle, Vernon (författare)
- Univ Edinburgh, Scotland
-
- Gessler, Theresa (författare)
- European Univ Viadrina, Germany
-
- Gnambs, Timo (författare)
- Leibniz Inst Educ Trajectories, Germany
-
- Godefroidt, Amelie (författare)
- Katholieke Univ Leuven, Belgium
-
- Groemping, Max (författare)
- Griffith Univ, Australia
-
- Gross, Martin (författare)
- Univ Tubingen, Germany
-
- Gruber, Stefan (författare)
- Max Planck Inst Social Law & Social Policy, Germany
-
- Gummer, Tobias (författare)
- Leibniz Inst Social Sci, Germany
-
- Hadjar, Andreas (författare)
- Univ Luxembourg, Luxembourg; Hans Bockler Fdn, Germany; Univ Fribourg, Switzerland; Univ Luxembourg, Luxembourg
-
- Heisig, Jan Paul (författare)
- Univ Groningen, Netherlands; Berlin Social Sci Ctr WZB, Germany
-
- Hellmeier, Sebastian (författare)
- Berlin Social Sci Ctr WZB, Germany
-
- Heyne, Stefanie (författare)
- Univ Mannheim, Germany
-
- Hirsch, Magdalena (författare)
- Berlin Social Sci Ctr WZB, Germany,German Inst Econ Res DIW, Germany; Humboldt Univ, Germany
-
- Hjerm, Mikael, 1969- (författare)
- Umeå universitet,Sociologiska institutionen,Umea Univ, Sweden
-
- Hochman, Oshrat (författare)
- Leibniz Inst Social Sci, Germany
-
- Hovermann, Andreas (författare)
- Hans Bockler Fdn, Germany; German Socio Econ Panel Survey, Germany
-
- Hunger, Sophia (författare)
- Berlin Social Sci Ctr, Germany
-
- Hunkler, Christian (författare)
- Humboldt Univ, Germany
-
- Huth, Nora (författare)
- Univ Wuppertal, Germany
-
- Ignacz, Zsofia S. (författare)
- Goethe Univ Frankfurt, Germany
-
- Jacobs, Laura (författare)
- Univ Libre Bruxelles, Belgium
-
- Jacobsen, Jannes (författare)
- Zeppelin Univ, Germany; German Ctr Integrat & Migrat Res DeZIM, Germany,Univ Calif Los Angeles, CA 90095 USA,Univ Tubingen, Germany,German Inst Econ Res DIW, Germany
-
- Jaeger, Bastian (författare)
- Tilburg Univ, Netherlands
-
- Jungkunz, Sebastian (författare)
- Univ Duisburg Essen, Germany; Univ Munster, Germany; Univ Groningen, Netherlands; Univ Bamberg, Germany
-
- Jungmann, Nils (författare)
- Leibniz Inst Social Sci GESIS, Germany
-
- Kauff, Mathias (författare)
- Med Sch Hamburg, Germany
-
- Kleinert, Manuel (författare)
- Justus Liebig Univ Giessen, Germany
-
- Klinger, Julia (författare)
- Univ Cologne, Germany
-
- Kolb, Jan-Philipp (författare)
- Gesundheit Osterreich GOG, Austria; Fed Stat Off Germany, Germany
-
- Kolczynska, Marta (författare)
- Polish Acad Sci, Poland
-
- Kuk, John (författare)
- Univ Oklahoma, OK 73019 USA
-
- Kunissen, Katharina (författare)
- Johannes Gutenberg Univ Mainz, Germany
-
Sinatra, Dafina Kurti (författare)
-
- Langenkamp, Alexander (författare)
- Goethe Univ Frankfurt, Germany
-
- Lersch, Philipp M. (författare)
- German Inst Econ Res DIW, Germany; Humboldt Univ, Germany,Univ Konstanz, Germany
-
- Lobel, Lea-Maria (författare)
- German Inst Econ Res DIW, Germany
-
- Lutscher, Philipp (författare)
- Univ Oslo, Norway
-
- Mader, Matthias (författare)
- Univ Konstanz, Germany,German Inst Econ Res DIW, Germany,Univ S Florida, FL 33620 USA
-
- Madia, Joan E. (författare)
- Univ Oxford, England; Fdn Bruno Kessler, Italy
-
- Malancu, Natalia (författare)
- Univ Geneva, Switzerland
-
- Maldonado, Luis (författare)
- Pontificia Univ Catolica Chile, Chile
-
- Marahrens, Helge (författare)
- Indiana Univ, IN 47405 USA
-
- Martin, Nicole (författare)
- Univ Manchester, England
-
- Martinez, Paul (författare)
- Western Governors Univ, UT 84107 USA
-
- Mayerl, Jochen (författare)
- Tech Univ Chemnitz, Germany
-
- Mayorga, Oscar J. (författare)
- Univ Calif Los Angeles, CA 90095 USA
-
- McManus, Patricia (författare)
- Indiana Univ, IN 47405 USA
-
- McWagner, Kyle (författare)
- Univ Calif Irvine, CA 92617 USA
-
- Meeusen, Cecil (författare)
- Katholieke Univ Leuven, Belgium
-
- Meierrieks, Daniel (författare)
- Berlin Social Sci Ctr WZB, Germany
-
- Mellon, Jonathan (författare)
- Univ Manchester, England
-
- Merhout, Friedolin (författare)
- Univ Copenhagen, Denmark; Univ Copenhagen, Denmark
-
- Merk, Samuel (författare)
- Univ Educ Karlsruhe, Germany
-
- Meyer, Daniel (författare)
- Univ Cologne, Germany
-
- Micheli, Leticia (författare)
- Julius Maximilians Univ Wurzburg, Germany
-
- Mijs, Jonathan (författare)
- Boston Univ, MA 02215 USA
-
- Moya, Cristobal (författare)
- Univ Bielefeld, Germany
-
- Neunhoeffer, Marcel (författare)
- Univ Mannheim, Germany
-
- Nust, Daniel (författare)
- Univ Munster, Germany
-
- Nygård, Olav (författare)
- Linköpings universitet,Avdelningen för migration, etnicitet och samhälle (REMESO),Filosofiska fakulteten,REMESO - Institutet för forskning om Migration, Etnicitet och Samhälle
-
- Ochsenfeld, Fabian (författare)
- Max Planck Gesell, Germany
-
- Otte, Gunnar (författare)
- Johannes Gutenberg Univ Mainz, Germany
-
- Pechenkina, Anna O. (författare)
- Utah State Univ, UT 84321 USA
-
- Prosser, Christopher (författare)
- Royal Holloway Univ London, England
-
- Raes, Louis (författare)
- Tilburg Univ, Netherlands
-
- Ralston, Kevin (författare)
- Univ Edinburgh, Scotland
-
- Ramos, Miguel R. (författare)
- Univ Birmingham, England
-
- Roets, Arne (författare)
- Univ Ghent, Belgium
-
- Rogers, Jonathan (författare)
- New York Univ Abu Dhabi, U Arab Emirates
-
- Ropers, Guido (författare)
- Univ Mannheim, Germany
-
- Samuel, Robin (författare)
- Univ Luxembourg, Luxembourg; Univ Luxembourg, Luxembourg
-
- Sand, Gregor (författare)
- Max Planck Inst Social Law & Social Policy, Germany
-
- Schachter, Ariela (författare)
- Leibniz Inst Social Sci GESIS, Germany
-
- Schaeffer, Merlin (författare)
- Univ Copenhagen, Denmark
-
- Schieferdecker, David (författare)
- Free Univ Berlin, Germany
-
- Schlueter, Elmar (författare)
- Justus Liebig Univ Giessen, Germany
-
- Schmidt, Regine (författare)
- Univ Bamberg, Germany
-
- Schmidt, Katja M. (författare)
- German Inst Econ Res DIW, Germany
-
- Schmidt-Catran, Alexander (författare)
- Goethe Univ Frankfurt, Germany
-
- Schmiedeberg, Claudia (författare)
- Ludwig Maximilians Univ Munchen, Germany
-
- Schneider, J. Urgen (författare)
- Univ Tubingen, Germany
-
- Schoonvelde, Martijn (författare)
- Univ Coll Dublin, Ireland; Univ Groningen, Netherlands
-
- Schulte-Cloos, Julia (författare)
- European Univ Inst, Italy
-
- Schumann, Sandy (författare)
- UCL, England
-
- Schunck, Reinhard (författare)
- Univ Wuppertal, Germany
-
- Schupp, J. Urgen (författare)
- German Inst Econ Res DIW, Germany
-
- Seuring, Julian (författare)
- Leibniz Inst Educ Trajectories, Germany
-
- Silber, Henning (författare)
- Leibniz Inst Social Sci GESIS, Germany
-
- Sleegers, Willem (författare)
- Tilburg Univ, Netherlands
-
- Sonntag, Nico (författare)
- Johannes Gutenberg Univ Mainz, Germany
-
Staudt, Alexander (författare)
-
- Steiber, Nadia (författare)
- Univ Vienna, Austria
-
- Steiner, Nils (författare)
- Johannes Gutenberg Univ Mainz, Germany
-
Sternberg, Sebastian (författare)
-
- Stiers, Dieter (författare)
- Katholieke Univ Leuven, Belgium
-
- Stojmenovska, Dragana (författare)
- Univ Amsterdam, Netherlands
-
- Storz, Nora (författare)
- Univ Utrecht, Netherlands
-
- Striessnig, Erich (författare)
- Univ Vienna, Austria
-
- Stroppe, Anne-Kathrin (författare)
- Leibniz Inst Social Sci GESIS, Germany
-
- Teltemann, Janna (författare)
- Univ Hildesheim, Germany
-
- Tibajev, Andrey (författare)
- Linköpings universitet,Avdelningen för migration, etnicitet och samhälle (REMESO),Filosofiska fakulteten,REMESO - Institutet för forskning om Migration, Etnicitet och Samhälle
-
- Tung, Brian (författare)
- Washington Univ, MO 63130 USA
-
- Vagni, Giacomo (författare)
- UCL, England
-
- Van Assche, Jasper (författare)
- Univ Ghent, Belgium; Univ Libre Bruxelles, Belgium
-
- van der Linden, Meta (författare)
- Univ Utrecht, Netherlands
-
- van der Noll, Jolanda (författare)
- Univ Hagen, Germany
-
- Van Hootegem, Arno (författare)
- Katholieke Univ Leuven, Belgium
-
- Vogtenhuber, Stefan (författare)
- Univ Vienna, Austria
-
- Voicu, Bogdan (författare)
- Romanian Acad, Romania; Lucian Blaga Univ Sibiu, Romania
-
- Wagemans, Fieke (författare)
- Netherlands Inst Social Res, Netherlands; Netherlands Inst Social Res, Netherlands
-
- Wehl, Nadja (författare)
- Univ Konstanz, Germany
-
- Werner, Hannah (författare)
- Katholieke Univ Leuven, Belgium
-
- Wiernik, Brenton M. (författare)
- Univ S Florida, FL 33620 USA
-
- Winter, Fabian (författare)
- Max Planck Inst Res Collect Goods, Germany
-
- Wolf, Christof (författare)
- Univ Mannheim, Germany; Univ Mannheim, Germany; Leibniz Inst Social Sci GESIS, Germany
-
- Yamada, Yuki (författare)
- Kyushu Univ, Japan
-
- Zhang, Nan (författare)
- Univ Mannheim, Germany
-
- Ziller, Conrad (författare)
- Univ Duisburg Essen, Germany; Univ Duisburg Essen, Germany
-
- Zins, Stefan (författare)
- Fed Employment Agcy, Germany
-
- Zoltak, Tomasz (författare)
- Polish Acad Sci, Poland,Department of Research on Social and Institutional Transformations, Institute of Political Studies of the Polish Academy of Sciences, Warsaw, Poland
-
visa färre...
-
(creator_code:org_t)
- 2022-10-28
- 2022
- Engelska.
-
Ingår i: Proceedings of the National Academy of Sciences of the United States of America. - : National Academy of Sciences. - 0027-8424 .- 1091-6490. ; 119:44
- Relaterad länk:
-
https://liu.diva-por... (primary) (Raw object)
-
visa fler...
-
https://doi.org/10.1...
-
https://umu.diva-por... (primary) (Raw object)
-
https://urn.kb.se/re...
-
https://doi.org/10.1...
-
https://urn.kb.se/re...
-
visa färre...
Abstract
Ämnesord
Stäng
- This study explores how researchers analytical choices affect the reliability of scientific findings. Most discussions of reliability problems in science focus on systematic biases. We broaden the lens to emphasize the idiosyncrasy of conscious and unconscious decisions that researchers make during data analysis. We coordinated 161 researchers in 73 research teams and observed their research decisions as they used the same data to independently test the same prominent social science hypothesis: that greater immigration reduces support for social policies among the public. In this typical case of social science research, research teams reported both widely diverging numerical findings and substantive conclusions despite identical start conditions. Researchers expertise, prior beliefs, and expectations barely predict the wide variation in research outcomes. More than 95% of the total variance in numerical results remains unexplained even after qualitative coding of all identifiable decisions in each teams workflow. This reveals a universe of uncertainty that remains hidden when considering a single study in isolation. The idiosyncratic nature of how researchers results and conclusions varied is a previously underappreciated explanation for why many scientific hypotheses remain contested. These results call for greater epistemic humility and clarity in reporting scientific findings.
Ämnesord
- SAMHÄLLSVETENSKAP -- Annan samhällsvetenskap -- Tvärvetenskapliga studier inom samhällsvetenskap (hsv//swe)
- SOCIAL SCIENCES -- Other Social Sciences -- Social Sciences Interdisciplinary (hsv//eng)
- SAMHÄLLSVETENSKAP -- Sociologi -- Sociologi (hsv//swe)
- SOCIAL SCIENCES -- Sociology -- Sociology (hsv//eng)
Nyckelord
- metascience; many analysts; researcher degrees of freedom; analytical flexibility; immigration and policy preferences
Publikations- och innehållstyp
- ref (ämneskategori)
- art (ämneskategori)
Hitta via bibliotek
Till lärosätets databas
- Av författaren/redakt...
-
Breznau, Nate
-
Rinke, Eike Mark
-
Wuttke, Alexande ...
-
Nguyen, Hung H. ...
-
Adem, Muna
-
Adriaans, Jule
-
visa fler...
-
Alvarez-Benjumea ...
-
Andersen, Henrik ...
-
Auer, Daniel
-
Azevedo, Flavio
-
Bahnsen, Oke
-
Balzer, Dave
-
Bauer, Gerrit
-
Bauer, Paul C.
-
Baumann, Markus
-
Baute, Sharon
-
Benoit, Verena
-
Bernauer, Julian
-
Berning, Carl
-
Berthold, Anna
-
Bethke, Felix S.
-
Biegert, Thomas
-
Blinzler, Kathar ...
-
Blumenberg, Joha ...
-
Bobzien, Licia
-
Bohman, Andrea, ...
-
Bol, Thijs
-
Bostic, Amie
-
Brzozowska, Zuza ...
-
Burgdorf, Kathar ...
-
Burger, Kaspar
-
Busch, Kathrin B ...
-
Carlos-Castillo, ...
-
Chan, Nathan
-
Christmann, Pabl ...
-
Connelly, Roxann ...
-
Czymara, Christi ...
-
Damian, Elena
-
Ecker, Alejandro
-
Edelmann, Achim
-
Eger, Maureen A. ...
-
Ellerbrock, Simo ...
-
Forke, Anna
-
Forster, Andrea
-
Gaasendam, Chris
-
Gavras, Konstant ...
-
Gayle, Vernon
-
Gessler, Theresa
-
Gnambs, Timo
-
Godefroidt, Amel ...
-
Groemping, Max
-
Gross, Martin
-
Gruber, Stefan
-
Gummer, Tobias
-
Hadjar, Andreas
-
Heisig, Jan Paul
-
Hellmeier, Sebas ...
-
Heyne, Stefanie
-
Hirsch, Magdalen ...
-
Hjerm, Mikael, 1 ...
-
Hochman, Oshrat
-
Hovermann, Andre ...
-
Hunger, Sophia
-
Hunkler, Christi ...
-
Huth, Nora
-
Ignacz, Zsofia S ...
-
Jacobs, Laura
-
Jacobsen, Jannes
-
Jaeger, Bastian
-
Jungkunz, Sebast ...
-
Jungmann, Nils
-
Kauff, Mathias
-
Kleinert, Manuel
-
Klinger, Julia
-
Kolb, Jan-Philip ...
-
Kolczynska, Mart ...
-
Kuk, John
-
Kunissen, Kathar ...
-
Sinatra, Dafina ...
-
Langenkamp, Alex ...
-
Lersch, Philipp ...
-
Lobel, Lea-Maria
-
Lutscher, Philip ...
-
Mader, Matthias
-
Madia, Joan E.
-
Malancu, Natalia
-
Maldonado, Luis
-
Marahrens, Helge
-
Martin, Nicole
-
Martinez, Paul
-
Mayerl, Jochen
-
Mayorga, Oscar J ...
-
McManus, Patrici ...
-
McWagner, Kyle
-
Meeusen, Cecil
-
Meierrieks, Dani ...
-
Mellon, Jonathan
-
Merhout, Friedol ...
-
Merk, Samuel
-
Meyer, Daniel
-
Micheli, Leticia
-
Mijs, Jonathan
-
Moya, Cristobal
-
Neunhoeffer, Mar ...
-
Nust, Daniel
-
Nygård, Olav
-
Ochsenfeld, Fabi ...
-
Otte, Gunnar
-
Pechenkina, Anna ...
-
Prosser, Christo ...
-
Raes, Louis
-
Ralston, Kevin
-
Ramos, Miguel R.
-
Roets, Arne
-
Rogers, Jonathan
-
Ropers, Guido
-
Samuel, Robin
-
Sand, Gregor
-
Schachter, Ariel ...
-
Schaeffer, Merli ...
-
Schieferdecker, ...
-
Schlueter, Elmar
-
Schmidt, Regine
-
Schmidt, Katja M ...
-
Schmidt-Catran, ...
-
Schmiedeberg, Cl ...
-
Schneider, J. Ur ...
-
Schoonvelde, Mar ...
-
Schulte-Cloos, J ...
-
Schumann, Sandy
-
Schunck, Reinhar ...
-
Schupp, J. Urgen
-
Seuring, Julian
-
Silber, Henning
-
Sleegers, Willem
-
Sonntag, Nico
-
Staudt, Alexande ...
-
Steiber, Nadia
-
Steiner, Nils
-
Sternberg, Sebas ...
-
Stiers, Dieter
-
Stojmenovska, Dr ...
-
Storz, Nora
-
Striessnig, Eric ...
-
Stroppe, Anne-Ka ...
-
Teltemann, Janna
-
Tibajev, Andrey
-
Tung, Brian
-
Vagni, Giacomo
-
Van Assche, Jasp ...
-
van der Linden, ...
-
van der Noll, Jo ...
-
Van Hootegem, Ar ...
-
Vogtenhuber, Ste ...
-
Voicu, Bogdan
-
Wagemans, Fieke
-
Wehl, Nadja
-
Werner, Hannah
-
Wiernik, Brenton ...
-
Winter, Fabian
-
Wolf, Christof
-
Yamada, Yuki
-
Zhang, Nan
-
Ziller, Conrad
-
Zins, Stefan
-
Zoltak, Tomasz
-
visa färre...
- Om ämnet
-
- SAMHÄLLSVETENSKAP
-
SAMHÄLLSVETENSKA ...
-
och Annan samhällsve ...
-
och Tvärvetenskaplig ...
-
- SAMHÄLLSVETENSKAP
-
SAMHÄLLSVETENSKA ...
-
och Sociologi
-
och Sociologi
- Artiklar i publikationen
-
Proceedings of t ...
- Av lärosätet
-
Linköpings universitet
-
Umeå universitet