Many Labs 5: Testing Pre-Data-Collection Peer Review as an Intervention to Increase Replicability

↓ Direkt till sidans innehåll
↓ Direkt till sidans sekundära innehåll (sidomenyn)

Sökning: WFRF:(Kimberly R.) > (2020-2024) > Many Labs 5: Testin...

Ebersole, Charles R.University of Virginia (United States, Charlottesville) - UVA (författare)

Many Labs 5: Testing Pre-Data-Collection Peer Review as an Intervention to Increase Replicability

Artikel/kapitelEngelska2020

Förlag, utgivningsår, omfång ...

Sage,2020

Nummerbeteckningar

LIBRIS-ID:oai:hhs.se:1156422330006056
https://research.hhs.se/esploro/outputs/journalArticle/Many-Labs-5-Testing-Pre-Data-Collection-Peer/991001489599306056URI
https://doi.org/10.1177/2515245920958687DOI

Kompletterande språkuppgifter

Språk:engelska
Sammanfattning på:engelska

Ingår i deldatabas

SwePubSwePub

Klassifikation

Ämneskategori:art swepub-publicationtype
Ämneskategori:ref swepub-contenttype

Anmärkningar

Replication studies in psychological science sometimes fail to reproduce prior findings. If these studies use methods that are unfaithful to the original study or ineffective in eliciting the phenomenon of interest, then a failure to replicate may be a failure of the protocol rather than a challenge to the original finding. Formal pre-data-collection peer review by experts may address shortcomings and increase replicability rates. We selected 10 replication studies from the Reproducibility Project: Psychology (RP:P; Open Science Collaboration, 2015) for which the original authors had expressed concerns about the replication designs before data collection; only one of these studies had yielded a statistically significant effect (p < .05). Commenters suggested that lack of adherence to expert review and low-powered tests were the reasons that most of these RP:P studies failed to replicate the original effects. We revised the replication protocols and received formal peer review prior to conducting new replication studies. We administered the RP:P and revised protocols in multiple laboratories (median number of laboratories per original study = 6.5, range = 3-9; median total sample = 1,279.5, range = 276-3,512) for high-powered tests of each original finding with both protocols. Overall, following the preregistered analysis plan, we found that the revised protocols produced effect sizes similar to those of the RP:P protocols (Delta r = .002 or .014, depending on analytic approach). The median effect size for the revised protocols (r = .05) was similar to that of the RP:P protocols (r = .04) and the original RP:P replications (r = .11), and smaller than that of the original studies (r = .37). Analysis of the cumulative evidence across the original studies and the corresponding three replication attempts provided very precise estimates of the 10 tested effects and indicated that their effect sizes (median r = .07, range = .00-.15) were 78% smaller, on average, than the original effect sizes (median r = .37, range = .19-.50).

Ämnesord och genrebeteckningar

SAMHÄLLSVETENSKAP Sociologi Socialpsykologi hsv//swe
SOCIAL SCIENCES Sociology Social Psychology hsv//eng

Biuppslag (personer, institutioner, konferenser, titlar ...)

Mathur, Maya B.Stanford University (United States, Stanford) - SU (författare)
Baranski, EricaUniversity of Houston (United States, Houston) - UH (författare)
Bart-Plange, Diane-JoUniversity of Virginia (United States, Charlottesville) - UVA (författare)
Curran, Paul G.Grand Valley State University (United States, Allendale) - GVSU (författare)
Day, Chris R.Coventry University (författare)
Dering, BenjaminUniversity of Stirling (författare)
Dreber, AnnaStockholm School of Economics,Handelshögskolan i Stockholm(Swepub:hhs)1274@hhs.se (författare)
Edlund, John E.Rochester Institute of Technology (författare)
Falcao, FilipeUniversity of Porto (författare)
Fedor, AnnaCentre for Ecological Research (författare)
Feinberg, LilyBoston College (författare)
Ferguson, Ian R.Virginia Commonwealth University (författare)
Pienkosz, DamianMaria Curie-Skłodowska University (författare)
Preti, EmanueleUniversity of Milano-Bicocca (författare)
Puric, DankaUniversity of Belgrade (författare)
Ravid, JonathanBoston College (författare)
Razza, Timothy S.Nova Southeastern University (författare)
Ramos, TiagoUniversity of Porto (författare)
Rentzsch, KatrinPsychologische Hochschule Berlin (författare)
Richetin, JulietteUniversity of Milano-Bicocca (författare)
Rife, Sean C.Murray State University (författare)
Saunders, BlairUniversity of Dundee (författare)
Sawicki, PrzemyslawKozminski University (författare)
Dalla Rosa, AnnaUniversity of Padua (författare)
Rudy, Kaylis HaseBrigham Young University - Idaho (författare)
Salamon, JanosEötvös Loránd University (författare)
Schmidt, KathleenSouthern Illinois University Carbondale (United States, Carbondale) - SIU (författare)
Wood, Michael J.University of Winchester (United Kingdom, Winchester) (författare)
Zealley, DavidBrigham Young University - Idaho (författare)
Zezelj, IrisUniversity of Belgrade (författare)
Nosek, Brian A.University of Virginia (författare)
Zrubka, MarkUniversity of Amsterdam (författare)
Ford, MaireLoyola Marymount University (författare)
Schulz-Hardt, StefanUniversity of Göttingen (författare)
Schuetz, AstridUniversity of Bamberg (författare)
Shabazian, Ani N.Loyola Marymount University (författare)
Shubella, Rachel L.Rose–Hulman Institute of Technology (författare)
Schuepfer, KurtMiami University (författare)
Schultze, ThomasUniversity of Göttingen (författare)
Frank, Michael C.Stanford University (United States, Stanford) - SU (författare)
Fryberger, EmilyPacific Lutheran University (författare)
Garinther, AlexanderUniversity of Oregon (författare)
Gawryluk, KatarzynaKozminski University (författare)
Silva, RubenUniversity of Porto (författare)
Siegel, AdamCultivate Labs, Chicago, IL USA (författare)
Ashbaugh, KaylaRose–Hulman Institute of Technology (författare)
Giacomantonio, MauroSapienza University of Rome (författare)
Giessner, Steffen R.Erasmus University Rotterdam (författare)
Grahe, Jon E.Pacific Lutheran University (författare)
Guadagno, Rosanna E.Stanford University (författare)
Halasa, EwaMaria Curie-Skłodowska University (författare)
Sioma, BarbaraMaria Curie-Skłodowska University (författare)
Skorb, LaurenBoston College (författare)
Cunha de Souza, Luana ElayneUniversidade de Fortaleza (författare)
Steegen, SaraKU Leuven (Belgium, Leuven) - KUL (författare)
Stein, L. A. R.University of Rhode Island (författare)
Sternglanz, R. WeylinNova Southeastern University (författare)
Hancock, Peter J. B.University of Stirling (författare)
Hilliard, Rias A.Rose–Hulman Institute of Technology (författare)
Hueffmeier, JoachimTU Dortmund University (författare)
Hughes, SeanGhent University (författare)
Idzikowska, KatarzynaKozminski University (författare)
Inzlicht, MichaelUniversity of Toronto (Canada, Toronto) (författare)
Stojilovic, Darko (författare)
Storage, DanielUniversity of Denver (United States, Denver) (författare)
Sullivan, Gavin BrentCoventry University (United Kingdom, Coventry) (författare)
Szaszi, BarnabasEötvös Loránd University (Hungary, Budapest) - ELTE (författare)
Szecsi, PeterEötvös Loránd University (författare)
Szoke, OrsolyaEötvös Loránd University (författare)
Szuts, AttilaEötvös Loránd University (författare)
Jern, AlanRose–Hulman Institute of Technology (författare)
Jimenez-Leal, WilliamUniversidad de Los Andes (Colombia, Bogotá) (författare)
Thomae, ManuelaMEU Multiversitat, Magdeburg, Germany (författare)
Tidwell, Natasha D.Fort Lewis College (författare)
Tocco, CarlyQueens College, CUNY (författare)
Johannesson, MagnusStockholm School of Economics,Handelshögskolan i Stockholm(Swepub:hhs)198@hhs.se (författare)
Joy-Gaba, Jennifer A.Virginia Commonwealth University (United States, Richmond) - VCU (författare)
Kauff, MathiasSupreme Council Of Health (författare)
Kellier, Danielle J.University of Pennsylvania (författare)
Kessinger, GreciaBrigham Young University - Idaho (författare)
Kidwell, Mallory C.University of Utah (United States, Salt Lake City) - UU (författare)
Torka, Ann-KathrinTU Dortmund University (författare)
Vianello, MichelangeloUniversity of Padua (författare)
Viganola, DomenicoStockholm School of Economics,Handelshögskolan i Stockholm (författare)
Vlachou, MariaKU Leuven (författare)
Tuerlinckx, FrancisKU Leuven (Belgium, Leuven) - KUL (författare)
Vanpaemel, WolfKU Leuven (Belgium, Leuven) - KUL (författare)
Vaughn, Leigh AnnIthaca College (United States, Ithaca) (författare)
Kimbrough, Amanda M.The University of Texas at Dallas (författare)
King, Josiah P. J.University of Edinburgh (författare)
Kolb, Vanessa S.University of Rhode Island (författare)
Kolodziej, SabinaKozminski University (författare)
Kovacs, MartonEötvös Loránd University (författare)
Krasuska, KarolinaMaria Curie-Skłodowska University (författare)
Kraus, SueFort Lewis College (författare)
Krueger, Lacy E.Texas A&M University – Commerce (författare)
Kuchno, KatarzynaMaria Curie-Skłodowska University (författare)
Lage, Caio AmbrosioPontifical Catholic University of Rio de Janeiro (författare)
Langford, EleanorUniversity of Virginia (författare)
Walker, Ryan J.Miami University (författare)
Weissgerber, Sophia C.University of Kassel (författare)
Loy, Jia E.University of Edinburgh (författare)
Manfredi, DylanUniversity of Pennsylvania (United States, Philadelphia) (författare)
Levitan, Carmel A.Occidental College (United States, Los Angeles) (författare)
Souza de Lima, Tiago JesseUniversidade de Brasília (författare)
Lin, HauseUniversity of Toronto (författare)
Lins, SamuelUniversity of Porto (författare)
Markiewicz, LukaszKozminski University (författare)
Menon, MadhaviNova Southeastern University (författare)
Mercier, BrettUniversity of California, Irvine (författare)
Metzger, MitchellAshland University (författare)
Meyet, VenusBrigham Young University - Idaho (författare)
Millen, Ailsa E.University of Stirling (författare)
Moore, Don A.University of California, Berkeley (United States, Berkeley) - UCB (författare)
Muda, RafalMaria Curie-Skłodowska University (författare)
Nave, GideonUniversity of Pennsylvania (United States, Philadelphia) (författare)
Nichols, Austin LeeDuy Tan University (författare)
Miller, Jeremy K.Willamette University (United States, Salem) (författare)
Montealegre, AndresCornell University (United States, Ithaca) - CU (författare)
Wiggins, Bradford J.Brigham Young University - Idaho (författare)
Wolf, DanielUniversity of Bamberg (författare)
Wichman, Aaron L.Western Kentucky University (författare)
Palinkas, AnnaEötvös Loránd University (författare)
Panno, AngeloSapienza University of Rome (författare)
Parks, Kimberly P.University of Virginia (författare)
Novak, Sarah A.Hofstra University (författare)
Nunnally, ChristianRose–Hulman Institute of Technology (författare)
Orlic, AnaUniversity of Belgrade (författare)
Pfeiffer, ThomasMassey University (New Zealand, Palmerston North) (författare)
Pedovic, IvanaUniversity of Nis (författare)
Pekala, EmilianMaria Curie-Skłodowska University (författare)
Penner, Matthew R.Western Kentucky University (författare)
Pessers, SebastiaanKU Leuven (författare)
Petrovic, BobanUniversity of Belgrade (författare)
Buttrick, Nicholas R.University of Virginia (författare)
Chartier, Christopher R.Ashland University (United States, Ashland) - AU (författare)
Corker, Katherine S.Grand Valley State University (United States, Allendale) - GVSU (författare)
Hartshorne, Joshua K.Boston College (United States, Boston) - BC (författare)
Corley, MartinUniversity of Edinburgh (United Kingdom, Edinburgh) (författare)
IJzerman, HansInstitut Universitaire de France (France, Paris) - IUF (författare)
Lazarevic, Ljiljana B.University of Belgrade (Serbia, Belgrade) (författare)
Rabagliati, HughUniversity of Edinburgh (United Kingdom, Edinburgh) (författare)
Ropovik, IvanCharles University (Czechia, Prague) (författare)
Aczel, BalazsEötvös Loránd University (Hungary, Budapest) - ELTE (författare)
Aeschbach, Lena F.University of Basel (Switzerland, Basel) (författare)
Andrighetto, LucaUniversity of Genoa (Italy, Genoa) - UniGe (författare)
Arnal, Jack D.McDaniel College (United States, Westminster) (författare)
Arrow, HollyUniversity of Oregon (United States, Eugene) - UO (författare)
Bruehlmann, FlorianUniversity of Basel (författare)
Brumbaugh, Claudia C.Queens College, CUNY (författare)
Casini, EricaUniversity of Milano-Bicocca (författare)
Chen, YilingHarvard University (United States, Cambridge) (författare)
Chiorri, CarloUniversity of Genoa (författare)
Babincak, PeterUniversity of Prešov (Slovakia, Prešov) (författare)
Bakos, Bence E.Eötvös Loránd University (Hungary, Budapest) - ELTE (författare)
Banik, GabrielUniversity of Prešov (Slovakia, Prešov) (författare)
Baskin, ErnestSaint Joseph's University (United States, Philadelphia) - SJU (författare)
Belopavlovic, RadomirUniversity of Novi Sad (författare)
Bernstein, Michael H.Brown University (författare)
Bialek, MichalUniversity of Wrocław (författare)
Bloxsom, Nicholas G.Ashland University (författare)
Bodroza, BojanaUniversity of Novi Sad (författare)
Bonfiglio, Diane B.Ashland University (författare)
Boucher, LeanneNova Southeastern University (författare)
Chopik, William J.Michigan State University (författare)
Christ, OliverHagen (författare)
Ciunci, Antonia M.University of Rhode Island (författare)
Claypool, Heather M.Miami University (författare)
Coary, SeanLoyola University Chicago (författare)
Colic, MarijaUniversity of Belgrade (författare)
Collins, W. MatthewNova Southeastern University (författare)
University of Virginia (United States, Charlottesville) - UVAStanford University (United States, Stanford) - SU (creator_code:org_t)

Sammanhörande titlar

Ingår i:Advances in Methods and Practices in Psychological Science: Sage3:3, s. 309-3312515-24672515-2459

Internetlänk

Hitta via bibliotek

Advances in Methods and Practices in Psychological Science (Sök värdpublikationen i LIBRIS)

Till lärosätets databas

Hitta mer i SwePub

Av författaren/redakt...: Ebersole, Charle ...; Mathur, Maya B.; Baranski, Erica; Bart-Plange, Dia ...; Curran, Paul G.; Day, Chris R.; visa fler...; Dering, Benjamin; Dreber, Anna; Edlund, John E.; Falcao, Filipe; Fedor, Anna; Feinberg, Lily; Ferguson, Ian R.; Pienkosz, Damian; Preti, Emanuele; Puric, Danka; Ravid, Jonathan; Razza, Timothy S ...; Ramos, Tiago; Rentzsch, Katrin; Richetin, Juliet ...; Rife, Sean C.; Saunders, Blair; Sawicki, Przemys ...; Dalla Rosa, Anna; Rudy, Kaylis Has ...; Salamon, Janos; Schmidt, Kathlee ...; Wood, Michael J.; Zealley, David; Zezelj, Iris; Nosek, Brian A.; Zrubka, Mark; Ford, Maire; Schulz-Hardt, St ...; Schuetz, Astrid; Shabazian, Ani N ...; Shubella, Rachel ...; Schuepfer, Kurt; Schultze, Thomas; Frank, Michael C ...; Fryberger, Emily; Garinther, Alexa ...; Gawryluk, Katarz ...; Silva, Ruben; Siegel, Adam; Ashbaugh, Kayla; Giacomantonio, M ...; Giessner, Steffe ...; Grahe, Jon E.; Guadagno, Rosann ...; Halasa, Ewa; Sioma, Barbara; Skorb, Lauren; Cunha de Souza, ...; Steegen, Sara; Stein, L. A. R.; Sternglanz, R. W ...; Hancock, Peter J ...; Hilliard, Rias A ...; Hueffmeier, Joac ...; Hughes, Sean; Idzikowska, Kata ...; Inzlicht, Michae ...; Stojilovic, Dark ...; Storage, Daniel; Sullivan, Gavin ...; Szaszi, Barnabas; Szecsi, Peter; Szoke, Orsolya; Szuts, Attila; Jern, Alan; Jimenez-Leal, Wi ...; Thomae, Manuela; Tidwell, Natasha ...; Tocco, Carly; Johannesson, Mag ...; Joy-Gaba, Jennif ...; Kauff, Mathias; Kellier, Daniell ...; Kessinger, Greci ...; Kidwell, Mallory ...; Torka, Ann-Kathr ...; Vianello, Michel ...; Viganola, Domeni ...; Vlachou, Maria; Tuerlinckx, Fran ...; Vanpaemel, Wolf; Vaughn, Leigh An ...; Kimbrough, Amand ...; King, Josiah P. ...; Kolb, Vanessa S.; Kolodziej, Sabin ...; Kovacs, Marton; Krasuska, Karoli ...; Kraus, Sue; Krueger, Lacy E.; Kuchno, Katarzyn ...; Lage, Caio Ambro ...; Langford, Eleano ...; Walker, Ryan J.; Weissgerber, Sop ...; Loy, Jia E.; Manfredi, Dylan; Levitan, Carmel ...; Souza de Lima, T ...; Lin, Hause; Lins, Samuel; Markiewicz, Luka ...; Menon, Madhavi; Mercier, Brett; Metzger, Mitchel ...; Meyet, Venus; Millen, Ailsa E.; Moore, Don A.; Muda, Rafal; Nave, Gideon; Nichols, Austin ...; Miller, Jeremy K ...; Montealegre, And ...; Wiggins, Bradfor ...; Wolf, Daniel; Wichman, Aaron L ...; Palinkas, Anna; Panno, Angelo; Parks, Kimberly ...; Novak, Sarah A.; Nunnally, Christ ...; Orlic, Ana; Pfeiffer, Thomas; Pedovic, Ivana; Pekala, Emilian; Penner, Matthew ...; Pessers, Sebasti ...; Petrovic, Boban; Buttrick, Nichol ...; Chartier, Christ ...; Corker, Katherin ...; Hartshorne, Josh ...; Corley, Martin; IJzerman, Hans; Lazarevic, Ljilj ...; Rabagliati, Hugh; Ropovik, Ivan; Aczel, Balazs; Aeschbach, Lena ...; Andrighetto, Luc ...; Arnal, Jack D.; Arrow, Holly; Bruehlmann, Flor ...; Brumbaugh, Claud ...; Casini, Erica; Chen, Yiling; Chiorri, Carlo; Babincak, Peter; Bakos, Bence E.; Banik, Gabriel; Baskin, Ernest; Belopavlovic, Ra ...; Bernstein, Micha ...; Bialek, Michal; Bloxsom, Nichola ...; Bodroza, Bojana; Bonfiglio, Diane ...; Boucher, Leanne; Chopik, William ...; Christ, Oliver; Ciunci, Antonia ...; Claypool, Heathe ...; Coary, Sean; Colic, Marija; Collins, W. Matt ...; visa färre...

Om ämnet

SAMHÄLLSVETENSKAP: SAMHÄLLSVETENSKA ...; och Sociologi; och Socialpsykologi

Artiklar i publikationen: Advances in Meth ...

Av lärosätet: Handelshögskolan i Stockholm

Sök utanför SwePub

Sök vidare i:: Google; Google Book Search; Google Scholar

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

LIBRIS.kb.se