SwePub
Sök i LIBRIS databas

  Utökad sökning

onr:"swepub:oai:hhs.se:1171062010006056"
 

Sökning: onr:"swepub:oai:hhs.se:1171062010006056" > Predicting the repl...

  • Pfeiffer, ThomasMassey University (författare)

Predicting the replicability of social and behavioural science claims in a crisis: The COVID-19 Preprint Replication Project

  • BokEngelska2023

Förlag, utgivningsår, omfång ...

  • Open Science Framwork (OSF),2023

Nummerbeteckningar

  • LIBRIS-ID:oai:hhs.se:1171062010006056
  • https://research.hhs.se/esploro/outputs/preprint/Predicting-the-replicability-of-social-and/991001579098206056URI
  • https://doi.org/10.31222/osf.io/xdsjfDOI

Kompletterande språkuppgifter

  • Språk:engelska
  • Sammanfattning på:engelska

Ingår i deldatabas

Klassifikation

  • Ämneskategori:ovr swepub-publicationtype
  • Ämneskategori:vet swepub-contenttype

Anmärkningar

  • Replications are important for assessing the reliability of published findings. However, they are costly, and it is infeasible to replicate everything. Accurate, fast, lower-cost alternatives such as eliciting predictions could accelerate assessment for rapid policy implementation in a crisis. We elicited judgments from participants on 100 claims from preprints about an emerging area of research (COVID-19 pandemic) using an interactive structured elicitation protocol, and we conducted 29 new high-powered replications. After interacting with their peers, participant groups with lower task expertise (‘beginners’) updated their estimates and confidence in their judgements significantly more than groups with greater task expertise (‘experienced’). For experienced individuals, the average accuracy was 0.57 (95% CI: [0.53, 0.61]) after interaction, and they correctly classified 61% of claims; beginners’ average accuracy was 0.58 (95% CI: [0.54, 0.62]), correctly classifying 69% of claims. The difference in accuracy between groups was not statistically significant, and their judgments on the full set of claims were correlated (r=.48). These results suggest that both beginners and more experienced participants using a structured process have some ability to make better-than-chance predictions about the reliability of ‘fast science’ under conditions of high uncertainty. However, given the importance of such assessments for making evidence-based critical decisions in a crisis, more research is required to understand who the right experts in forecasting replicability are and how their judgements ought to be elicited.

Ämnesord och genrebeteckningar

Biuppslag (personer, institutioner, konferenser, titlar ...)

  • Reed, W. RobertUniversity of Canterbury (författare)
  • Roozenbeek, JonUniversity of Cambridge (författare)
  • Schlyfestone, Alexa, R.Harrisburg University of Science and Technology (författare)
  • Schneider, Claudia, R.University of Cambridge (författare)
  • Soh, AndrewUniversity of Hawaii System (författare)
  • Tagat, AnirudhUniversity of Otago (författare)
  • Tutor, Melba (författare)
  • Tyner, AndrewCenter for Open Science (författare)
  • Urbanska, Karolina (författare)
  • van der Linden, SanderUniversity of Cambridge (författare)
  • Marcoci, AlexandruUniversity of Cambridge (författare)
  • Wilkinson, David, P.University of Melbourne (författare)
  • Vercammen, AnsUniversity of Melbourne (författare)
  • Wintle, Bonnie, C.University of Melbourne (författare)
  • Abatayo, Anna LouWageningen University & Research (författare)
  • Baskin, ErnestSaint Joseph's University (författare)
  • Berkman, HenkUniversity of Auckland (författare)
  • Buchanan, Erin, M.Harrisburg University of Science and Technology (författare)
  • Capitán, SaraSwedish University of Agricultural Sciences (författare)
  • Capitán, TabaréSwedish University of Agricultural Sciences (författare)
  • Chan, Ginny (författare)
  • Cheng, Kent, Jason G.Pennsylvania State University (författare)
  • Coupé, TomUniversity of Canterbury (författare)
  • Dryhurst, SarahUniversity of Cambridge (författare)
  • Duan, JianhuaStatistics New Zealand (författare)
  • Edlund, John E.Rochester Institute of Technology (författare)
  • Errington, Timothy M.Center for Open Science (författare)
  • Fedor, Anna (författare)
  • Fidler, FionaUniversity of Melbourne (författare)
  • Field, James G. (författare)
  • Fox, NicholasCenter for Open Science (författare)
  • Fraser, HannahUniversity of Melbourne (författare)
  • Freeman, Alexandra, LJUniversity of Cambridge (författare)
  • Hanea, AncaUniversity of Melbourne (författare)
  • Holzmeister, FelixUniversity of Innsbruck (författare)
  • Hong, SanghyunUniversity of Canterbury (författare)
  • Huggins, RaquelHarrisburg University of Science and Technology (författare)
  • Huntington-Klein, NickSeattle University (författare)
  • Johannesson, MagnusStockholm School of Economics,Handelshögskolan i Stockholm(Swepub:hhs)198@hhs.se (författare)
  • Jones, Angela, M.Texas State University (författare)
  • Kapoor, HansikaUniversity of Connecticut (författare)
  • Kerr, JohnUniversity of Cambridge (författare)
  • Struhl, Melissa, KlineMassachusetts Institute of Technology (författare)
  • Kołczyńska, MartaPolish Academy of Sciences (författare)
  • Liu, YangUniversity of California, Santa Cruz (författare)
  • Loomas, ZacharyCenter for Open Science (författare)
  • Luis, BriannaCenter for Open Science (författare)
  • Méndez, EstebanCentral Bank of Costa Rica (författare)
  • Miske, OliviaCenter for Open Science (författare)
  • Mody, FallonUniversity of Melbourne (författare)
  • Nast, CarolinUniversity of Stavanger (författare)
  • Nosek, Brian A.Center for Open Science (författare)
  • Parsons, E. SimonCenter for Open Science (författare)
  • Massey UniversityUniversity of Canterbury (creator_code:org_t)

Internetlänk

Till lärosätets databas

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

 
pil uppåt Stäng

Kopiera och spara länken för att återkomma till aktuell vy