| 1. |
- Johansson, Magnus, et al.
(författare)
-
Valid and Reliable? : Basic and Expanded Recommendations for Psychometric Reporting and Quality Assessment
- 2023
-
Annan publikation (övrigt vetenskapligt/konstnärligt)abstract
- There is a need to improve the validity, reliability, and replicability of social and health science research and its applications through raising the quality of measurement. An important step is to establish and implement a clear and useful guideline for reporting and assessing psychometric properties of measures. We propose five basic criteria as a minimal checklist to help end users assess the quality of psychometric studies: unidimensionality; ordered response categories, invariance; targeting; and, contingent upon the previous four being fulfilled, reliability. An expanded and detailed reporting guideline is also presented, intended for use in reports and scientific publications of psychometric analyses. We argue that reliability should be reported using a Test Information Function curve, which describes the properties of the items, rather than a point estimate describing sample properties. Additionally, we present a freely available R package to streamline psychometric analysis with Rasch Measurement Theory and its documentation in line with the reporting guideline.
|
|
| 2. |
- Mattsson, Jens, et al.
(författare)
-
Modeller för att leda och styra mot social hållbarhet. : lärdomar från ett innovationspartnerskap
- 2023
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Mellan 2020-11-01 och 2023-09-30 har RISE varit medskapande i ett innovationspartnerskap med Kungälv och Mölndals kommun för att gynna det lokala arbetet och bidra till den bredare kunskapsutvecklingen för att stödja kommuners omställning mot ökad social hållbarhet. Denna slutrapport innehåller en beskrivning av innovationspartnerskapet och är ett kunskapsunderlag för fortsatt utvecklingsarbete.Projektet har syftat till att skapa effektiv ledning och styrning mot social hållbarhet genom att utveckla och testa en uppföljningsmodell. Modellen kallas SMASH, vilket står för Systematisk Mätning och Analays av Social Hållbarhet. Modellen utvecklades utifrån de behov kommunerna hade, och innefattar tre delar: en ekonomisk modell för att beräkna vinster av insatser inom socialt arbete och sociala investeringar, en uppföljningsstruktur gällande indikatorer och mål samt ett batteri av verktyg för systematisk verksamhetsutveckling. Både Mölndal och Kungälv valde att arbeta inom arbetsmarknad-/ vuxenutbildningsområdet eftersom det var aktuella processer i båda kommunerna. Modellen kan dock användas inom fler områden.Modellen som utvecklats i projektet ger en bättre förståelse av vad som ska följas upp och hur, bland både politik och verksamhet. Modellen har använts som verktyg för att följa upp och utvärdera insatser och projekt inom ramen för socialt arbete. Modellen kan hjälpa till att följa och styra mot sociala hållbarhetsmål, främst genom att koppla politiska mål till aktiviteter och utfall.De främsta organisatoriska förflyttningarna som skett som en följd av SMASH och Innovationspartnerskapet handlar om ett större fokus på att mäta utfall, inte bara mål, samt en förbättrad samarbetskultur mellan chefer och medarbetare och mellan olika verksamheter och sektorer. SMASH har också lett till en gemensam förståelse och ett gemensamt språk kring uppföljning, en ökad politisk medvetenhet om vikten av realistiska mål och en bättre struktur för uppföljning.En central del i innovationspartnerskapet har varit att involvera parter från olika nivåer i kommunerna och genom dialoger skapa en gemensam förståelse av ägandeskap, ansvar och mandat kring uppföljning av social hållbarhet. Det är i dialogen som det främsta lärandet har skett.Innovationspartnerskapet har skapat utrymme för analys och utveckling kopplat till uppföljning av social hållbarhet. RISE ser att både Kungälv och Mölndal har gjort stora förflyttningar inom ramen för SMASH. Det handlar främst om stärkt helhetstänk och utvecklad systematisk kvalitetsutveckling som i sin tur har flyttat fram kommunernas arbete och fokus på social hållbarhet.
|
|
| 3. |
- Melin, Jeanette, et al.
(författare)
-
A sustainable organization for measurement quality assurance of category based measurements : Tasked with coordinating and ensuring reliable and comparable measurements of experiences, feelings, behaviours and abilities
- 2023
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Why?Society's need for knowledge about experiences, feelings, behaviours and abilities is increasing. It is important to know how people and society feel or how a product or service is perceived, and to be able to compare how these change over time and between different areas, for example when making decisions about priorities, efforts and effects. In order for measurements of experiences, feelings, behaviours and abilities to be useful and provide reliable data, quality-assured measurement is required for socalled category based measurements1. It is therefore necessary that basic measurement principles are applied, which is often not the case today in this field. For the physical quantities (length, mass, time, etc.) there has long been an internationally established measurement quality infrastructure. In Sweden, it is mainly RISE as the National Metrological Institute which, through its national measurement sites, is responsible for ensuring access to quality-assured and traceable measurements for society. However, the corresponding measurement quality infrastructure is so far missing for category based measurements.What?RISE has been working for several years to develop methodology and working methods for measurement quality assurance of experiences, feelings, behaviours and abilities. Through dialogue over several years with actors at various levels, including in health care and academia, it has emerged that there is a great need for support for this development. RISE has therefore produced a first draft of a possible sustainable organization for measurement quality assurance of category based measurements. A national centre for quality assurance of category based measurements would be tasked with coordinating and ensuring reliable and comparable measurements of experiences, feelings, behaviours and abilities. Such infrastructural support must make methodologies available to enable quality assurance for category based measurements. The organization must meet society's need for support by offering services based on internationally accepted metrological principles and scientific methods, as well as adopting a neutral and independent role.How?We have humility about the fact that it is a long process to establish an organization for category based measurements and that it needs to happen through a dynamic and iterative development in co-creation with the actors involved. We look forward to continuing to develop ideas and revise the proposal in dialogue in the coming years. It is also important to start a dialogue together with relevant actors about how the implementation of the organization can take place in the future.
|
|
| 4. |
- Melin, Jeanette, et al.
(författare)
-
En hållbar organisering för mätkvalitetssäkring av kategoribaserade mätningar : Med uppdrag att samordna och säkerställa tillförlitliga och jämförbara mätningar av upplevelser, känslor, beteenden och förmågor
- 2023
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Varför?Samhällets behov av kunskap om upplevelser, känslor, beteenden och förmågor ökar. Det är viktigt att veta hur personer och samhället mår eller hur en produkt eller tjänst upplevs samt att kunna jämföra hur detta förändras över tid och mellan olika områden, för att exempelvis fatta beslut om prioriteringar, insatser och effekter. För att mätningar av upplevelser, känslor, beteenden och förmågor ska vara användbara och ge tillförlitliga underlag krävs kvalitetssäkrad mätteknik för s.k. kategoribaserade mätningar. Det är alltså nödvändigt att grundläggande mättekniska principer tillämpas, vilket ofta inte är fallet i dag inom detta område. För de fysikaliska storheterna (längd, massa, tid etc.) finns sedan länge en internationellt etablerad mätkvalitetsinfrastruktur. I Sverige är det huvudsakligen RISE som Nationellt Metrologiskt Institut som genom sina riksmätplatser ansvarar för att säkerställa tillgång till kvalitetssäkrade och spårbara mätningar för samhället. Motsvarande mätkvalitetsinfrastruktur saknas dock för kategoribaserade mätningar.Vad?RISE arbetar sedan flera år för att utveckla metoder och arbetssätt för mätkvalitetssäkring av upplevelser, känslor, beteenden och förmågor. Genom dialoger med aktörer på olika nivåer, bland annat inom hälso- och sjukvården och akademin, som pågått under flera års tid har det framkommit att det finns ett stort behov av stöd för denna utveckling. RISE har därför tagit fram ett första utkast för en möjlig hållbar organisering för mätkvalitetssäkring av kategoribaserade mätningar. Ett nationellt centrum för mätkvalitetssäkring av kategoribaserade mätningar skulle ha i uppdrag att samordna och säkerställa tillförlitliga och jämförbara mätningar av upplevelser, känslor, beteenden och förmågor. Ett sådant infrastrukturellt stöd ska tillgängliggöra metodiker för att möjliggöra mätkvalitetssäkring för kategoribaserade mätningar. Organiseringen ska möta samhällets behov av stöd genom att erbjuda tjänster baserade på internationellt vedertagna mättekniska principer och vetenskapliga metoder samt ha en neutral och oberoende roll.Hur?Det finns en stor ödmjukhet kring att det är en lång process att etablera en organisering för kategoribaserade mätningar och att det behöver ske genom en dynamisk och iterativ utveckling i samskapande med berörda aktörer. Vi ser fram emot att fortsätta utveckla tankar och revidera förslaget i dialog under kommande år. Det är också viktigt att påbörja en dialog tillsammans med relevanta aktörer om hur implementeringen av organiseringen kan ske i framtiden.
|
|
| 5. |
- Odhnoff, Carl, et al.
(författare)
-
Kostnad och nytta av föräldraskapsstödet ABC - Slutrapportering av uppdrag i Göteborgs Stads budget 2022
- 2024
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- I Göteborgs Stads budget 2022 fick de fyra socialnämnderna i uppdrag att ta fram en modell för att göra samhällsekonomiska analyser av insatser mot rekrytering av unga till kriminella gäng. Vi fyra socialförvaltningar inledde därför ett samarbete med RISE och påbörjade en pilotstudie där vi kunde utveckla en sådan modell och pröva den i ett avgränsat sammanhang. Vi riktade in studien på det generella föräldraskapsstödsprogrammet Alla barn i centrum (ABC). Socialförvaltningarna och RISE tog tillsammans fram en teoretisk modell där vi med hjälp av tidigare forskning kopplade föräldrars deltagande i ABC till minskat utagerande beteende hos deras barn. Utagerande beteende kan medföra kostnader för skolan genom stödinsatser. Det är också en riskfaktor för kriminalitet, och gick därmed att koppla till insatser från socialtjänsten. På så sätt kunde vi jämföra de kostnader staden har för ABC med uppskattade framtida minskningar i kostnader för skolinsatser och socialtjänstinsatser. På grund av att det var få tjejer som fått insatser för kriminalitet var vi tvungna att avgränsa modellen till att endast inkludera pojkar. Dataunderlaget för tjejer var för litet för att det skulle bli säkert att räkna på. Det skulle dock vara möjligt att inkludera tjejerna i modellen med ett större dataunderlag i framtiden. Våra analyser med hjälp av modellen har visat att det sannolikt är ekonomiskt lönsamt för staden att tillhandahålla ABC för pojkar. Den uppskattade nyttan, i form av minskade kostnader för stödinsatser i skola och socialtjänstinsatser mot kriminalitet för pojkar under åldern 13–20 år, var ungefär dubbelt så stor som kostnaden för att tillhandahålla ABC till föräldrarna någon gång när pojkarna var 12 år eller yngre. Varje deltagare kostade staden 7684 kronor men innebar sedan nytta motsvarande 14 003 kronor. Uppdelat per verksamhet så var nyttan per deltagare 10 843 kronor för socialtjänsten och 3160 kronor för skolan.
|
|
| 6. |
- Preuter, Marit, et al.
(författare)
-
Societal costs of severe-to-profound hearing loss among adults without cochlear implants– A health economic evaluation using a Markov model
- 2023
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Severe-to-profound hearing loss (STPHL) forms a large burden of disease and is among others in Sweden a growing public health concern due to an aging society. Cochlear implants (CI) form a safe and useful treatment for STPHL, but despite its benefits, only 13 percent of the adults with STPHL that are eligible for CI receive this treatment. To underpin the need for better treatment, a health economic evaluation has been conducted on the societal costs of STPHL among Swedish adults when not treated with CI. A better understanding of these costs might give a better insight into the need for improved treatment and can be used for discussions regarding policymaking for the treatment of STPHL. In this project, a Markov model has been created that enables the calculation of the societal costs of STPHL among adults who might be eligible for CI who do not receive this treatment. These costs are being compared to the costs of a similar group of adults without hearing loss. Next to a calculation of the costs for the Swedish society, the model can even be used for similar calculations in other Nordic countries. This report describes how the Markov model has been created, how the calculations have been conducted, and how the model can be used. As the model forms a simplified simulation of reality, several aspects of STPHL that appear in real life are missed. For the most part, this leads to an underestimation of the societal costs of STPHL when not treated with CI, which makes this model conservative. A shortage of studies regarding some of the parameters of the model leads to uncertainty in the values of these parameters and thus the calculations. More research on the topic is needed to be able to make more secure calculations. Over a period of 23 years, the additional costs of STPHL for the simulated cohort are expected to be 23,9 billion SEK, which equals approximately 1,2 million SEK per person. However, due to the uncertainties in the model one should be careful with the usage of a single number. Instead, it is highly recommended to look at how the results may change based on changing values of parameters which is possible by use of a sensitivity analysis. Most of the costs are caused by fall accidents and paid by municipalities, due to the costs for home care after fall accidents. Next to the calculations presented in this report, it would be valuable to know how high the calculated societal costs are compared to the costs of a similar cohort that does receive CI treatment. Despite that this comparison is not possible to make today due to a lack of research, it is possible to describe how the current model can be used to make the comparison between receivers and non-receivers of CI, in case the needed studies are available in the future. One of the aims of the project was to enable a similar analysis within the other Nordic countries. For this, a description of such usage has been provided at the end of this report. As the calculations only apply to the Swedish society and are based on the Swedish population, usage of the model in other Nordic countries requires changes in the values of some of the parameters in the model. Usage of the model in other countries requires more, major changes as these have different systems for health governance and funding of health care.
|
|
| 7. |
- Preuter, Marit, et al.
(författare)
-
Strukturer och indikatorer för uppföljning av föräldraskapsstöd
- 2022
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Det finns behov av att ge vägledning till aktörer som erbjuder föräldraskapsstöd kring hur en ändamålsenlig struktur för uppföljning kan se ut och vilka indikatorer och mätverktyg som en sådan struktur kan bestå av. RISE har på uppdrag av MFoF under hösten 2021 undersökt befintliga exempel på uppföljning hos ett antal kommuner och civilsamhällesaktörer samt granskat de mätverktyg som lyfts fram i olika forskningsstudier. Resultaten av granskningen presenteras i denna rapport tillsammans med förslag på hur uppföljning kan gå till i praktiken. Målsättningen för arbetet har varit att ge förslag på uppföljning som täcker in struktur-, process-, resultat- och utfallsmått, för att på så vis ge förutsättningar för en uppföljning som ger underlag för kontinuerlig utveckling och som säger något om kvaliteten i det föräldraskapsstöd som erbjuds. Två ambitionsnivåer vad gäller uppföljning presenteras med hänsyn till att det finns olika förutsättningar och kapacitet för uppföljning i olika organisationer (se sidan 18 för översikt). Som strukturmått föreslås bland annat mått kring kapacitet att erbjuda evidensbaserade insatser liksom vilka resurser som avsätts. Exempel på processmått är att följa andelen som fullföljer föräldraskapsstödsprogram, som resultatmått föreslås att följa upplevelse/nöjdhet och som huvudsakligt effektmått rekommenderas föräldraförmåga. Utifrån kvalitetsbedömningen av enkäter rekommenderas att • föräldra-barnrelationen skattas med Child-Parents Relations Scale (CPRS, 6 frågor). Dock är befintlig psykometrisk analys undermåligt rapporterad vilket gör rekommendationen svag. • barns utagerande beteende bedöms av lärare eller föräldrar med Strengths and Difficulties Questionnaire (SDQ, 25 frågor) som screening-verktyg, när samtliga problemskalor sammanfogas. Det rekommenderas inte att använda SDQ till utvärdering av insatser eller att använda delskalorna separat, p.g.a. bristande reliabilitet. • barns välbefinnande skattas med sju frågor (se bilaga 3) • föräldrars välbefinnande skattas med antingen Short Warwick-Edinburgh Mental Well-Being Scale (SWEMWBS, 7 frågor) eller Brunnsviken Brief Quality of Life Scale (BBQ, 6 frågor). • föräldrars stress skattas med Perceived Stress Scale (PSS, 7 frågor, anpassad version, se analyser i rapporten) Granskningen av forskningsbaserade enkäter kan tyckas nedslående då det visar sig vara få som lever upp till de psykometriska kvalitetskrav som bör gälla. Samtidigt beror slutsatserna delvis på att det saknas eller finns bristfälliga publicerade psykometriska studier, vilket innebär att det finns möjligheter att göra kompletterande analyser av insamlade data och vid behov justeringar av befintliga mätverktyg. Under arbetet med denna rapport har RISE inlett samarbete med forskare vid Karolinska Institutet för att stötta ett pågående projekt att ta fram nya, fritt tillgängliga enkäter för att mäta process- och utfallsmått som avses användas i samband med forskning och praktik kopplat till föräldraskapsstöd. Ett målmedvetet arbete med att dels testa uppföljningsstrukturen tillsammans med några organisationer dels kvalitetssäkra ett antal mätverktyg skulle innebära en stor förflyttning vad gäller förutsättningar att stödja implementeringen av föräldraskapsstöd i enlighet med den nationella strategin.
|
|
