| 1. |
- Johansson, Magnus, et al.
(författare)
-
Valid and Reliable? : Basic and Expanded Recommendations for Psychometric Reporting and Quality Assessment
- 2023
-
Annan publikation (övrigt vetenskapligt/konstnärligt)abstract
- There is a need to improve the validity, reliability, and replicability of social and health science research and its applications through raising the quality of measurement. An important step is to establish and implement a clear and useful guideline for reporting and assessing psychometric properties of measures. We propose five basic criteria as a minimal checklist to help end users assess the quality of psychometric studies: unidimensionality; ordered response categories, invariance; targeting; and, contingent upon the previous four being fulfilled, reliability. An expanded and detailed reporting guideline is also presented, intended for use in reports and scientific publications of psychometric analyses. We argue that reliability should be reported using a Test Information Function curve, which describes the properties of the items, rather than a point estimate describing sample properties. Additionally, we present a freely available R package to streamline psychometric analysis with Rasch Measurement Theory and its documentation in line with the reporting guideline.
|
|
| 2. |
- Mattsson, Jens, et al.
(författare)
-
Modeller för att leda och styra mot social hållbarhet. : lärdomar från ett innovationspartnerskap
- 2023
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Mellan 2020-11-01 och 2023-09-30 har RISE varit medskapande i ett innovationspartnerskap med Kungälv och Mölndals kommun för att gynna det lokala arbetet och bidra till den bredare kunskapsutvecklingen för att stödja kommuners omställning mot ökad social hållbarhet. Denna slutrapport innehåller en beskrivning av innovationspartnerskapet och är ett kunskapsunderlag för fortsatt utvecklingsarbete.Projektet har syftat till att skapa effektiv ledning och styrning mot social hållbarhet genom att utveckla och testa en uppföljningsmodell. Modellen kallas SMASH, vilket står för Systematisk Mätning och Analays av Social Hållbarhet. Modellen utvecklades utifrån de behov kommunerna hade, och innefattar tre delar: en ekonomisk modell för att beräkna vinster av insatser inom socialt arbete och sociala investeringar, en uppföljningsstruktur gällande indikatorer och mål samt ett batteri av verktyg för systematisk verksamhetsutveckling. Både Mölndal och Kungälv valde att arbeta inom arbetsmarknad-/ vuxenutbildningsområdet eftersom det var aktuella processer i båda kommunerna. Modellen kan dock användas inom fler områden.Modellen som utvecklats i projektet ger en bättre förståelse av vad som ska följas upp och hur, bland både politik och verksamhet. Modellen har använts som verktyg för att följa upp och utvärdera insatser och projekt inom ramen för socialt arbete. Modellen kan hjälpa till att följa och styra mot sociala hållbarhetsmål, främst genom att koppla politiska mål till aktiviteter och utfall.De främsta organisatoriska förflyttningarna som skett som en följd av SMASH och Innovationspartnerskapet handlar om ett större fokus på att mäta utfall, inte bara mål, samt en förbättrad samarbetskultur mellan chefer och medarbetare och mellan olika verksamheter och sektorer. SMASH har också lett till en gemensam förståelse och ett gemensamt språk kring uppföljning, en ökad politisk medvetenhet om vikten av realistiska mål och en bättre struktur för uppföljning.En central del i innovationspartnerskapet har varit att involvera parter från olika nivåer i kommunerna och genom dialoger skapa en gemensam förståelse av ägandeskap, ansvar och mandat kring uppföljning av social hållbarhet. Det är i dialogen som det främsta lärandet har skett.Innovationspartnerskapet har skapat utrymme för analys och utveckling kopplat till uppföljning av social hållbarhet. RISE ser att både Kungälv och Mölndal har gjort stora förflyttningar inom ramen för SMASH. Det handlar främst om stärkt helhetstänk och utvecklad systematisk kvalitetsutveckling som i sin tur har flyttat fram kommunernas arbete och fokus på social hållbarhet.
|
|
| 3. |
- Melin, Jeanette, et al.
(författare)
-
A sustainable organization for measurement quality assurance of category based measurements : Tasked with coordinating and ensuring reliable and comparable measurements of experiences, feelings, behaviours and abilities
- 2023
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Why?Society's need for knowledge about experiences, feelings, behaviours and abilities is increasing. It is important to know how people and society feel or how a product or service is perceived, and to be able to compare how these change over time and between different areas, for example when making decisions about priorities, efforts and effects. In order for measurements of experiences, feelings, behaviours and abilities to be useful and provide reliable data, quality-assured measurement is required for socalled category based measurements1. It is therefore necessary that basic measurement principles are applied, which is often not the case today in this field. For the physical quantities (length, mass, time, etc.) there has long been an internationally established measurement quality infrastructure. In Sweden, it is mainly RISE as the National Metrological Institute which, through its national measurement sites, is responsible for ensuring access to quality-assured and traceable measurements for society. However, the corresponding measurement quality infrastructure is so far missing for category based measurements.What?RISE has been working for several years to develop methodology and working methods for measurement quality assurance of experiences, feelings, behaviours and abilities. Through dialogue over several years with actors at various levels, including in health care and academia, it has emerged that there is a great need for support for this development. RISE has therefore produced a first draft of a possible sustainable organization for measurement quality assurance of category based measurements. A national centre for quality assurance of category based measurements would be tasked with coordinating and ensuring reliable and comparable measurements of experiences, feelings, behaviours and abilities. Such infrastructural support must make methodologies available to enable quality assurance for category based measurements. The organization must meet society's need for support by offering services based on internationally accepted metrological principles and scientific methods, as well as adopting a neutral and independent role.How?We have humility about the fact that it is a long process to establish an organization for category based measurements and that it needs to happen through a dynamic and iterative development in co-creation with the actors involved. We look forward to continuing to develop ideas and revise the proposal in dialogue in the coming years. It is also important to start a dialogue together with relevant actors about how the implementation of the organization can take place in the future.
|
|
| 4. |
- Melin, Jeanette, et al.
(författare)
-
En hållbar organisering för mätkvalitetssäkring av kategoribaserade mätningar : Med uppdrag att samordna och säkerställa tillförlitliga och jämförbara mätningar av upplevelser, känslor, beteenden och förmågor
- 2023
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Varför?Samhällets behov av kunskap om upplevelser, känslor, beteenden och förmågor ökar. Det är viktigt att veta hur personer och samhället mår eller hur en produkt eller tjänst upplevs samt att kunna jämföra hur detta förändras över tid och mellan olika områden, för att exempelvis fatta beslut om prioriteringar, insatser och effekter. För att mätningar av upplevelser, känslor, beteenden och förmågor ska vara användbara och ge tillförlitliga underlag krävs kvalitetssäkrad mätteknik för s.k. kategoribaserade mätningar. Det är alltså nödvändigt att grundläggande mättekniska principer tillämpas, vilket ofta inte är fallet i dag inom detta område. För de fysikaliska storheterna (längd, massa, tid etc.) finns sedan länge en internationellt etablerad mätkvalitetsinfrastruktur. I Sverige är det huvudsakligen RISE som Nationellt Metrologiskt Institut som genom sina riksmätplatser ansvarar för att säkerställa tillgång till kvalitetssäkrade och spårbara mätningar för samhället. Motsvarande mätkvalitetsinfrastruktur saknas dock för kategoribaserade mätningar.Vad?RISE arbetar sedan flera år för att utveckla metoder och arbetssätt för mätkvalitetssäkring av upplevelser, känslor, beteenden och förmågor. Genom dialoger med aktörer på olika nivåer, bland annat inom hälso- och sjukvården och akademin, som pågått under flera års tid har det framkommit att det finns ett stort behov av stöd för denna utveckling. RISE har därför tagit fram ett första utkast för en möjlig hållbar organisering för mätkvalitetssäkring av kategoribaserade mätningar. Ett nationellt centrum för mätkvalitetssäkring av kategoribaserade mätningar skulle ha i uppdrag att samordna och säkerställa tillförlitliga och jämförbara mätningar av upplevelser, känslor, beteenden och förmågor. Ett sådant infrastrukturellt stöd ska tillgängliggöra metodiker för att möjliggöra mätkvalitetssäkring för kategoribaserade mätningar. Organiseringen ska möta samhällets behov av stöd genom att erbjuda tjänster baserade på internationellt vedertagna mättekniska principer och vetenskapliga metoder samt ha en neutral och oberoende roll.Hur?Det finns en stor ödmjukhet kring att det är en lång process att etablera en organisering för kategoribaserade mätningar och att det behöver ske genom en dynamisk och iterativ utveckling i samskapande med berörda aktörer. Vi ser fram emot att fortsätta utveckla tankar och revidera förslaget i dialog under kommande år. Det är också viktigt att påbörja en dialog tillsammans med relevanta aktörer om hur implementeringen av organiseringen kan ske i framtiden.
|
|
| 5. |
- Preuter, Marit, et al.
(författare)
-
Societal costs of severe-to-profound hearing loss among adults without cochlear implants– A health economic evaluation using a Markov model
- 2023
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Severe-to-profound hearing loss (STPHL) forms a large burden of disease and is among others in Sweden a growing public health concern due to an aging society. Cochlear implants (CI) form a safe and useful treatment for STPHL, but despite its benefits, only 13 percent of the adults with STPHL that are eligible for CI receive this treatment. To underpin the need for better treatment, a health economic evaluation has been conducted on the societal costs of STPHL among Swedish adults when not treated with CI. A better understanding of these costs might give a better insight into the need for improved treatment and can be used for discussions regarding policymaking for the treatment of STPHL. In this project, a Markov model has been created that enables the calculation of the societal costs of STPHL among adults who might be eligible for CI who do not receive this treatment. These costs are being compared to the costs of a similar group of adults without hearing loss. Next to a calculation of the costs for the Swedish society, the model can even be used for similar calculations in other Nordic countries. This report describes how the Markov model has been created, how the calculations have been conducted, and how the model can be used. As the model forms a simplified simulation of reality, several aspects of STPHL that appear in real life are missed. For the most part, this leads to an underestimation of the societal costs of STPHL when not treated with CI, which makes this model conservative. A shortage of studies regarding some of the parameters of the model leads to uncertainty in the values of these parameters and thus the calculations. More research on the topic is needed to be able to make more secure calculations. Over a period of 23 years, the additional costs of STPHL for the simulated cohort are expected to be 23,9 billion SEK, which equals approximately 1,2 million SEK per person. However, due to the uncertainties in the model one should be careful with the usage of a single number. Instead, it is highly recommended to look at how the results may change based on changing values of parameters which is possible by use of a sensitivity analysis. Most of the costs are caused by fall accidents and paid by municipalities, due to the costs for home care after fall accidents. Next to the calculations presented in this report, it would be valuable to know how high the calculated societal costs are compared to the costs of a similar cohort that does receive CI treatment. Despite that this comparison is not possible to make today due to a lack of research, it is possible to describe how the current model can be used to make the comparison between receivers and non-receivers of CI, in case the needed studies are available in the future. One of the aims of the project was to enable a similar analysis within the other Nordic countries. For this, a description of such usage has been provided at the end of this report. As the calculations only apply to the Swedish society and are based on the Swedish population, usage of the model in other Nordic countries requires changes in the values of some of the parameters in the model. Usage of the model in other countries requires more, major changes as these have different systems for health governance and funding of health care.
|
|
