How to Optimize Measurement Protocols: An Example of Assessing Measurement Reliability Using Generalizability Theory

Physiother Can. 2020 Spring;72(2):112-121. doi: 10.3138/ptc-2018-0110.

Abstract

Purpose: This article identifies how to assess multiple sources of measurement error and identify optimal measurement strategies for obtaining clinical outcomes. Method: Obtaining, interpreting, and using information gained from measurements is instrumental in physiotherapy. To be useful, measurements must have a sufficiently small measurement error. Traditional expressions of reliability include relative reliability in the form of an intra-class correlation coefficient and absolute reliability in the form of the standard error of measurement. Traditional metrics are limited to assessing one source of error; however, real-world measurements consist of many sources of error. The measurement framework generalizability theory (GT) allows researchers to partition measurement errors into multiple sources. GT further allows them to calculate the relative and absolute reliability of any measurement strategy, thereby allowing them to identify the optimal strategy. We provide a brief comparison of classical test theory and GT, followed by an overview of the terminology and methodology used in GT, and then an example showing how GT can be used to minimize error associated with measuring knee extension power. Conclusion: The methodology described provides tools for researchers and clinicians that enable detailed interpretation and understanding of the error associated with their measurements.

Objectif : décrire comment évaluer de multiples sources d’erreur de mesure et les stratégies de mesures optimales pour obtenir des résultats cliniques. Méthodologie : il est important d’obtenir, d’interpréter et d’utiliser l’information tirée des mesures en physiothérapie. Pour que ces mesures soient utiles, leur écart-type doit être suffisamment petit. Les expressions habituelles de fiabilité incluent la fiabilité relative sous forme de coefficient de corrélation intraclasse et la fiabilité absolue sous forme d’écart-type des mesures. Les mesures habituelles sont limitées à l’évaluation d’une source d’erreur. Cependant, les mesures réelles s’associent à plusieurs sources d’erreur. La théorie de généralisabilité (TG) du cadre de mesure permet aux chercheurs de diviser les erreurs de mesure selon de multiples sources. Elle leur permet également de calculer la fiabilité relative et absolue de toute stratégie de mesure, pour parvenir à une stratégie optimale. Le présent article fournit une brève comparaison entre la théorie du test classique et la TG, puis un aperçu de la terminologie et de la méthodologie utilisées en TG. Enfin, les auteurs présentent un exemple démontrant comment utiliser la TG pour limiter l’erreur associée à la mesure de la puissance d’extension du genou. Conclusion : la méthodologie décrite fournit des outils pour les chercheurs et les cliniciens afin de parvenir à une interprétation et une compréhension détaillées des erreurs de mesure.

Keywords: biostatistics; biostatistique; outcome and process assessment, health care; recherche en réadaptation; rehabilitation research; reproducibility of results; reproductibilité des résultats; spécialité de la physiothérapie; évaluation des résultats.