Validity and reproducibility of a tool for assessing clinical competencies in physical therapy students

Research output: Contribution to journalArticle

Abstract

Background: The evaluation of competencies in the clinical field is essential for health professionals, as it allows the acquisition of these competencies to be tracked. The objective of this study was to create and evaluate the validity and reliability of a tool for measuring clinical competencies in physical therapy (PT) students to assess the quality of their performance in a professional context. Methods: A descriptive study was designed. The Measurement Tool for Clinical Competencies in PT (MTCCP) was developed based on the evaluation of 39 experts: 15 clinicians and 24 instructors. The content validity was evaluated using the Content Validity Index (CVI). Three professors were invited to apply the tool to 10 students. Cronbach's alpha, exploratory factor analysis, and the intraclass correlation coefficient were used to determine the reliability and validity of the scale. Results: The CVI was positive-higher than 0.8. Principal component analysis confirmed the construct validity of the tool for two main factors: clinical reasoning (first factor) and professional behavior (second factor). With regard to reliability, the MTCCP achieved an internal congruence of 0.982. The inter-evaluator reproducibility for clinical reasoning, professional behavior, and the total MTCCP score was almost perfect; the ICCs were 0.984, 0.930, and 0.983, respectively. Conclusions: The MTCCP is a valid and reliable instrument for assessing the performance of PT students in hospital settings and can be used to determine what skills students feel less confident using and what additional training/learning opportunities could be provided. Further research is needed to determine whether the MTCCP has similar validity and reproducibility in other Spanish-speaking national and international PT programs.
Original languageEnglish
Pages (from-to)1-8
Number of pages8
JournalBMC Medical Education
Volume18
Issue number1
DOIs
StatePublished - Nov 23 2018

Cite this

@article{f59215d498d744a2b20718265246f716,
title = "Validity and reproducibility of a tool for assessing clinical competencies in physical therapy students",
abstract = "Antecedentes: La evaluaci{\'o}n de competencias en el campo cl{\'i}nico es esencial para los profesionales de la salud, ya que permite hacer un seguimiento de la adquisici{\'o}n de estas competencias. El objetivo de este estudio fue crear y evaluar la validez y fiabilidad de una herramienta para medir las competencias cl{\'i}nicas de los estudiantes de fisioterapia (fisioterapia) para evaluar la calidad de su desempe{\~n}o en un contexto profesional. M{\'e}todos: Se dise{\~n}{\'o} un estudio descriptivo. La Herramienta de Medici{\'o}n de Competencias Cl{\'i}nicas en PT (MTCCP) fue desarrollada sobre la base de la evaluaci{\'o}n de 39 expertos: 15 m{\'e}dicos y 24 instructores. La validez del contenido se evalu{\'o} utilizando el {\'I}ndice de Validez del Contenido (CVI). Se invit{\'o} a tres profesores a aplicar la herramienta a 10 estudiantes. El alfa de Cronbach, el an{\'a}lisis factorial exploratorio y el coeficiente de correlaci{\'o}n intraclase se utilizaron para determinar la fiabilidad y validez de la escala. Resultados: El IVC fue positivo: superior a 0,8. El an{\'a}lisis de los componentes principales confirm{\'o} la validez del constructo de la herramienta para dos factores principales: el razonamiento cl{\'i}nico (primer factor) y el comportamiento profesional (segundo factor). En cuanto a la fiabilidad, el MTCCP alcanz{\'o} una congruencia interna de 0,982. La reproducibilidad entre evaluadores para el razonamiento cl{\'i}nico, el comportamiento profesional y la puntuaci{\'o}n total del MTCCP fue casi perfecta; los ICC fueron de 0,984, 0,930 y 0,983, respectivamente. Conclusiones: El MTCCP es un instrumento v{\'a}lido y fiable para evaluar el rendimiento de los estudiantes de fisioterapia en entornos hospitalarios y puede utilizarse para determinar qu{\'e} habilidades utilizan los estudiantes con menos confianza y qu{\'e} oportunidades adicionales de formaci{\'o}n/aprendizaje podr{\'i}an ofrecerse. Se necesita m{\'a}s investigaci{\'o}n para determinar si el MTCCP tiene una validez y reproducibilidad similar en otros programas de fisioterapia nacionales e internacionales de habla hispana.",
author = "Martha-Rocio Torres-Narvaez and Olga-Cecilia Vargas-Pinilla and Eliana-Isabel Rodriguez-Grande",
year = "2018",
month = "11",
day = "23",
doi = "10.1186/s12909-018-1377-x",
language = "Ingl{\'e}s",
volume = "18",
pages = "1--8",
journal = "BMC Medical Education",
issn = "1472-6920",
publisher = "BioMed Central",
number = "1",

}

TY - JOUR

T1 - Validity and reproducibility of a tool for assessing clinical competencies in physical therapy students

AU - Torres-Narvaez, Martha-Rocio

AU - Vargas-Pinilla, Olga-Cecilia

AU - Rodriguez-Grande, Eliana-Isabel

PY - 2018/11/23

Y1 - 2018/11/23

N2 - Antecedentes: La evaluación de competencias en el campo clínico es esencial para los profesionales de la salud, ya que permite hacer un seguimiento de la adquisición de estas competencias. El objetivo de este estudio fue crear y evaluar la validez y fiabilidad de una herramienta para medir las competencias clínicas de los estudiantes de fisioterapia (fisioterapia) para evaluar la calidad de su desempeño en un contexto profesional. Métodos: Se diseñó un estudio descriptivo. La Herramienta de Medición de Competencias Clínicas en PT (MTCCP) fue desarrollada sobre la base de la evaluación de 39 expertos: 15 médicos y 24 instructores. La validez del contenido se evaluó utilizando el Índice de Validez del Contenido (CVI). Se invitó a tres profesores a aplicar la herramienta a 10 estudiantes. El alfa de Cronbach, el análisis factorial exploratorio y el coeficiente de correlación intraclase se utilizaron para determinar la fiabilidad y validez de la escala. Resultados: El IVC fue positivo: superior a 0,8. El análisis de los componentes principales confirmó la validez del constructo de la herramienta para dos factores principales: el razonamiento clínico (primer factor) y el comportamiento profesional (segundo factor). En cuanto a la fiabilidad, el MTCCP alcanzó una congruencia interna de 0,982. La reproducibilidad entre evaluadores para el razonamiento clínico, el comportamiento profesional y la puntuación total del MTCCP fue casi perfecta; los ICC fueron de 0,984, 0,930 y 0,983, respectivamente. Conclusiones: El MTCCP es un instrumento válido y fiable para evaluar el rendimiento de los estudiantes de fisioterapia en entornos hospitalarios y puede utilizarse para determinar qué habilidades utilizan los estudiantes con menos confianza y qué oportunidades adicionales de formación/aprendizaje podrían ofrecerse. Se necesita más investigación para determinar si el MTCCP tiene una validez y reproducibilidad similar en otros programas de fisioterapia nacionales e internacionales de habla hispana.

AB - Antecedentes: La evaluación de competencias en el campo clínico es esencial para los profesionales de la salud, ya que permite hacer un seguimiento de la adquisición de estas competencias. El objetivo de este estudio fue crear y evaluar la validez y fiabilidad de una herramienta para medir las competencias clínicas de los estudiantes de fisioterapia (fisioterapia) para evaluar la calidad de su desempeño en un contexto profesional. Métodos: Se diseñó un estudio descriptivo. La Herramienta de Medición de Competencias Clínicas en PT (MTCCP) fue desarrollada sobre la base de la evaluación de 39 expertos: 15 médicos y 24 instructores. La validez del contenido se evaluó utilizando el Índice de Validez del Contenido (CVI). Se invitó a tres profesores a aplicar la herramienta a 10 estudiantes. El alfa de Cronbach, el análisis factorial exploratorio y el coeficiente de correlación intraclase se utilizaron para determinar la fiabilidad y validez de la escala. Resultados: El IVC fue positivo: superior a 0,8. El análisis de los componentes principales confirmó la validez del constructo de la herramienta para dos factores principales: el razonamiento clínico (primer factor) y el comportamiento profesional (segundo factor). En cuanto a la fiabilidad, el MTCCP alcanzó una congruencia interna de 0,982. La reproducibilidad entre evaluadores para el razonamiento clínico, el comportamiento profesional y la puntuación total del MTCCP fue casi perfecta; los ICC fueron de 0,984, 0,930 y 0,983, respectivamente. Conclusiones: El MTCCP es un instrumento válido y fiable para evaluar el rendimiento de los estudiantes de fisioterapia en entornos hospitalarios y puede utilizarse para determinar qué habilidades utilizan los estudiantes con menos confianza y qué oportunidades adicionales de formación/aprendizaje podrían ofrecerse. Se necesita más investigación para determinar si el MTCCP tiene una validez y reproducibilidad similar en otros programas de fisioterapia nacionales e internacionales de habla hispana.

U2 - 10.1186/s12909-018-1377-x

DO - 10.1186/s12909-018-1377-x

M3 - Artículo

VL - 18

SP - 1

EP - 8

JO - BMC Medical Education

JF - BMC Medical Education

SN - 1472-6920

IS - 1

ER -