Maria Fernanda Beltrán Pabón1, Luz Yojaira Nivia Rodriguez2, Diana Carolina Molina Cárdenas3, Erika Yohana Ballén Gómez4, Lizeth Daniela Hastamorir Clavijo5, Adriana Lucía Castellanos6.
Recibido para publicación: 13-04-2021 - Versión corregida: 03-05-2022 - Aprobado para publicación: 22-07-2022
Beltrán-Pabón M.F., Nivia-Rodriguez L.Y., Molina-Cárdenas D.C., Ballén-Gómez E.Y., Hastamorir Clavijo L.D., Castellanos A.L. Validez de contenido de un aplicativo móvil para el seguimiento en casa del desarrollo motor de niños prematuros. Arch Med (Manizales). 2022. 22(2):221- 229. https://doi.org/10.30554/archmed.22.2.4257.2022
Fisioterapeuta. Universidad de La Sabana. Campus del Puente del Común Km. 7, Autopista Norte de Bogotá. Chía, Colombia. Chía, Colombia. ORCID: https://orcid.org/0000-0002-3172-3573.
Correo e: mariabelpa@unisabana.edu.co. Autor para correspondencia.
Fisioterapeuta. Universidad de La Sabana. Chía, Colombia.
ORCID: https://orcid.org/0000-0002-4888-6395. Correo e.: luzniro@unisabana.edu.co
Fisioterapeuta. Universidad de La Sabana. Chía, Colombia.
ORCID: https://orcid.org/0000-0003-2997-2025. Correo e.:dianamolca@unisabana.edu.co
Fisioterapeuta. Universidad de La Sabana. Chía, Colombia.
ORCID: https://orcid.org/0000-0003-0139-9482. Correo e.: erikabalgo@unisabana.edu.co
Fisioterapeuta. Universidad de La Sabana. Chía, Colombia.
ORCID: https://orcid.org/0000-0002-2947-4846. Correo e.: lizethhacl@unisabana.edu.co
En Colombia por cada 100 niños nacidos vi- vos a término hay 10 nacidos vivos prematuros; este valor ha tenido un incremento sostenido en los últimos cinco años [1]. El recién nacido es prematuro cuando el nacimiento se produce antes de completarse la semana 37 de ges- tación [2] y esta situación es una importante causa de morbimortalidad perinatal y una de las principales causas de problemas neurológicos en la infancia [3], ya que partes fundamentales del cerebro como la corteza motora primaria y la corteza premotora, los núcleos de la base, el cerebelo y el cuerpo calloso, pueden redu- cir su volumen, incluso en ausencia de daños cerebrales focales, condición que afecta poten- cialmente el neurodesarrollo. Las principales alteraciones en el comportamiento motor de los niños prematuros descritos por Serrano
M. et.al. varían desde cambios en el tono muscular, disminución de la flexión fisiológica presentando a su vez desequilibrios muscula- res por una menor proporción de fibras de con-
tracción rápida y el reducido nivel de fosfato de alta energía intramuscular, lo cual puede estar asociado con hipoactividad y fatiga, además de alteraciones en el procesamiento sensorial y control motor [4].
Por esta razón, para los bebés prematuros es favorable la intervención temprana pues esto puede aumentar su supervivencia, mitigando el impacto de la prematuridad en aspectos fisiológicos y del neurodesarrollo [5]. Además, se ha demostrado que la participación activa de los padres desde la Unidad de Cuidados Intensivos Neonatal (UCIN) hasta el egreso hospitalario y un seguimiento en la adquisición de habilidades motrices es fundamental para fomentar el desarrollo motor, el cual contribuirá en el proceso de integración y adaptación de los niños a su entorno [6] [7].
Por ello se han venido diseñando herramien- tas tecnológicas que facilitan la integración y acceso de los padres una guía sobre la inte- racción con sus hijos y las diversas estrategias que favorezcan su desarrollo, como los aplica-
tivos móviles: una herramienta que permite la integración y difusión de contenidos multimedia accesibles a través de dispositivos móviles [8].
Al indagar en las plataformas digitales acerca de los aplicativos móviles existentes sobre el desarrollo motor de niños prematuros desde el ámbito de fisioterapia, se encontró limita- da evidencia sobre estos temas; además,el contenido no es suficiente para generar un adecuado aprendizaje en los padres. Entre los aplicativos reportados en la literatura se encontraron: My Preemie [9], cuyo objetivo fue ayudar, informar y apoyar a padres de bebés nacidos prematuros, desde el ingreso a la UCIN, centrado en las necesidades prácticas y emocionales de las familias, utilizando diversas estrategias como un minilibro para facilitar la comunicación entre padres y personal médico; así mismo, se utiliza una lista de recordatorios y organización de tareas para registrar las dudas y/o inquietudes que surjan durante el proceso que serán aclaradas con los profesionales. Por último, una sección que le permite a los padres seguimiento del crecimiento del bebé por medio del registro de medidas como talla, peso y perímetro cefálico.
El siguiente aplicativo encontrado se deno- mina NICU-2-Home, destinado a mejorar la autoeficacia de los padres de bebés nacidos prematuros entrenándolos para el alta hos- pitalaria, asegurando un cuidado eficaz. Se presenta una lista sobre el cuidado del bebé en la UCIN, brinda la posibilidad de realizar un rastreo de las actividades cotidianas del bebé y muestra el estado de ánimo actual de los padres [10] [11]. En el artículo realizado por Ri- chardson B. et.al [12] se mencionan diferentes aplicativos móviles dirigidos a los padres en la UCIN, tales como My Preemie App, Pebbles of Hope, Peekaboo ICU Preemie, Premature Baby Journal, Premature Birth, entre otros.
Dada la importancia y utilidad de estas herra- mientas, toda aplicación móvil debe pasar por un proceso de validación que permita determi- nar la confiabilidad de su contenido mediante
una serie de pasos, descritos a continuación: El primero es verificar el diseño de la Interfaz del usuario, que permite a las personas interac- tuar con íconos y menús [13], se verifican los términos utilizados en la aplicación y el formato usado en el diseño de los menús, botones e imágenes. Luego se evalúa la Identificación de los usuarios en la aplicación para verificar que esta cuente con una opción para que las personas introduzcan sus datos, el proceso de validación de los datos en el sistema de la aplicación y que el mensaje de bienvenida se muestre al inicio y lleve al usuario a la pantalla principal [14]. El tercero es el contenido, donde se verifica que cumpla con el propósito de edu- cación planeado y esté basado en la evidencia, que incluya la opción para las personas de in- teractuar con la aplicación y que esta muestre una opción en donde presente el contenido, por último se evalúa su diseño que facilite a los usuarios su utilización y navegación [15].
Con base en lo anterior, el presente trabajo busca determinar la validez del contenido del aplicativo móvil Hospital-Hogar para el segui- miento del desarrollo motor de niños prematu- ros por parte de los padres en casa.
El tipo de investigación usada fue cuantita- tivo, con un diseño de validez de contenido de un aplicativo móvil. Este procedimiento hace parte de la fase 2 del proyecto “Intervención interdisciplinaria Hospital- Hogar sobre la adaptación del desarrollo motor de niños pre- maturos en las ciudades de Bogotá y Tunja”. Esta investigación cuenta con el aval del comité de ética de la Universidad de La Sabana ENF- 32-2019 (Chía, Colombia). La investigación fue desarrollada entre los años 2020 a 2021. El proceso de validación del aplicativo inició con un componente teórico que incluye con- ceptos de prematurez y desarrollo motor, y un componente práctico (Ver figura 1 y 2) donde se incluyen las estrategias de intervención del proyecto Hospital Hogar.
Figura 1. Estrategia de estimulación sensorio-motora- facilitación de la posición decúbito lateral activando la musculatura del tronco.
Fuente: Producto de investigación- Autoras
Figura 2. Estrategia de estimulación sensorio-motora- fijación visual-auditiva
Fuente: Producto de investigación- Autoras
A continuación se revisan los componentes del aplicativo por los estudiantes del semillero (Ver Figura 3).
Figura 3. Resumen de dimensiones del aplicativo móvil Hospital-Hogar Fuente: Producto de investigación- Autoras
Luego se elaboró un formato de validez de contenido utilizando los criterios de evaluación propuestos por Escobar J, et al [16] y Vargas et al [17] Suficiencia, claridad y pertinencia. Cada uno de los aspectos, se califican con la opción de una escala de respuesta tipo Likert así: 1. No cumple con el criterio, 2. Bajo Nivel,
3. Moderado Nivel y 4. Alto Nivel. Este formato fue enviado a 5 jueces seleccionados según su experiencia profesional (entre 15 a 24 años) en intervención con bebés nacidos prematuros y a término; y con experiencia en validación en instrumentos. Se tuvo en cuenta la técnica de juicio de expertos propuesta por Escobar et al. y Cabero et al. [16] [18] garantizando que se presentará el mismo número de categorías de valoración a cada evaluador. Se recibieron 5 formatos con las respectivas respuestas de los pares evaluadores, incluidas en el análisis estadístico posterior.
El cálculo de las calificaciones obtenidas a través del juicio de expertos se registró en una hoja de Excel 2016 de Microsoft. Para interpretar estos datos se utilizó el índice de kappa de Fleiss a través del software Relia- bility Calculator (ReCal3) [19] estimando el nivel de concordancia entre evaluadores. Se evaluaron 3 aspectos (pertinencia, suficien- cia y claridad), con 5 expertos en el tema de prematurez, intervención temprana en UCIN y desarrollo motor, las calificaciones se daban hasta 4, ordenadas según el cumplimiento de la propiedad utilizando la escala de valoración de Likert [20] ya mencionada. Para el análisis de las calificaciones, se realizó la asignación de rangos a los ítems, basado en los datos ordinales obtenidos de las 5 evaluaciones.
El análisis cualitativo se realizó por medio de una hoja de Excel- 2016 de Microsoft donde se plasmaron los comentarios más relevantes de cada investigador textualmente para poste- riormente exponerlos en una tabla dividida en cinco dimensiones.
Para interpretar los datos cuantitativos se tuvo en cuenta la clasificación de Landis [21], una escala que se implementa para expresar cualitativamente la fuerza de concordancia como se muestra en la Tabla 1.
Tabla 1. Clasificación de Landis
Valor Kappa | Grado de concordancia |
< 0,00 | Sin acuerdo |
>0,00- 0,20 | Insignificante |
0,21- 0,40 | Débil |
>0,41- 0,60 | Moderada |
0,61- 0,80 | Sustancial |
0,81- 1,00 | Casi perfecto |
Fuente: [21]
En relación con la validación de conteni- do del aplicativo Hospital hogar, el grado de concordancia entre evaluadores incluyó las calificaciones de las categorías suficiencia, per- tinencia y claridad para cada una de las dimen- siones que componen el aplicativo: conociendo el aplicativo, datos generales, aprendiendo sobre el desarrollo motor de mi hijo, manos a la obra y seguimiento, evidenciándose un grado de concordancia sustancial.
En la tabla No. 2 se muestran los valores obtenidos por cada una de las dimensiones mencionadas. El valor promedio de coeficiente Kappa ponderado es de 0,739.
Tabla: Índice Kappa aplicativo hospital hogar: Dimensiones y los valores respectivos en cada una de ellas.
Los evaluadores realizaron algunos comen- tarios para cada dimensión. Para “Conociendo el aplicativo” mencionan que se debe dar a conocer el objetivo y alcance del aplicativo antes de iniciar el proceso y se deben explicar los hallazgos esperados en el desarrollo motor por cada mes. En “Datos generales” comentan que se debe indagar la semana de nacido del bebé en el momento del registro y preguntar si cangurea total o parcialmente. En cuanto a
Tabla 2. Resultados índice Kappa aplicativo móvil Hospital-Hogar
Dimensión | Suficiencia | Claridad | Pertinencia | Valor índice Kappa |
Conociendo el aplicativo | 0,514 | 0,829 | 0,6 | 0,648 |
Datos generales | 0 ,719 | 0,763 | 0,663 | 0,715 |
Aprendiendo sobre el desarrollo motor de mi hijo | 0,688 | 0,675 | 0,75 | 0,704 |
Manos a la obra | 0,691 | 0,564 | 0,891 | 0,715 |
Seguimiento | 1 | 0,9 | 0,9 | 0,933 |
Total general | 0,739 |
Fuente: Producto de investigación-Autoras
“Aprendiendo sobre el desarrollo motor de mi hijo”, se ofrecen recomendaciones acerca de la redacción en algunos apartados en aspectos relacionados con el manejo de diminutivos y el uso de términos que sean más entendibles para los papás. Para “Manos a la obra” se re- comienda revisar la redacción, los signos de puntuación y el lenguaje técnico utilizado en las estrategias. Finalmente, en “Seguimiento” las autoras recomiendan que se amplíe la información, el orden y redacción de algunos apartados.
En la literatura se mencionan algunas apli- caciones enfocadas al manejo del desarrollo motor en niños pretérmino y a término como My Preemie, una aplicación diseñada para ser uti- lizada en iPhone y iPad, que tiene por objetivo “ayudar, informar y apoyar” a papás de bebés nacidos prematuros durante su proceso. Cuen- ta con 6 partes; la primera es un minilibro que ayuda a los padres a comunicarse mejor con el personal médico y les permite comprender los temas relacionados con el proceso de su bebé. La segunda permite interactuar con los profesionales; la tercera contiene una lista que permite a los padres organizar sus tareas. La cuarta sección fomenta la participación de los padres en el proceso de cuidado de sus bebés por medio del seguimiento a su crecimiento. En la quinta sección se encuentra un diario donde se pueden incluir fotos de acontecimientos importantes y sentimientos respecto al proce- so. La última sección consiste en una lista de
verificación de aspectos que transcurren en los primeros días de vida del bebé. [9]
También se encontró el aplicativo NICU- 2-Home, aplicativo de apoyo a los padres de bebés nacidos prematuros, el cual permite que ellos mejoren su autoeficacia ya que los prepara para cuando sus bebés son dados de alta del ambiente hospitalario y van a casa. [10].
Este aplicativo cuenta con 4 principales ca- racterísticas, la primera es una lista autoguiada en la cual se verifica el alta del bebé;en la si- guiente se les brinda información a los padres acerca del cuidado dado a su bebé en la UCIN; la tercera característica permite realizar un rastreo a las actividades cotidianas y la cuarta muestra el estado de ánimo de los padres en la actualidad. [11].
Richardson B, et al. describen en su estudio los siguientes aplicativos también enfocados al desarrollo motor de niños prematuros: Pebbles of Hope, Peekaboo UCI Preemie, Premature Baby Journal, y Quantum Caring for Parents (QCP) - UCIN. [12], no incluye la descripción de los mismos.
El proceso de validación de contenido del aplicativo móvil Hospital- Hogar está justificado con los valores obtenidos en el índice de kappa de Fleiss, observando un total de 0,739; el cual presentó un grado de concordancia sustancial según la clasificación de Landis. [21].
Los aspectos que más mostraron diversidad de opiniones por los evaluadores fueron aque- llos relacionados con con el orden de algunos
apartados del aplicativo y la redacción de varios párrafos que se presentan allí.
Ante lo descrito, el contenido de los aplicati- vos móviles encontrados cuentan con acceso a la creación de perfiles, información relevan- te como talla, peso y características durante el nacimiento y el desarrollo motor, brindan información acerca de los hitos motores más relevantes y permiten el seguimiento de los mismos por medio de listas de chequeo. Por otro lado, el aplicativo móvil My preemie brinda la posibilidad de crear el perfil general dentro del cual se incluye un seguimiento a la ali- mentación, las características antropométricas del bebé y una guía de conceptos básicos de salud y cuidados de un bebé en la unidad de cuidados intensivos neonatal (UCIN), aspectos que también se consideraron en el diseño del aplicativo Hospital-Hogar.
Los aspectos con mayores acuerdos fueron “Seguimiento”, “Manos a la obra” y “Datos generales”. Acorde a lo anterior, los siguientes son elementos similares de algunos aplica- tivos móviles con el aplicativo expuesto en este estudio. Baby Sparks [22], My Preemie y Premature Baby Journal, permiten realizar un seguimiento a los hitos motores,[12] así mismo, Baby Sparks [22] y Premature Baby Journal [12] brindan la opción de convertir la edad cronológica en la edad corregida.
Son escasas las investigaciones realizadas sobre la validación de los aplicativos móvi- les, aunque algunos estudios describen una serie pasos que estructuran el proceso. Por ejemplo, el estudio realizado por Bustamante
P. et al. menciona el primero de ellos, el cual consiste en revisar la interfaz del usuario para determinar que los términos utilizados sean conocidos para la población objetivo y verificar que el diseño de sus menús facilite el uso de la misma; es un elemento que ayuda a llevar cabo “la comunicación entre dos sistemas: la comunicación entre un dispositivo móvil y el usuario que la está utilizando [13]. Muñoz C. en su trabajo de grado describe el segundo paso,
donde se verifica el proceso del diseño de la interfaz y ajustes de uso e identificación de los usuarios, el manejo de la pantalla principal, el mantenimiento y portabilidad y finalmente el rendimiento del aplicativo. [14]. Por último, Mota de Lima C. et. al en su estudio hicieron uso de la metodología de codeign adaptada, que consta de cinco fases: (I) alcance - visión general de los objetivos de aprendizaje; (II) entendimiento compartido - intercambio de experiencias entre las partes interesadas, tipos de tecnologías pedagógicas y metodologías;
(III) lluvia de ideas: esbozar las interfaces prin- cipales de la aplicación; (IV) perfeccionamiento: modelado de las pantallas de la aplicación;
(V) implementación - desarrollo interactivo del software. Lo que explica el tercer paso haciendo referencia a que la información que se presente en el aplicativo debe ser confiable y cumplir con el objetivo para la cual fue dise- ñada. [15] Adicionalmente se aplicó la Escala de usabilidad del sistema (SUS) y análisis de validación por el coeficiente alfa de Cronbach 0,74. Este último aspecto no se aplicó en la presente investigación.
Como limitaciones del siguiente estudio, no se encuentra suficiente evidencia científica acerca de las aplicaciones móviles con relación al desarrollo motor en bebés prematuros, por otro lado, las páginas web no oficiales cuentan con más información, sin embargo, esto puede generar poca veracidad y confiabilidad. Final- mente, la mayoría de los aplicativos móviles encontrados no cuentan con procesos de vali- dación de contenido descritos, solo se incluye validación de usabilidad.
Adicional a lo anterior, se evidencia que las aplicaciones encontradas están enfocadas hacia los bebés nacidos prematuros, pero po- cas de estas enfatizan en la estimulación del desarrollo motor, ya que se centran en otros aspectos tales como el cuidado en general del bebé, el control del crecimiento y desarrollo y el estrés que trae consigo el proceso para los padres.
De acuerdo a los resultados obtenidos de la validación de contenido del aplicativo móvil Hospital - hogar con un índice de concordancia sustancial interevaluador, se concluye que este aplicativo podrá ser utilizado para fortalecer los
procesos de seguimiento del desarrollo motor de niños prematuros desde el hogar.
Ospino Guzmán, M. Comportamiento de la prematuridad en Colombia durante los años 2007 a 2016. Insti- tuto nacional de salud. [Internet]. 2016. Disponible en: https://fundacioncanguro.co/wp-content/uploads/2018/11/ Comportamiento-de-la-prematuridad-en-Colombia-durante-los-a%C3%B1os-2007-a-2016.pdf
Rellan S., García C., Aragón M. El recién nacido prematuro. AEP. [Internet]. 2008. Disponible en: https://www.aeped.es/sites/default/files/documentos/8_1.pdf
Stecher J., Pavlovic M., Contreras C., Carvajal J. Prematuros tardíos: estudio clínico retrospectivo de sus causas y consecuencias. Rev Chil Obstet Ginecol. [Internet]. 2015; 80 (3): 221-228.
Disponible en: http://dx.doi.org/10.4067/S0717-75262015000300004
Serrano M., Bernal L., González I., Rodríguez P., Galindo L., Barrera M., Henao A. Rasgos característicos del comportamiento motor del niño con prematurez durante los primeros meses de vida posnatal: una revisión de la literatura. SERMEF. Rehabilitación. [Internet]. 2020; 54 (1): 31-40.
Disponible en: https://doi.org/10.1016/j.rh.2019.09.004
Tardáguila L. Cuidados centrados en el desarrollo y en la familia. Efectividad del NIDCAP. [Trabajo de Grado]
U. Autónoma de Madrid. [Internet]. 2018. Disponible en: https://repositorio.uam.es/bitstream/handle/10486/685180/ tardaguila_rodriguez%20de%20rivas_luciatfg.pdf?sequence=1&isAllowed=y
Gutiérrez N., Torres J., Carrasco M., Olabarrieta L., Martín-Del Valle F., García M. Desarrollo psicomotor en prematuros tardíos a los dos años de edad: comparación con recién nacidos a término mediante dos herramientas diferentes. Rev Neurol. [Internet]. 2019; 68 (12): 503-509.
Disponible en: https://doi.org/10.33588/rn.6812.2018360
Dusing S., Tripathi T., Marcinowski E., Thacker L., Brown L., Hendricks K. Supporting play exploration and early developmental intervention versus usual care to enhance development outcomes during the tran- sition from the neonatal intensive care unit to home: a pilot randomized controlled trial. Pediatría de BMC [Internet]. 2018; 18 (1): 46. Disponible en: https://doi.org/10.1186/s12887-018-1011-4
Filippi J, Lafuente G, Bertone R. Aplicación móvil como instrumento de difusión. Multiciencias [Internet]. 2016;16(3):336-344. Disponible en: https://www.redalyc.org/articulo.oa?id=90453464013
Wechsler M, Trenti E, Wechsler D. Supporting parents in the NICU: A new app from the US, ‘MyPreemie’ A tool to provide parents of premature babies with support, empowerment, education and participation in their infant’s care. Journal of Neonatal Nursing [Internet]. 2013.
Pastor Rodríguez J. Análisis de las Reacciones Psicológicas en los Padres de Niños Ingresados en una Unidad de Cuidados Intensivos Neonatales. [Internet]. 2017.
Disponible en: https://www.tesisenred.net/bitstream/handle/10803/462245/TJDPR.pdf?sequence=1&isAllowed=y
Garfield C, Seok Lee Y. NICU-2-HOME: Using HIT to Support Parents of NICU Graduates Transitioning Home. [Internet]. 2014.
Disponible en: https://digital.ahrq.gov/sites/default/files/docs/citation/r21hs020316-garfield-final-report-2014.pdf
Richardson B, Dol J, Rutledge K, Monaghan J, Orovec A, Howie K et al. Evaluation of Mobile Apps Targeted to Parents of Infants in the Neonatal Intensive Care Unit: Systematic App Review. JMIR Mhealth Uhealth [Internet]. 2019;7(4). Disponible en: https://dx.doi.org/10.2196%2F11620
Bustamante P, Gutiérrez F, Martínez B, Pérez S, Pinto E, Ramírez O et al. La interfaz: extensión del cuerpo o espacio para la comunicación. Metáforas que se traslapan. Polisemia [Internet]. 2014; (17). Available from Disponible en: https://doi.org/10.26620/uniminuto.polisemia.10.17.2014.55-69
Muñoz C. Diseño y desarrollo de un aplicativo móvil en la plataforma Android Studio para la empresa Allied Electronics & Service(servicios electrónicos aliados) Perú. Universidad tecnológica de Pereira [Inter- net].2016. Disponible en: https://core.ac.uk/download/pdf/84108432.pdf
Mota de Lima C, Autran R, Soares M, Kubrusly M, Marçal E, Peixoto A. Development and Validation of a Mobile Application for the Teaching of Electrocardiogram. Revista Brasileña de Educación Médica [Internet]. 2019. Disponible en: https://doi.org/10.1590/1981-5271v43suplemento1-20190164.ing
Escobar J, Cuervo-Martínez A. Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en medición. 2008;6:27-36. Disponible en: https://www.researchgate.net/publication/302438451_Vali- dez_de_contenido_y_juicio_de_expertos_Una_aproximacion_a_su_utilizacion
Vargas-Porras C, Hernandez-Molina LM. Validez y confiabilidad del cuestionario “Prácticas de cuidado que realizan consigo mismas las mujeres en el posparto.” Av en Enfermería. 2010;28(1):96–106.
Disponible en: https://revistas.unal.edu.co/index.php/avenferm/article/view/15659
Cabero-Almenara J, Llorente-Cejudo MC. La aplicación del juicio de experto como técnica de evaluación de las Tecnologías de la Información y Comunicación (TIC). Rev Tecnol Inf y Comun en Educ. 2013; 7(2):11–22. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=4857163
Vet H, Dikmans R, Eekhout I. Specific agreement on dichotomous outcomes can be calculated for more than two raters. J Clin Epidemiol. 2017;83:85–9. Disponible en: https://pubmed.ncbi.nlm.nih.gov/28088591/
Matas A. Diseño del formato de escalas tipo Likert: un estado de la cuestión [Internet]. Scielo.org.mx. 2018. Disponible en: https://doi.org/10.24320/redie.2018.20.1.1347.
Landis J, Koch G. The measurement of observer agreement for categorical data. Biometrics.[Internet]. 1977;33(1):159-174. Disponible en: https://doi.org/10.2307/2529310.
BabySparks - Development Activities and Milestones [Internet]. BabySparks. 2021. Disponible en: https://babysparks.com/