Autor Tema: Problema en el índice brier score y su correlación en estudio de psicología

0 Usuarios y 1 Visitante están viendo este tema.

21 Marzo, 2024, 07:17 am
Leído 77 veces

Laura Fdez

  • $$\Large \color{#6a84c0}\pi$$
  • Mensajes: 1
  • País: es
  • Karma: +0/-0
Estimada Comunidad Matemática,
Escribo en este foro por si me pudieran dar respuesta u orientarme en la solución.
Soy Psicóloga y estoy realizando diferentes análisis en un estudio. En este he de calcular un nuevo índice (brier score) a partir de dos variables. Una variable es dicotómica (acierto-1- y error-0-) y otra es una variable ordinal con 5 niveles (0-1-2-3-4). Esta última es un juicio de confianza (se le pregunta al sujeto qué tan seguro está de su respuesta en esta escala). Esta última variable la convierto en una variable continua donde (0=0; 1= 0.25; 2 = 0.5; 3 = 0.75; 4 = 1). El índice brier score se calcula restando al acierto o al error la puntuación (0, 0.25, 0.5, 0.75 o 1) y elevándolo al cuadrado. De esta manera se computa la distancia entre el rendimiento real y lo que cree que ha hecho el sujeto. De forma que en esta nueva variable, los valores más alejados de 0 conllevan un peor ajuste (hay más distancia entre el rendimiento real y el percibido).
Mis dudas son 2:
- Dado que se eleva al cuadrado, ¿no está "inflado" este índice a medida que aumenta la distancia?
- ¿Se puede correlacionar este índice con la medida de rendimiento? Dado que esto se hace para un conjunto de ítems. 24 ítems. Cada uno de ellos con su acierto y error y el juicio de confianza. Tengo la media del índice Brier Score y la media de rendimiento. Me salen correlaciones muy altas. ¿Es esto adecuado?

Muchas gracias por su ayuda.

Un saludo,

Laura

22 Marzo, 2024, 08:32 am
Respuesta #1

Masacroso

  • “Lo que oigo, lo olvido; lo que veo, lo recuerdo; lo que hago, lo aprendo” (antiguo proverbio chino)
  • Moderador Global
  • Mensajes: 4,586
  • País: es
  • Karma: +0/-0
Mis dudas son 2:
- Dado que se eleva al cuadrado, ¿no está "inflado" este índice a medida que aumenta la distancia?

Supón que \( p\in\{0,1\} \) y que \( \tilde p\in \{0,0.25,0.5,0.75,1\} \), entonces se tiene que \( |p-\tilde p|\leqslant 1 \) y por tanto que \( |p-\tilde p|^2\leqslant |p-\tilde p|\leqslant 1 \). En este sentido no me parece una medida "inflada" sino más bien al revés, "desinflada", ya que la noción de distancia clásica (geométrica) viene dada por la función valor absoluto, y esta "distancia cuadrática" es menor a la geométrica.

Igualmente yo no sé el motivo de haber tomado la distancia cuadrática, podría ser porque se busca algo con propiedades semejantes a la varianza, no lo sé. Habría que investigar el motivo de elegir tal cosa.

Citar
- ¿Se puede correlacionar este índice con la medida de rendimiento? Dado que esto se hace para un conjunto de ítems. 24 ítems. Cada uno de ellos con su acierto y error y el juicio de confianza. Tengo la media del índice Brier Score y la media de rendimiento. Me salen correlaciones muy altas. ¿Es esto adecuado?

No sé lo que es la medida de rendimiento, y que sea adecuado o no que se correlacione con otra cosa no es una cuestión matemática en sí sino un dato empírico del análisis estadístico de las mediciones. Que sea "bueno" o "malo" es algo ya que corresponde a la interpretación de los datos, lo cual depende de muchos factores y en casi todo es ajeno a las matemáticas.

22 Marzo, 2024, 11:42 am
Respuesta #2

ancape

  • $$\Large \color{#5b61b3}\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 1,081
  • País: es
  • Karma: +0/-5
  • Sexo: Masculino
...........

Mis dudas son 2:
- Dado que se eleva al cuadrado, ¿no está "inflado" este índice a medida que aumenta la distancia?
- ¿Se puede correlacionar este índice con la medida de rendimiento? Dado que esto se hace para un conjunto de ítems. 24 ítems. Cada uno de ellos con su acierto y error y el juicio de confianza. Tengo la media del índice Brier Score y la media de rendimiento. Me salen correlaciones muy altas. ¿Es esto adecuado?

.......


Hola Laura. Bienvenida la foro. Me alegra tu pregunta pues mi nieta estudia psicología y está convencida de que las matemáticas no sirven para mucho.

En cuanto a tomar los cuadrados en lugar de las mediciones hechas, en matemáticas es algo frecuente para evitar que los signos puedan llevarnos a interpretaciones erróneas. Por ejemplo, estudiemos la precisión lateral de un rifle midiendo la distancia a una recta vertical sobre la que se dispara. Cuando el impacto se observa a la derecha de esa recta se anota como distancia positiva, caso contrario negativa (algo parecido a la primera coordenada del punto de impacto). Si hacemos 12 disparos y 6 caen a derecha y 6 a izquierda, todos ellos con la misma distancia. Podemos concluir que la suma es cero y que por tanto el rifle está perfectamente calibrado. Efectivamente, si consideramos valores absolutos en lugar de cuadrados el sesgo será menor pero el problema de introducir una medida con la función valor absoluto es que ésta no es derivable y la derivada es un concepto muy útil para estudiar variación, extremos, etc. En Estadística se llega a un compromiso con las medidas "Varianza" y su raíz cuadrada "Desviación típica". Mira el enlace https://es.wikipedia.org/wiki/Error_cuadr%C3%A1tico_medio que explica muy bien el llamado "Error cuadrático" muy relacionado con el Índice de Brier.

Saludos