Implementación de "Analytic Hierarchy Porcess (AHP)"

[marcgc21]

Saludos compañeros!

Después de una reunión con Toni, Karine y Leonardo, este último trae una propuesta para la introducción de un sistema por pesos para el modelo actual que tenemos referente al cálculo de los pesos de la heurísticas.

Quería aprovechar este hilo para discutir la implementación y también detalles del uso del sistema.

Comparto el repositorio hecho por Leonardo donde se muestra un ejemplo de uso del nuevo sistema:

Después de analizar con detalle la propuesta me asaltan varias dudas que me gustaría de comentar:

• Parece que la escala utilizada es de 1 a 9 aunque en algun experimento he visto que también puede ser de 1 a 5. Nunca he sido muy partidario de escalas de 1 a 9 pues la opción de tener tantos resultados me parece confusa. Y a vosotros?
• No conseguí entender como es calculado el "Ramdon Consistency Index (RI)". @leonardo podrías explicarme más detalladamente?
• Vi que en el ejemplo se hicieron varias suposiciones en relación a las heurísticas de Nielsen. Para realizar las pruebas, como creeis que tendríamos que abordar este problema?

Vamos a intentar utilizar este foro para ir debatiendo sobre las diferentes dudas en el sistema y hacer crecer la comunidad!

Att,

M.

[eitt]

Respuesta a la Pregunta sobre Escalas de Evaluación en Investigación

La elección entre diferentes escalas requiere una consideración cuidadosa de varios factores, incluida la naturaleza de la investigación y los requerimientos estadísticos. En mi opinión, la adhesión a escalas establecidas y aceptadas en la comunidad científica simplifica el proceso de publicación y debería ser la opción preferida a menos que existan justificaciones metodológicas para hacer lo contrario.

Es decir, la selección de una escala para la evaluación en investigaciones es una decisión crítica que puede afectar tanto la recopilación como la interpretación de los datos. En lo que respecta a la elección entre escalas de 1 a 9 o de 1 a 5, existen varios factores a considerar.

Historia y Aplicación de Escalas

Una de las escalas más ampliamente utilizadas es la escala Likert, propuesta en 1932 por Rensis Likert ¹. Esta escala, a pesar de su aplicabilidad en diferentes campos de la psicometría, presenta limitaciones estadísticas. Específicamente, al ser una escala ordinal, no cumple con los supuestos estadísticos para pruebas como ANOVA y regresiones lineales. Existen modelos más adecuados para variables ordinales, como los Generalized Linear Mixed Models ².

Percepción y Linealidad

Nuestro cerebro tiende a percibir cambios de manera logarítmica ³. Esto puede facilitar la identificación de diferencias sustanciales en escalas con más opciones. La consistencia y la linealidad de estas comparaciones son aún temas de debate ⁴.

Libertad Creativa en la Selección de Escalas

Como señala Saaty, la escala podría extenderse hasta el infinito si se desea ⁵. La elección de la escala dependerá de lo que se considere más adecuado para la investigación y de la habilidad del investigador para manejar complejidades adicionales.

Footnotes

1. Likert, R. (1932). A technique for the measurement of attitudes. Archives of Psychology, 22 140, 55. Link ↩

2. Generalized Linear Mixed Models. DOI ↩

3. Why do we perceive logarithmically? DOI ↩

4. Uses and Limitations of the AHP Method A Non-Mathematical and Rational Analysis DOI ↩

5. The analytic hierarchy process—what it is and how it is used DOI ↩

[eitt]

Por cierto, dejo una copia de la escala original.

[eitt]

Respuesta a la Pregunta sobre Índice de Consistencia Aleatorio

Los valores de RI (Random Consistency Index) se derivan de simulaciones de matrices aleatorias realizados en el trabajo original por Saaty ¹. Este índice se origina a partir de simulaciones que emplean matrices recíprocas generadas aleatoriamente. En particular, estas matrices usan la escala del 1/9 al 9, que es la escala utilizada en el método AHP. Estas simulaciones tienen el objetivo de determinar qué tan consistentes son las matrices generadas aleatoriamente en comparación con las matrices de juicio creadas a partir de evaluaciones subjetivas. Estos valores son generalmente proporcionados como una parte integral del método del Análisis Jerárquico Ponderado (AHP) y se utilizan como una línea de base para comparar el Índice de Consistencia (CI) calculado de la matriz de juicio. La idea es determinar si la matriz de juicio exhibe una cantidad aceptable de consistencia en comparación con una matriz generada al azar.

Los valores de RI han sido tabulados para diferentes tamaños de matriz, empezando por una matriz de 1x1 hasta matrices de dimensiones mucho más grandes. Para matrices de tamaño 1x1 y 2x2, el valor de RI es cero, ya que se consideran perfectamente consistentes. A partir de matrices de 3x3 en adelante, el valor de RI aumenta y se tabula.

Por ejemplo, para una matriz de 3x3, el valor comúnmente aceptado de RI es 0.58; para una matriz de 4x4, el valor es 0.90; y para una matriz de 5x5, el valor es 1.12. Estos valores han sido obtenidos a través de investigaciones y son ampliamente aceptados en la literatura sobre AHP.

Nota

Adjunto la tabla original del artículo:

Referencias

Footnotes

1. The analytic hierarchy process—what it is and how it is used DOI ↩

[eitt]

Respuesta a la pregunta sobre Abordaje de Heurísticas en Evaluación de Usabilidad

En el ejemplo se hicieron varias suposiciones con respecto a las heurísticas de Nielsen ¹. Aunque esto proporciona un marco reconocido, fue principalmente nominal y no se destinó a ahondar en qué constituye una heurística en este contexto.

Propuesta

Utilización de Heurísticas de Granollers

En nuestro caso, propongo utilizar las heurísticas propuestas por Granollers ². Estas heurísticas tienen el beneficio de incluir un sistema cuantificable que permite generar un número asociado a cada heurística. Es relevante destacar que, en el enfoque de Granollers, todas las heurísticas tienen el mismo peso o ponderación.

Módulo de Ponderación

Adicionalmente, sugiero implementar un módulo de cálculo de ponderaciones. Este módulo incluirá una interfaz de usuario amigable para facilitar la tarea de asignar pesos a diferentes heurísticas según su relevancia en el contexto particular de evaluación. Con @JordiVirgili hemos empezado reuniones pensando en cómo podemos simplificar la actividad de generar tantas comparaciones pareadas.

Comparación y Visualización de Usabilidad

Otra adición útil sería un módulo para comparar los valores de usabilidad antes y después de la ponderación. En este módulo, se podría emplear un esquema de colores para resaltar aspectos que son importantes pero están desatendidos (baja valoración), o aspectos que son menos importantes pero reciben una alta valoración. Esta visualización ayudaría a identificar posibles malentendidos o áreas que requieren atención.

Referencias

Footnotes

1. Nielsen, J. "10 Usability Heuristics for User Interface Design" [Online]. Available from: Nielsen's Usability Heuristics, 1995. ↩

2. Granollers, T. "Usability Evaluation with Heuristics, Beyond Nielsen’s List". ↩

[marcgc21]

Muchas gracias por las aclaraciones @eitt, creo que ayudan a esclarecer y entender mejor el alcance de la actuación.

Estoy repasando el ejemplo del ipynb y me gustaría que me corrigieras por si me he perdido alguna de las premisas.

En el ipynb encontramos esto:

Solving the problem
In this example, we have the following assumptions:

• Visibility of System Status" is of equal importance to "Match Between System and Real World" and "User Control and Freedom."
• "Visibility of System Status" is moderately less important than "Consistency and Standards," "Error Prevention," and "Recognition Rather than Recall."
• "Match Between System and Real World" is moderately less important than "Consistency and Standards," "Error Prevention," and "Recognition Rather than Recall."
• "User Control and Freedom" is of equal importance to "Consistency and Standards."
• "User Control and Freedom" is moderately less important than "Error Prevention" and "Recognition Rather than Recall."
• "Consistency and Standards" is of equal importance to both "Error Prevention" and "Recognition Rather than Recall."

Si lo he entendido bien me faltarían algunas permutaciones que serían:

• "Match Between System and Real World" and "User Control and Freedom"
• "Error Prevention" and "Recognition Rather than Recall"

Puede ser que este errado o también crees que faltarían estas premisas?

Otra duda, con la frase "moderately less important than" el valor que considerais con la escala de 1 a 9 sería de 2?

Gracias por esclarecer los detalles!

Att,

M.

[eitt]

Respuesta a la pregunta sobre comparaciones

Estimado @marcgc21, pPara el caso del código desarrollado y pensando en simplificar la cantidad de operaciones, el código aplica la propiedad transitiva de la igualdad ¹. Esta propiedad establece que si dos expresiones son iguales a una tercera expresión, entonces las dos primeras expresiones también son iguales entre sí. Por ejemplo:

Visibility of System Status $=$ Match Between System and Real World $=$ User Control and Freedom
De manera abreviada estamos diciendo respecto a la importancia:

$$ VSS = MB = UCF $$

En tal sentido, los componentes de la comparación serían:

$$ i_{VSS,MB} =1, i_{MB,VSS} = 1/1 $$ $$ i_{VSS,UCF} =1, i_{UCF,VSS} = 1/1 $$

Aplicando la propuedad transitiva:

$$ i_{MB,UCF} =1, i_{UCF,MB} = 1/1 $$

A continuación se presenta el desarrollo de la matriz de comparaciones pareadas basada en las afirmaciones proporcionadas y aplicando la propiedad:

1. Afirmación: "Visibility of System Status" es de igual importancia a "Match Between System and Real World" y "User Control and Freedom."

$$ \begin{array}{cccccc} & \text{VSS} & \text{MB} & \text{UCF} & \text{CS} & \text{EP} & \text{RR} \\ \text{VSS} & 1 & 1 & 1 & & & \\ \text{MB} & 1 & 1 & 1 & & & \\ \text{UCF} & 1 & 1 & 1 & & & \\ \text{CS} & & & & 1 & & \\ \text{EP} & & & & & 1 & \\ \text{RR} & & & & & & 1 \\ \end{array} $$

2. Afirmación: "Visibility of System Status" es moderadamente menos importante que "Consistency and Standards," "Error Prevention," y "Recognition Rather than Recall."

$$ \begin{array}{cccccc} & \text{VSS} & \text{MB} & \text{UCF} & \text{CS} & \text{EP} & \text{RR} \\ \text{VSS} & 1 & 1 & 1 & 1/3 & 1/3 & 1/3 \\ \text{MB} & 1 & 1 & 1 & & & \\ \text{UCF} & 1 & 1 & 1 & & & \\ \text{CS} & 3 & & & 1 & & \\ \text{EP} & 3 & & & & 1 & \\ \text{RR} & 3 & & & & & 1 \\ \end{array} $$

3. Afirmación: "Match Between System and Real World" es moderadamente menos importante que "Consistency and Standards," "Error Prevention," y "Recognition Rather than Recall."

$$ \begin{array}{cccccc} & \text{VSS} & \text{MB} & \text{UCF} & \text{CS} & \text{EP} & \text{RR} \\ \text{VSS} & 1 & 1 & 1 & 1/3 & 1/3 & 1/3 \\ \text{MB} & 1 & 1 & 1 & 1/3 & 1/3 & 1/3 \\ \text{UCF} & 1 & 1 & 1 & & & \\ \text{CS} & 3 & 3 & & 1 & & \\ \text{EP} & 3 & 3 & & & 1 & \\ \text{RR} & 3 & 3 & & & & 1 \\ \end{array} $$

4. Afirmación: "User Control and Freedom" es de igual importancia a "Consistency and Standards."

$$ \begin{array}{cccccc} & \text{VSS} & \text{MB} & \text{UCF} & \text{CS} & \text{EP} & \text{RR} \\ \text{VSS} & 1 & 1 & 1 & 1/3 & 1/3 & 1/3 \\ \text{MB} & 1 & 1 & 1 & 1/3 & 1/3 & 1/3 \\ \text{UCF} & 1 & 1 & 1 & 1 & & \\ \text{CS} & 3 & 3 & 1 & 1 & & \\ \text{EP} & 3 & 3 & & & 1 & \\ \text{RR} & 3 & 3 & & & & 1 \\ \end{array} $$

5. Afirmación: "User Control and Freedom" es moderadamente menos importante que "Error Prevention" y "Recognition Rather than Recall."

$$ \begin{array}{cccccc} & \text{VSS} & \text{MB} & \text{UCF} & \text{CS} & \text{EP} & \text{RR} \\ \text{VSS} & 1 & 1 & 1 & 1/3 & 1/3 & 1/3 \\ \text{MB} & 1 & 1 & 1 & 1/3 & 1/3 & 1/3 \\ \text{UCF} & 1 & 1 & 1 & 1 & 1/3 & 1/3 \\ \text{CS} & 3 & 3 & 1 & 1 & & \\ \text{EP} & 3 & 3 & 3 & & 1 & \\ \text{RR} & 3 & 3 & 3 & & & 1 \\ \end{array} $$

6. Afirmación: "Consistency and Standards" es de igual importancia a tanto "Error Prevention" como "Recognition Rather than Recall."

$$ \begin{array}{cccccc} & \text{VSS} & \text{MB} & \text{UCF} & \text{CS} & \text{EP} & \text{RR} \\ \text{VSS} & 1 & 1 & 1 & 1/3 & 1/3 & 1/3 \\ \text{MB} & 1 & 1 & 1 & 1/3 & 1/3 & 1/3 \\ \text{UCF} & 1 & 1 & 1 & 1 & 1/3 & 1/3 \\ \text{CS} & 3 & 3 & 1 & 1 & 1 & 1 \\ \text{EP} & 3 & 3 & 3 & 1 & 1 & 1 \\ \text{RR} & 3 & 3 & 3 & 1 & 1 & 1 \\ \end{array} $$

Con la información proporcionada y las matrices resultantes, se han cumplido todas las comparaciones pareadas entre los criterios.

Referencias

Footnotes

1. Transitive relation ↩

[marcgc21]

@eitt, me preocupa el concepto de la relación transitiva. Entiendo que matemáticamente sea lo correcto, pero me gustaría ver que pasa si dejamos al usuario responder libremente sin tener en cuenta esta propiedad. Está claro que en caso de aplicarlo en el código esta relación no sería de trivial implementación!

Vamos a crear un Google Forms simple para hacer un test con un avaluador experto en relación a las 15 heurísticas. Voy a utilizar todas las puntuacions completas para después comparar resultados. Te voy avisando!

[eitt]

Hola.

La idea original es que sea libre, solo que aumenta la cantidad de comparaciones. La metodología sugiere que exista un marxismo del 10% de inconsistencia, en caso de ser un valor superior sería necesario pensar en una estrategia para disminuir dicha consistencia indicando cuáles comparaciones modificar.

saludos

[eitt]

@marcgc21 Si hay que pensar en estrategias, yo implementé una para ahorrar esos cálculos, otra opción es dejar preconfigurada algunas comparaciones y que luego puedan ser ajustadas.

Por cierto ¿cómo van con la implementación?

Saludos

[eitt]

Respuesta a la pregunta sobre comparaciones de menor importancia.

Estimado @marcgc21 , para tu pregunta acerca de la expresión: "la frase moderately less important than ", cuando es de menor importancia utiliza inversos multiplicativos, en el ejemplo con el fin de simplificar esta primera versión no trabajamos con todos los valores de 1 a 9, sino con los impares y sus inversos. Para ello se creó una pequeña función que carga un diccionario llamada generate_saaty_scale_with_explanations, esta se explica a continuación.

def generate_saaty_scale_with_explanations():
    return {
        'Equal Importance': 1,
        'Moderate Importance': 3,
        'Strong Importance': 5,
        'Very Strong Importance': 7,
        'Extreme Importance': 9,
        'Moderately Less Important': 1/3,
        'Strongly Less Important': 1/5,
        'Very Strongly Less Important': 1/7,
        'Extremely Less Important': 1/9
    }

[FernandaCasali]

For design, to determine the importance of heuristics on a scale of 1 to 9, a comparison interface was implemented, in a way that each tab represents a heuristic and the body contains a table with the comparisons to be made.

The interface was implemented during the creation of a test, considering that only the creator can edit it. For better user understanding, instead of using the actual names of the heuristics as titles, they were changed to show only when hovering the mouse over them, displaying "H" (heuristic) and the heuristic number.

For the next steps, will be incorporate all the logic for calculating the weights and statistics.

[eitt]

Congratulations! This is an interesting way to simplify complex comparisons. It provides clarity through additional information. Is it possible to add a hovering function when the user selects a value in the satisfaction scale, which would simplify the user experience?

Consider the scenario where a user is making a selection between two criteria (as in your figure), Heuristic 1 (H1) and Heuristic 4 (H4). The introduction of a hovering function that provides contextual information during the selection phase can markedly improve user comprehension and engagement. For instance, when a user considers the relative importance of H1 against H4, a hover-over tooltip could display the following message: "Heuristic 1 is deemed moderately more important than Heuristic 4." This not only clarifies the decision-making criteria but also assists users in making informed choices based on a nuanced understanding of each heuristic's value.