Confidence and Likert-type scales in economics

Español (English below)

Voy a tratar brevemente el tema de confianza y algunos problemas/retos de su medición con escalas subjetivas tipo Likert. Esta medida aparece en las ciencias cognitivas y la economía. Antes de continuar, usaré la definición de Pouget, et al: confianza es la probabilidad de acertar dada una decisión y una evidencia disponible. Aclaró que es un tratamiento breve de mis impresiones sobre el tema en economía pero por lo corto no puedo abarcar todos los detalles.

En economía, muchas preguntas Likert son hacía terceros/instituciones. Por ejemplo, en un working paper reciente de historia económica, que vinculaba confianza a las instituciones con muertes en la guerra civil española, los investigadores preguntaron de 0 a 10 a las personas si confiaban en la iglesia, en la corte constitucional, entre otras instituciones sociales. Una posibilidad es que puntajes Likert surgen de un mapeo entre confianza subjetiva y los números de la escala. Es decir, las personas tienen acceso subjetivo a su nivel de confianza y pueden transformar esa sensación a un número entre 0 y 10, o entre 0 y 7, o cualquier otra escala. Aún cuando hay evidencia que la cognición humana puede hacerlo sobre su propio desempeño, no es claro que sea el caso para terceros. Es decir, a la pregunta ¿Confia ud en la corte constitucional? la gente puede reportar disgusto, o cansancio, o historia de errores. No es dado que se reporte confianza, definida como la probabilidad que la institución/tercero acerte dada una decisión que tomó y una evidencia. De hecho, las preguntas ni siquiera aclaran qué decisión tomó el tercero.

¿Es esto problemático? Depende. Si el esfuerzo es demostrar vinculos causales entre confianza y outcomes económicos, diría que si. De hecho, algo que la economía se obsesiona es la causalidad y vuelve problemático la poca claridad sobre la naturaleza de la medición (¿es confianza?¿es tristeza?¿es disgusto?¿es desesperanza?). Por otro lado, si el esfuerzo es describir proxies de sensaciones en la sociedad y su relación (no causal) con algún outcomes económicos, no habría problema.

Otro problema con las escalas Likert es que son arbitrarias y es dificil saber qué relación tienen con comportamiento. Por ejemplo, no es claro si un cambio de 5 a 8 en confianza Likert hacía una acción del banco central, por ejemplo cambiar al director, lleva a una mayor inversión que si solo fuera un cambio de confianza de 5 a 6.

Estoy seguro que los economistas saben de estos problemas de medición de confianza pero creo que se asume que la confianza revelada es confianza (puedo equivocarme acá pero es una explicación de lo que he leído en la literatura). En mi opinión, extender ideas de preferencias reveladas a confianza subjetiva revelada es inapropiado.

English (by Google translate with edits)

I am going to briefly deal with the issue of confidence and some challenges with its measurement with subjective Likert-type scales. Before continuing, I will use the definition of Pouget, et al: confidence is the probability of being correct given a decision and available evidence. I clarify that it is a brief personal treatment of the subject in economics and I cannot cover all the details.

In economics, many Likert questions are made about third parties / institutions. For example, in a recent working paper on economic history, which linked trust in institutions with deaths in the Spanish civil war, the researchers asked people from 0 to 10 if they trusted the church, the constitutional court, among other social institutions. One possibility is that Likert scores arise from a mapping between subjective confidence and the numbers on the scale. That is, people have subjective access to their level of confidence and can transform that feeling to a number between 0 and 10, or between 0 and 7, or any other scale. Even though there is evidence that human cognition can [do it](https://www.cell.com/neuron/fulltext/S0896-6273 (16) 30016-2) about its own performance, it is not clear that this is the case for third parties. That is to say, to the question “Do you trust the constitutional court?” people may report disgust, or tiredness, or a history of mistakes. It is not given that confidence is reported, defined as the probability that the institution / third party is correct given a decision made and evidence. In fact, the questions don’t even clarify what decision the third party made.

Is this problematic? It depends. If the effort is to demonstrate causal links between confidence and economic outcomes, I would say yes. In fact, something that the economy is obsessed with is causality and makes the lack of clarity about the nature of the measurement problematic (is it trust? Is it sadness? Is it disgust? Is it hopelessness?). On the other hand, if the effort is to describe proxies of sensations in society and their relationship (not causal) with some economic outcomes, there would be no problem.

Another problem with Likert scales is that they are arbitrary and it is difficult to know what relationship they have with behavior. For example, it is not clear whether a change from 5 to 8 in Likert confidence to a central bank action, for example a change in the director, leads to a greater investment than if it were only a change of confidence from 5 to 6.

I’m sure economists know about these or other confidence measurement problems but I think that revealed confidence is assumed (I may be wrong here but it is an explanation of what I have read in the literature). In my opinion, extending ideas from revealed preferences to revealed subjective confidence is inappropriate.

Related