Cubos de Kohs: más allá de aciertos, errores y puntos

By Juan Carlos López - 21:39

El diseño de cubos, o cubos de Kohs, es una de las pruebas más antiguas y usadas en los tests psicológicos.

Francis N. Maxfield, del Laboratorio y Clínica de Psicologia de la Universidad de Pensilvania, fue el primero en utilizar bloques de construcción en un test psicológico. Posteriormente, en 1921, Clara Town, usó los cubos de Maxfield. Ambos los utilizaron para analizar las estrategias de resolución de problemas en niños. Fue Samuel Calmin Kohs, discípulo de Lewis Terman, quien hizo la versión del Diseño de Cubos que al final adaptaría David Weschler en sus tests de inteligencia (1955).

Maxfield, Town y Kohs, usaron el mismo tipo de Cubos, que eran de cuatro colores (rojo, blanco, azul y amarillo). Los Cubos de Kohs se distinguían en pedir a los niños reproducir diseños que se les presentaban en 17 láminas. Kohs usó los Cubos como sistema de evaluación de la inteligencia, que la consideraba un constructo unitario influenciado por Binet. Además, era una forma novedosa de evaluar la inteligencia en niños con problemas de lenguaje. Con esta prueba se podían evaluar estrategias analíticas y sintéticas en la resolución de problemas. Kohs, en 1920, afirmaba que el análisis de los movimientos a la hora de resolver la prueba de los Cubos daba información importante sobre la persona evaluada. Cuando Weschler adoptó el diseño de Cubos, le incluyó el tiempo como forma de añadir puntos extra. Kohs también añadió el número de movimientos como un sistema de puntuación alternativo, lo que estandarizaría Hutt en 1932. Kleist, en 1921, vió los Cubos como una forma de evaluar las apraxias constructivas. Los Cubos pasaron a llamarse popularmente como Cubos de Kohs, por lo novedoso y trascendente de sus aportaciones.

Se considera que los cubos de Kohs son una buena prueba para evaluar las inteligencia general, existiendo desde hace años estudios que indican una correlación de 0.80 con el test de Binet (Roger et al., 1984). También desde hace muchos años se ha concluido que los cubos de Kohs saturan en el factor espacial (Vernon, 1952) y con un factor denominado "visualización" (Cattell, 1971; Snow, Kyllonen y Marshalek, 1984). En estudios longitudinales sobre el rendimiento en el subtest de Cubos del WISC-R y WAIS-R, se ha concluido que el pico de rendimiento se da entre los 16 y los 34 años, a partir de lo cual se observa un declive, aunque esto se ha discutido haciendo modificaciones en el tiempo de la prueba, atribuyéndolo al enlentecimiento motor (Schaie, 1990).

Kohs Blocks Design Test (1920)

Todos los que nos dedicamos a la Psicología, hemos utilizado innumerables veces esta prueba, que forma parte de baterías clásicas de evaluación psicológica, como las mencionadas escalas Weschler (WISC, WAIS, WIPPSI), o el BAS, como tests de inteligencia que son; o algunas baterías neuropsicológicas como la NEPSY, por poner algunos ejemplos. Utilizamos la prueba tal y como viene en las instrucciones del manual, siguiendo el orden de las láminas, según una edad, con unos tiempos y número de cubos determinados, y sus correspondientes puntuaciones (hay que hacerlo así para obtener una puntuación estandarizada). Una vez lo hemos pasado muchas veces, podemos caer en el error de llevarlo a cabo de forma rutinaria, burocrática, como un autómata, sin plantearse preguntas o dudas sobre lo que estamos haciendo con la persona que tenemos delante y por qué. Si lleva usándose toda la vida por algo será. Además, esto lo ha hecho gente que sabe un montón sobre psicometría, y yo no tengo ni idea, se suele pensar (esto es verdad en muchos casos, que conste). Sin leerme siquiera la historia de la persona, sin hacer una entrevista con sentido, sin plantearme si es necesario utilizar tal o cual prueba, paso los Cubos cronómetro en mano porque forma parte de la batería, cuento aciertos y errores, los puntos conseguidos según el tiempo estipulado, busco las tablas estadísticas de estandarización según la edad del sujeto, y chimpún. Ya he evaluado la cognición espacial y puedo saber con ello si tiene un déficit en esta función que dice el test que mide. Además, como parte de un índice general de inteligencia, obtendré un CI que me dirá cómo es de inteligente la persona que he evaluado, y ya se podrán tomar decisiones educativas o administrativas de gran importancia para ésta, sin miedo a equivocarme, o a que un familiar o administración me vengan a pedir explicaciones. Lo dice el test, no yo. A mi que me registren. Después, haremos un informe, en el que pondremos unas tablas muy largas con todos los factores y resultados, incluso podremos poner gráficas de colores llamativos, para que quede todo con una estética muy sofisticada y profesional. Les suena, ¿no?

Pero no, eso no es evaluar. Eso es sólo pasar el test de Cubos, o cualquier otro. Para eso no hace falta saber nada, ni estudiar una carrera. Sólo comprar el test, que vale un dineral. Y si, además, el test dice en su título que es neuropsicológico, alguno se atreverá a afirmar con total convencimiento que ha hecho una evaluación neuropsicológica cuando, de la misma forma que con cualquier otro test, se ha limitado a pasarlo y hallar una puntuación, algo totalmente contrario al concepto mismo de qué es una evaluación neuropsicológica. Nos atrevemos a pasar los tests sin ni siquiera conocer los modelos cognitivos básicos, ni los de la cognición espacial, ni los de las demás funciones cognitivas; ni tener presente un modelo general de la cognición humana, ni las bases neuronales de las mismas, ni los signos y síntomas característicos de déficits, síndromes, trastornos o enfermedades. Pero, ¿qué nos dice la puntuación de la naturaleza del problema cognitivo de una persona concreta? Algo muy próximo a la nada. No podemos quedarnos en pasar el test y ya está. Tenemos la obligación de ir más allá y hacer una valoración que traspasa lo cuantitativo, entrando en lo cualitativo.

<<Con demasiada facilidad podemos dejarnos seducir por los números y los percentiles, y caer en la falsa sensación de que, debido a que tenemos datos numéricos, podríamos considerarlos (incorrectamente) como una mejor evidencia>>

Rudi Coetzer

Aunque los Cubos es una prueba visoespacial o visoconstructiva, según dicen los títulos e instrucciones de los manuales, como en toda tarea cognitiva entran en juego otras funciones, como pueden ser: percepción, atención, comprensión verbal, inhibición, flexibilidad cognitiva, monitorización, previsión, razonamiento, memoria de trabajo, praxias; debiendo además llevar cuidado con la velocidad de procesamiento y el cronómetro ¿Te has preguntado si puede haber alguna dificultad en cualquiera de esas funciones que contamine los resultados numéricos de los que tanto se alardea? ¿Dentro de todas esas funciones que participan en la resolución de los Cubos (u otra prueba), cuáles soportan mayor carga cognitiva? ¿Has visto algún signo o síntoma en la persona a la que evalúas que pueda hacerte sospechar que hay un déficit característico que forme parte de un síndrome? Pero es que, además, en la línea de la evaluación psicológica habitual, si la persona a la que evaluamos, comete cualquier tipo de error haciendo los Cubos, sea el que sea, y por el motivo que sea, la mayor parte de las veces nos limitamos a poner un cero y ya está. Todos son igualmente un cero en cuanto a puntuación, aunque tengan un significado clínico muy diverso.

<<[…] es importante tener en cuenta que las puntuaciones bajas en una tarea compleja puede ser debido a una alteración de cualquiera de las funciones involucradas en la tarea, o cualquier combinación de ellas>>

Kevin Walsh

<<Las pruebas diseñadas para evaluar el funcionamiento cognitivo, se basan en la idea de que la solución final a un problema, a la que se llega en un tiempo determinado, es una medida objetiva de un mecanismo unitario subyacente. Los ítems de la prueba en su mayor parte se califican como correctos o incorrectos y se suman para obtener una puntuación general. Este enfoque en el logro global no aborda la naturaleza y efectividad de las estrategias que un individuo puede emplear en el camino a una solución incorrecta o correcta>>

Edith Kaplan

Esto no es una ocurrencia, sino que existen análisis profundos de esta prueba (y de otras) desde hace muchos años, tanto en el ámbito de la investigación, como, sobre todo, y más relevante si cabe, en el ámbito clínico. Por eso, los psicólogos educativos, que hacemos evaluaciones sobre las dificultades de aprendizaje dentro y fuera de las escuelas (y el resto de psicólogos de otros ámbitos, incluidos los que se dedican a la investigación), creo que deberíamos obligarnos a remangarnos y estudiar neuropsicología. Pero la de verdad, no en pasar tests que en su título pone que son neuropsicológicos. Y para eso hay que estudiar sobre este campo (es complejo y hay que dedicarle mucho esfuerzo), y mezclarse con los neuropsicólogos clínicos (una vez más, los de verdad. No los que pasan tests sin más y se autodenominan neuropsicólogos). Así lo entendieron en Estados Unidos, desde principios de los años ochenta, donde dentro de la Psicología Educativa crearon la especialización en Neuropsicología Escolar, con el reconocimiento de la APA.

En el afán de ir más allá de pasar el subtest de Cubos sin más, es ineludible conocer algunas de las propuestas más relevantes que se han realizado dentro de la neuropsicología, basadas en la investigación clínica de los aspectos cualitativos de la evaluación, como las estrategias de resolución, modificaciones en su administración y puntuación, o de los tipos de errores y su significación clínica. En esta línea, Edith Kaplan, sin duda una de las gigantes de la neuropsicología, desarrolló nuevas formas de evaluar con los Cubos (y con todas las pruebas existentes de su época). Esta forma de evaluar es el denominado Boston Process Approach o enfoque de evaluación por procesos, que fueron profundizando y mejorando la propia Kaplan y sus discípulos. Estas formas cualitativas de evaluar en neuropsicología parten indudablemente de Alexander Luria, que es el que revolucionó la evaluación neuropsicológica. Evidentemente, a los neuropsicólogos (los de verdad) no les voy a descubrir nada; pero a muchos del ámbito educativo me temo que si.

<<Dos pacientes pueden conseguir puntuaciones exactamente iguales; pero por medios completamente diferentes. Un paciente que pone mal un cubo de nueve en un diseño concreto, obtiene el mismo cero que otro que tira o se come los cubos>>

Edith Kaplan

<< Para Luria, la observación más importante al evaluar a un paciente se refiere a la naturaleza de las desviaciones o errores, y cómo se podrían explicar dichos errores. Esto implica que el criterio de acierto/error no es suficiente o, en el mejor de los casos, es simplemente una primera aproximación bruta a las características del déficit. El análisis cualitativo de los errores será particularmente informativo en lo que se refiere al déficit subyacente>>

Alfredo Ardila

Respecto a las estrategias de resolución del test de Cubos, exponen dos principales: analíticas y sintéticas. Las estrategias analíticas se refieren a segmentar individualmente, cubo a cubo, el diseño a realizar, no viéndolo como un todo. Además de segmentar el estímulo a realizar cubo a cubo, los sujetos deben tener en cuenta la orientación de cada uno de los cubos. Esta estrategia lleva a realizarlo en un orden de movimientos. Por contra, las estrategias globales son aquellas que ven el diseño a conseguir como un todo, no diferenciando los bloques uno a uno, ni teniendo que plantearse la orientación de cada cubo de forma independiente, sino como parte de un todo, pudiendo hacerlo mediante ensayo y error mientras configuran la construcción global, además de no hacerlo en un orden concreto. Hay que tener en cuenta que, dentro del subtest de Cubos, hay ítems que te pueden conducir a una u otra estrategia. Por otra parte, Rozencwaig y Corroyer (2002), encontraron una tercera estrategia a la que llamaron estrategia sintética, en la que los sujetos percibien gestalts o formas geométricas, como un triángulo o un rombo, realizando la matriz en base a dicha gestalt. En esta estrategia, el orden de colocación de los cubos no es lo importante, sino el formar la gestalt de referencia. Las formas utilizadas obedecen a las leyes de la gestalt de proximidad, similitud, continuidad y simetría. Estas estrategias han sido muy estudiadas a lo largo de los años por diferentes grupos de investigación, no sólo por Kaplan y sus colaboradores (Beauscart-Zephir y Beauscart, 1988; Goldstein y Scheerer, 1951; Ionescu, Jourdan-Ioenuscu y Toselli-Toschi, 1983; Jones y Torgesen, 1981; Schorr, Bower y Kierman, 1982).

Kaplan y sus colaboradores, realizaron análisis con pacientes comisurotomizados y con lesiones focales. Los pacientes que realizan el test de Cubos y no pueden tirar del hemisferio derecho (bien por lesión o por la escisión del cuerpo calloso), tienden a romper la configuración de 2x2 o 3x3, comenzando por el lado derecho, y a apilarlos en el hemiespacio derecho, desorganizando la respuesta. Por contra, pacientes que no pueden recurrir al hemisferio izquierdo, inician la construcción por el lado izquierdo, pueden colocar mal algunos de los cubos, pudiendo rotarlos, o cometer fallos en parte de la configuración que deben construir; pero mantienen la estructura de 2x2 o 3x3.

Kaplan y su equipo, también realizaron modificaciones en la aplicación, análisis de errores y cambios en el sistema de puntuación del subtest de Cubos de las escalas Weschler (Kaplan, 1988; Kaplan et al., 1991), realizando versiones como el WAIS-R-NI (Kaplan et al., 1991), o el WISC-III-PI (Kaplan et al., 1999). De estos estudios realizaron las siguientes propuestas:

Cubos adicionales: En lugar de proporcionar 4 o 9 cubos, según corresponda siguiendo las instrucciones, sugieren darle al paciente 9 cubos cuando corresponde dar 4, y 12 cubos cuando corresponde dar 9. Con ello, se puede conseguir información adicional sobre la cognición espacial y el funcionamiento ejecutivo. Con mucha frecuencia te encuentras con niños y adolescentes que dicen que le faltan cubos para finalizar la respuesta, con lo que con esta modificación se puede observar qué estrategia están siguiendo y qué déficits pueden mostrar.

<<En la administración estándar de la subprueba de Diseño de Cubos, el examinador presenta el número exacto de bloques necesarios para construir el diseño, lo que limita, si no excluye, la probabilidad de que ocurran ciertos signos patognomónicos. En nuestra modificación ponemos 12 cubos en la mesa, pudiendo el paciente coger los cubos que necesita>>

Edith Kaplan

Diagrama de flujo. Se registra la secuencia de los movimientos o pasos que el paciente va dando en la configuración de su respuesta. Esto aporta información adicional muy rica sobre el estado del paciente, como ya decía el propio Kohs (1920, 1923). Este análisis te puede dar información sobre la estrategia seguida (analítica o sintética) o ninguna identificable (ensayo y error rotando el cubo hasta que consigue la posición adecuada), sobre el funcionamiento ejecutivo (previsiones, autoinstrucciones, planificación, flexibilidad, inhibición, persistencia, mantener el foco, perseveraciones, monitorización), la organización espacial, memoria de trabajo espacial (rotar los cubos mentalmente, visualización), praxias (se pueden ver dificultades en los primeros ítems que son más sencillos). Lhermitte et al. (1972) propusieron que el examinador puede dar facilitadores, actuando como los lóbulos frontales del paciente, pudiendo con ello diferenciar si se trata de un déficit frontal (ejecutivo) o parietal (espacial).

Subtipos de errores: Propusieron una serie de errores que sirven de complemento a las puntuaciones de las escalas Weschler:

Rotaciones: Se refiere a rotar el Cubo colocándolo con la cara incorrecta, produciendo errores en la composición de detalles internos. Estos errores están asociados a lesiones izquierdas.

Ruptura de la configuración: Cuando el paciente rompe la matriz 2x2 o 3x3. Este tipo de errores se observan en pacientes con lesiones derechas.

Errores de orientación: Cuando están mal orientados sobre unos 30 grados la posición final global o de algunos elementos en relación al modelo a seguir. Esto indica dificultades en la percepción espacial o ejecutivas.

Perseveraciones: Cuando la colocación incorrecta de Cubos persiste dentro de un ensayo o ítem, y en distintos ensayos o ítems. Cuando son perseveraciones graves son síntoma de dificultades frontales. Si son leves pueden ocurrir con errores de rotación y de ruptura de la configuración, pudiendo ser una conducta disejecutiva asociada a otra región cerebral específica.

Vinculado al estímulo: El paciente no puede evitar verse atraído por realizar su construcción, o apilar Cubos, justo al lado o encima de la lámina del cuaderno de estímulo. Los pacientes son conscientes; pero no lo pueden inhibir. Se centran excesivamente en las características más obvias del estímulo. Entiendo estas respuestas con cierta similitud a las conductas de utilización, imantación o imitación, dependientes del medio, que describe Lhermitte, características de déficits frontales. Serían conductas incidentales y no inducidas, como diferencian Shallice y colaboradores (1989).

Latencia de respuesta: Hace referencia a los pacientes que son capaces de realizar la tarea de forma correcta, incluso autocorregisrse si se equivocan; pero más allá del tiempo estipulado en las instrucciones del test. Estas dificultades pueden producirse por bradipsiquia, pobre velocidad de procesamiento, pudiendo ser múltiples las causas. Permitirle al paciente continuar con la tarea, para ver si es capaz de realizarla adecuadamente más allá del tiempo estipulado, puede servir para descartar dificultades en la cognición espacial, así como centrarse en posibles causas de la lentitud en la velocidad de procesamiento.

Posición inicial: En la línea del diagrama de flujo, documentar la posición inicial puede ayudar para discernir si existe una disfunción lateralizada. Según Akshoomoff et al. (1989), los sujetos sanos tienen una modesta preferencia por empezar por el lado izquierdo, mientras los pacientes con lesiones localizadas en el hemisferio izquierdo tienen muchas más probabilidades de empezar por el lado izquierdo, es decir, contralateral al hemisferio intacto.

En niños, Akshoomoff y Stiles (1996) introdujeron una nueva categorización de errores. Separan una subclase dentro de los errores de ruptura de configuración, que encontraron que ocurrían con frecuencia en niños de 4 a 6 años. Esta es la matriz rotada, donde la totalidad de la configuración 2 × 2 o 3 × 3 se gira 45°. También añadieron los errores de orientación, en los que los Cubos se colocan en la posición adecuada dentro de la matriz; pero una o más de las caras diagonales del Cubo (mitad rojo, mitad blanco) están orientados incorrectamente. Afirman que estos son los tipos de errores más frecuente en niños de 7 u 8 años. Estos dos tipos de errores me los he encontrado en mi práctica profesional, aunque no sabría decir si son los más habituales. Hay otros a la par de estos.

Por otra parte, Toraldo y Shallice (2004), establecen su propia clasificación de errores en el Test de Cubos, proponiendo siete tipos de errores principales:

1. Falta de estrategia identificable: cuando no es posible identificar una estrategia. La subdividen en cuatro categorías:

El cubo no está puesto en vertical. Admito que no sé realmente a qué se refieren.
Fuera de los límites espaciales, rompiendo la organización de la matriz 3x3.
Perseveración. Poner un Cubo de la misma forma (la misma cara) que el inmediatamente anterior.
Inclasificable en ninguna de las tres anteriores. Sin marco de referencia.

2. Uso de una estrategia equivocada. La estrategia se puede identificar; pero es errónea. Se subdivide en dos:

Fuera de la matriz 3x3, como se ha explicado antes.
Bloques por la cara de un color (blanco completo o rojo completo) en lugar de mitad rojo y mitad blanco (diagonal), para reproducir una característica diagonal del modelo.

3. Perseveraciones. Cuando un cubo se pone al lado de otro idéntico (horizontal o verticalmente) en el siguiente movimiento de una secuencia. Es igual que el anterior; pero si se observa una estrategia.

4. Errores espaciales. Hay dos subtipos:

Sobreestimación, cuando una dimensión o un elemento del modelo está sobreestimado.
Posición, cuando un cubo está puesto fuera de lugar vertical u horizontalmente.

5. Rotación. Cuando un cubo en posición diagonal (mitad rojo, mitad blanco), o un elemento compuesto por al menos dos cubos, queda a 90º o 180º de su orientación correcta. Hay tres subcategorías:

Rotación de un solo cubo diagonal (mitad rojo, mitad blanco) en 90º.
Confusión rojo-blanco. Rotación de 180º de un cubo diagonal (mitad rojo, mitad blanco).
Rotación de un elemento complejo.

6. Negligencia. Cuando un cubo se pierde en el hemiespacio contralesional.

7. Inclasificable. Cuando no se puede incluir en ninguna de las categorías de la 2 a la 6.

Se han realizado estudios sobre características de los errores como la secuencia particular de movimientos que realiza un paciente (Joy, Fein, Kaplan y Freedman, 2001; Toraldo y Shallice, 2004), cualquier colocación incorrecta de los bloques (Ben-Yishay, Diller, Mandleberg, Gordon y Gerstman, 1971; Hoffman et al., 2003; Jones y Torgesen, 1981; Joy et al., 2001; Schatz, Ballantyne y Trauner, 2000; Troyer, Cullum, Smernoff y Kozora, 1994), el tipo cualitativo o escala de errores que se cometen (Akshoomoff, Delis y Kiefner, 1989; Joy et al., 2001), y también lo que se denomina error de “configuración rota”, en el que el participante coloca un bloque demasiado lejos de su construcción en curso, rompiendo la configuración del diseño a realizar (Akshoomoff et al., 1989; Akshoomoff y Stiles, 1996; Joy et al., 2001; Kramer, Blusewicz, Kaplan y Preston, 1991; Kramer, Kaplan, Share y Huckeba, 1999; Schatz et al., 2000; Troyer et al., 1994; Zipf-Williams, Shear, Strongin, Winegarden y Morrell, 2000).

Como se puede ver, la riqueza de análisis de la respuesta de un sujeto que es evaluado con el subtest de Cubos, puede ser mucho mayor que la simpleza de poner un 1 cuando se acierta, o un 0 cuando se yerra. Cuando se evalúa a personas constantemente, uno se da cuenta muy pronto que esta forma de evaluar es muy pobre y superficial, perdiéndose información muy relevante, por mucho que se salga de las puntuaciones estandarizadas del test en cuestión. Y esta misma situación se da con cualquier test o prueba que se use para evaluar la cognición de una persona (sirva esta entrada sobre los Cubos como ejemplo para el resto de pruebas, y como pequeño aperitivo). Incluso en muchas ocasiones no es ni siquiera necesario un test concreto. Además de los síntomas y signos indicados, se pueden detectar otros a los aquí vistos, debiendo estar para ello convenientemente entrenado y con un conocimiento profundo sobre neurocognición y semiología. No es usar la bola de cristal, ni hacer lo que uno considera de forma improvisada y arbitraria. Es conocimiento observable, medible y replicable, basado en la investigación clínica y en la experiencia profesional. Y esto, que está totalmente asumido en neuropsicología (insisto, la de verdad), fuera de ésta parece que cuesta mucho trabajo de entender y asimilar, pensando que es un ataque a la psicometría y una ocurrencia sin base científica, cuando es justo al contrario. Lo que no tiene mucha base, ni clínica ni científica, es poner un 1 o un 0 sin más, y hacer conclusiones. Y no digamos ya, concluir un CI y hacer afirmaciones en base a ése número, sin tener en cuenta las mil y unas combinaciones posibles, el peso de cada una de las funciones cognitivas implicadas en cada prueba (carga cognitiva), ni controlar las variables extrañas que puedan estar influyendo a cada subtest o factor, ya que no se puede aislar la carga sobre una función cognitiva concreta, sin la participación de otras funciones.

<<Las puntuaciones combinadas en un WISC proporcionan la misma información que las notas medias de la escuela. No da información sobre el rendimiento en cada asignatura>>

Muriel Lezak

<<En la evaluación neuropsicológica, las puntuaciones de CI, ya sean altas o bajas, son notorios índices poco fiables de deterioro neurocognitivo>>

Muriel Lezak

<<Desafortunadamente, la institucionalización comúnmente aceptada de puntuaciones de "CI" por parte de las administraciones públicas puede agregar más sufrimiento a situaciones ya trágicas>>

Muriel Lezak

Para saber más y mejor:

Akshoomoff, N.A. y Stiles, J. (1996). The influence of pattern type on children blocks design performance. Journal of the International Neuropsychological Society, 2, 392-402.

Akshoomoff-Haist, N. A., Delis, D. C., y Kiefner, M. G. (1989). Block constructions of chronic alcoholic and unilateral brain-damaged patients: a test of the right hemisphere vulnerability hypothesis of alcoholism. Archives of Clinical Neuropsychology 4, 75-281.

Ben-Yishay, Y., Diller, L., Mandleberg, I., Gordon, W. y Gerstman, L. (1971). Similarities and differences in block design performance between older normal and braininjured persons: A task analysis. Journal of Abnormal Psychology, 78, 17-25.

Beuscart-Zephir, M.C. y Beuscart, R. (1996). Tests de Performances; une methode d'analysie des strategies de resolution. Un exemple: le test de cubes du WISC-R. European Journal of Psychology of Education, 3, 33-51.

Goldstein, K. y Scheerer, M. (1951). Abstract and concrete behavior. A study with special tests. Psychological monographs, USA. Paris: Edition francaise des tests au CPA.

Hoffman, J. E., Landau, B. y Pagani, B. (2003). Spatial breakdown in spatial construction: Evidence from eye fixations in children with Williams syndrome. Cognitive Psychology, 46(3), 260–301.

Hutt, M. (1932). The Kohs blocks-design test: A revision for clinical practice. Journal of Applied Psychology, 16(3), 298-307.

Ionescu, S.; Jourdan-Ioenuscu, C. y Toselli-Toschi, M.R. (1983). Nouvelles directions dans l'utilisation d'un test d'intelligence (cubes de Kohs). Potentiel d'apprentissage, differences inter-culturelles, organicite cerebrale, activite de l'hemisphere droit, traitment de l'information. Enfance, 4, 363-380.

Jones, R.S. y Torgesen, J.K. (1981). Analysis of behaviors involved in performance of the Block Design Subtest of the WISC-R. Intellingence, 5, 321-328.

Joy, S.; Fein, D.; Kaplan, E. y Freedman, M. (2001). Quantifiying qualitative features of block design performance among healthy olders adults. Archives of Clinical Neuropsychology, 16(2), 157-170.

Kaplan, E. (1988). A process approach to neuropsychological assessment. En M. Dennis, E. Kaplan, M. Posner, D. G. Stein y R.F. Thompson. Clinical Neuropsychology and Brain Function: Research, Measurement and Practice. Washington: American Psychological Association.

Kaplan, E., Fein, D., Kramer, J., Delis, D., & Morris, R. (1999). The WISC-III as a Process Instrument [Manual]. San Antonio, TX: Psychological Corporation.

Kaplan, E.; Fein, D.; Morris, R. y Delis, D. (1991). The WAIS-R as a neuropsychological instrument. San Antonio, Texas: The Psychological Corporation.

Kohs, S.C. (1920). The block design tests. Journal of Experimental Psychology, 3, 357-376.

Kohs, S.C. (1923). Intelligence measurement. New York: Macmillan.

Kramer, J., Blusewicz, M., Kaplan, E. y Preston, K. (1991). Visual hierarchical analysis of block design configural errors. Journal of Clinical and Experimental Neuropsychology, 13(4), 455–465.

Kramer, J.H.; Kaplan, E.; Share, L. y Huckeba, W. (1999). Configural errors on WISC-III blockdesign. Journal of the International Neuropsychological Scociety, 5 (6), 518-524.

Kunda, M.; El-Banani, M. y Rehg, J. (2016). A computational exploration of problem-solving strategies and gaze behaviors on the Block Design task. 38th Annual Meeting of the Cognitive Science Society. Philadelphia, PA. 235-240.

Lhermitte, F. (1983). "Utilization behavior" and its relation to lesions of the frontal lobes. Brain, 106, 237-255.

Lhermitte, F.; Derouesné, J. y Signoret, J.L. (1972). Analyse neuropsychologique du syndrome frontal. Revue Neuropsychologique, 127, 415-440.

Royer, F.L.; Gilmore, G.C. y Gruhn, J.J. (1984). Stimulus parameters that produce age differences in block design performance. Journal of Clinical Psychology, 40, 1474-1485.

Rozencwaig, P. y Corroyer, D. (2002). Strategy development in a block design task. Intelligence, 30(1), 1-25.

Rozencwaig, P. y Fenouillet, F. (2012). Effect of goal setting on the strategies used to solve a block design task. Learning and Individual Differences, 22(4), 530-536.

Rozencwaig, P. y Huteau, M. (1996). Les atrategies globale, analytique et synthetique dans les cubes de Kohs. Psychologie Francaise, 41, 57-64.

Schatz, A., Ballantyne, A. y Trauner, D. (2000). A hierarchical analysis of block design errors in children with early focal brain damage. Developmental Neuropsychology, 17(1), 75–83.

Shallice, T.; Burgess, P.W.; Schon, F. y Baxter, D.M. (1989). The origins of utilization behavior. Brain, 112, 1587-1598.

Schorr, D.; Bower, G.H. y Kierman, R. (1982). Stimulus variables in the block design task. Journal of Consulting and Clinical Psychology, 50, 479-487.

Swenson, R.; Bettcher, M.; B.M.; Barr, W.; Campbell, M. y Libon, D.J. (2013). Visuoconstructional Test Performance and Process Approach Application: Block Design, Object Assemply and the Rey-Osterrieth Complex Figure. En L. Ashendorf, R. Swenson y D. Libon. The Boston Process Approach to Neuropsychological Assessment. A Practitioner's Guide. New York: Oxford University Press.

Toraldo, A. y Shallice, T. (2004). Error analysis at the level of single moves in block design. Cognitive Neuropsychology, 21 (6), 645-659.

Troyer, A., Cullum, C., Smernoff, E. y Kozora, E. (1994). Age effects on block design: Qualitative performance features and extended-time effects. Neuropsycholy, 8, 95-99.

Vernon, P.E. (1952). La structure des aptitudes humaines. Paris: Presses Universitaires de France.

Weschler, D. (1955). WAIS [Manual]. San Antonio, TX: Psychological Corporation.

Zipf-Williams, E., Shear, P., Strongin, D., Winegarden, B. y Morrell, M. (2000). Qualitative block design performance in epilepsy patients. Archives of Clinical Neuropsychology, 15, 149–157.