QCM en ligne d'habileté lexicale (cherche participants)

Bonjour/Bonsoir à toutes et à tous,

Alors voilà, je me suis amusé (très sérieusement ) à concevoir un QCM visant à évaluer l'habileté lexicale. Afin de rendre les scores bruts significatifs/interprétables, j'aurais besoin d'étalonner ce test sur une population ayant déjà passé des tests standardisés (WAIS, WISC et autres). En l'occurrence, ce sont ici surtout les résultats à l'ICV (Indice de Compréhension Verbale) qui importent, mon test faisant spécifiquement appel à cette dimension du facteur G.

Plus il y aura de participants, plus je pourrai proposer une conversion précise et fiable des scores bruts sous forme de niveaux standardisés par groupe d'âge.

Il s'agit d'un QCM de 48 items, sans limite de temps. Aussi, pour vous en faire une idée plus précise, vous pouvez le parcourir librement sans être contraint d'y répondre.

Il est d'un niveau global sensiblement plus ardu que l'ICV de la WAIS/WISC, car il cible la frange de la population la plus susceptible de trouver de l'intérêt et de la satisfaction dans ce genre d'exercice, à savoir, celle dont l'ICV s'étalonne entre la moyenne (90-110) et l'extrémité supérieure de la distribution (>145).

Test d'Habileté Lexicale

N'hésitez pas à partager ici vos impressions.

En prime, un test de culture générale de 48 items, déjà étalonné sur une population occidentale mixte et traduit de l'anglais en français par mes soins.
Dans sa conception, il est légèrement biaisé en faveur des standards culturels américains et son étalonnage gagnerait à être ajusté aux normes françaises. Mais, en l'état, d'après les premiers retours que j'ai obtenus sur la base de Français ayant déjà passé la WAIS/WISC, les conversions en notes standardisées qu'il propose s'alignent déjà de manière très satisfaisante avec celles obtenues au subtest Information dans sa version Française.

Test de Culture Générale

Fait, pour le fun (et pour motiver d'autres gens ^^).
Pour la partie mots, prévoir de la drogue dure pour la deuxième moitié, c'est assez ésotérique (mais sympa quand même !).
Pour le test de culture G, bien faire gaffe à n'écrire que les noms de familles quand la question porte sur une personne - ça m'a couté quelques points (bon, à moins qu'un type ait marché sur la Lune avant le petit Neil ^^).
Bon désolé pour les vannes douteuses, j'espère que tu auras des réponses, j'imagine bien que ces tests ne sont pas des plus faciles à mettre au point

La consigne précise pourtant bien "en 1 seul mot"
Ca m'évite d'avoir à préciser "patronyme" à chaque question.

Merci pour ton retour en tout cas!

J'ai checké tes réponses, et ça te fait donc en effet 2 points supplémentaires. Je manque de données pour ta catégorie d'âge, mais normalement ça bouge plus trop à partir de 35 ans.

Concernant la seconde partie, je concède qu'elle est assez "expérimentale" on va dire. Mon but, c'est d'y évaluer la capacité à abstraire conceptuellement le dénominateur commun d'un champs lexical plus ou moins diffus, et souvent volontairement déroutant, mais pour autant rigoureusement unifié autour d'un concept général qu'il s'agit d'induire pour pouvoir, ensuite, identifier l'intrus. Et plus le vocabulaire est étendue, plus on dispose d'indices pour opérer cette induction, ce qui - en théorie du moins - permet de faire d'une pierre deux coups (évaluation de l'étendue du vocab + faculté d'abstraction conceptuelle).  

Tu n'as aucunes références à des subtests verbaux ?

J'ai sans doute manqué d'attention à la lecture de certaines consignes... (je ne suis pas épargné par les ravages de "l'attention span" à l'heure du web, ou bien j'étais juste impatient de commencer ^^)
Le concept de la deuxième partie est intéressant : mais là aussi, j'ai voulu aller vite, ce qui n'était pas une bonne idée, d'autant que tu précises que le temps n'est pas limité.
Pour ta question, j'ai passé le WISC vers mes 13 ans, je n'ai pas eu le compte-rendu, que ma mère a malheureusement égaré, je sais juste que j'étais à 130 (la psy, recroisée des années après, devait nous en fournir une copie, mais elle est malheureusement décédée avant...)

Arkahn_101 a écrit:
Concernant la seconde partie, je concède qu'elle est assez "expérimentale" on va dire. Mon but, c'est d'y évaluer la capacité à abstraire conceptuellement le dénominateur commun d'un champs lexical plus ou moins diffus, et souvent volontairement déroutant, mais pour autant rigoureusement unifié autour d'un concept général qu'il s'agit d'induire pour pouvoir, ensuite, identifier l'intrus. Et plus le vocabulaire est étendue, plus on dispose d'indices pour opérer cette induction, ce qui - en théorie du moins - permet de faire d'une pierre deux coups (évaluation de l'étendue du vocab + faculté d'abstraction conceptuelle).  

Perso dans la seconde partie j'ai chié avec la même probabilité les items du début et ceux de la fin. Même en relisant les réponses j'ai aucune certitude quand à la bonne réponse.

Je ne suis pas thaumaturge mdr

Et ça veut dire quelque chose Gilde ? C'est pas guilde plutôt ?

Et je connais pas mes notes brutes donc j'ai mis un peu au hasard en relisant le compte-rendu du neuropsy.

Mais le test est rigolo.

Zorg a écrit:J'ai sans doute manqué d'attention à la lecture de certaines consignes... (je ne suis pas épargné par les ravages de "l'attention span" à l'heure du web, ou bien j'étais juste impatient de commencer ^^)
Le concept de la deuxième partie est intéressant : mais là aussi, j'ai voulu aller vite, ce qui n'était pas une bonne idée, d'autant que tu précises que le temps n'est pas limité.
Pour ta question, j'ai passé le WISC vers mes 13 ans, je n'ai pas eu le compte-rendu, que ma mère a malheureusement égaré, je sais juste que j'étais à 130 (la psy, recroisée des années après, devait nous en fournir une copie, mais elle est malheureusement décédée avant...)

J'suis pareil avec les consignes, j'ai tendance à les zapper, et vu les premières dizaines de datas que j'obtiens (notamment sur le test de culture G), faut croire que cette négligence est la norme !

Effectivement, t'as vraiment speedé vu le peu de temps qui sépare mon post de ton envoi. Or la seconde partie nécessite de prendre le temps de la réflexion.

câlin a écrit:
Et ça veut dire quelque chose Gilde ? C'est pas guilde plutôt ?

Il y a plusieurs orthographies mais, tu fais bien de me le faire remarquer, car la plus commune c'est "guilde". Je viens de corriger.  

Pour l'instant, la moyenne de l'échantillon est de 22-23 (tout âge confondu donc).

Premier constat : il semblerait que j'ai très largement sous-estimé la difficulté de la partie 2 !    

J'ai rien compris.

12/48 en culture G
Un grand merci à Platon, Spinoza, Nietzsche et littérature !

(Et je suis sûre que j'avais la même tête que mon avatar en faisant le test.)

Comme pressenti dès les premiers résultats, j'ai très largement sous-estimé la difficulté de la partie 2, et hélas, ça y rend les données pratiquement inexploitables. Mea culpa. Il aurait fallu une bien plus grande proportion d'items simples pour compenser - par familiarisation progressive - les éventuelles lacunes de la consigne et garantir ainsi une distribution plus centrée. En revanche, pour la partie 1, celle qui ne sollicite pas le raisonnement inductif et qui se borne plus basiquement à l'intelligence cristallisée et aux distinctions sémantiques fines, la distribution est assez bien centrée et les données plus facilement exploitables.  

Aussi, je pense que le mieux, c'est que je revienne très bientôt avec une nouvelle mouture uniquement basée sur le principe de la première partie (antonymes) et globalement nettement moins dure, en tirant parti autant que possible de tous les enseignements (nombreux!) que me livrent ces premiers retours.

En l'état, on peut quand même faire quelques stats :
- Moyenne totale : 23/48 (partie 1 : 15/26 + partie 2 : 8/22) ; Médiane : 21/48 ; écart type : 6 ; âge moyen : 37 ans (E.T. : 14 ans)
- Les parties 1 et 2 sont corrélées à 0.6, ce qui confirme que c'est bien moins la validité de ce que mesure la partie 2 qui est en cause que le mauvais dosage de son niveau de difficulté.
- L'âge est corrélé à 0.8 avec le score total et le score à la partie 1, mais seulement à 0.6 avec la seconde. D'un point de vu psychométrique, cette forte corrélation positive est tout ce qu'il y a de plus prévisible compte tenu de la nature des compétences ici évaluées (en terme de scores bruts, l'ICV de la WAIS culmine vers l'âge de 50 ans, tandis que dans toutes les autres dimensions du facteur G, un déclin tendanciel s'observe dès l'âge de 35 ans). Toutefois, ça confirme là aussi que la partie 1 procède surtout de l'intelligence cristallisée, de cette dimension de G qui continue de progresser tardivement, tandis que la partie 2, sans doute du fait de son caractère très inductif et abstractif, rajoute à cette dimension celle de l'intelligence fluide, qui à l'inverse tend à décroître précocement. C'est d'ailleurs en prévoyance de cela que j'avais ajouté dans les infos perso à compléter des références au raisonnement fluide (notamment le subtest Matrices).

Et enfin, pour ceux d'entre vous qui ont été déroutés par la partie 2 au point d'avoir - peut-être - l'impression de jouer au "Kamoulox"    et de faire à peine mieux que ne l'aurait fait le hasard, je tiens quand même à apporter quelques éclaircissements en démontrant que, aussi aléatoires et hétéroclites qu'elles puissent paraître à première vue, chacune de ces listes de mots est rigoureusement unifiée autour d'un concept général et englobant auquel seul un intrus fait exception. Pour optimiser l'objectivité de ces listes, je me suis d'ailleurs aidé de pleins de dico pointus (trop pointus!), dont un spécialisé dans les mots-clés pour constituer des champs lexicaux.
Après, c'est sûr qu'à ce jeu le fait de créer ce genre de liste est cognitivement bcp moins exigeant que le processus de "rétroingénierie" nécessaire pour en abstraire le dénominateur commun.  
Quelques exemples d'items spoilés pour les curieux :

Spoil:

partie 2:

Au final la difficulté est OK mais il faudrait un deuxième essai, éliminer un mot ça aide énormément.

T'avais en effet les moyens de scorer bien plus haut en prenant un peu plus de temps.
(Et tu feras gaffe, on voit ce que tu spoiles.   T'as sans doute utilisé la fonction "cacher". Le spoiler est juste à côté à sa gauche).

Commentaires sur tes raisonnements:

Commentaire du commentaire:

C'est juste que quand le spoiler est trop long il se déspoile.

Bonjour Arkahn_101,

J'ai passé ton premier questionnaire de culture générale. Honnêtement, je ne l'ai pas trouvé hyper difficile, c'était plutôt cool et sympa en fait.

Par contre j'ai commis plein d'erreurs sur des questions où je pensais vraiment connaître les réponses (le plus grand désert terrestre, l'océan pacifique, et pire la vitesse de la lumière dont je connaissais il y a quelques mois la valeur exacte car je l'avais apprise par coeur !! Je ne sais pas comment j'ai pu me tromper dans la valeur, j'ai ajouté trois 0 en trop je crois).

Bon, au final, je n'ai pas obtenu un mauvais score, je suis plutôt bien placée si je me fie à ta table d'étalonnage

Bon, je viens de passer le test d'habileté lexicale, j'ai compté mes bonnes réponses ça fait 27 / 48, c'est quand même pas beaucoup vu toutes les fautes rouges que j'ai vu dans la correction. Mais bon, on verra avec la table d'étalonnage ce que ça donne

Merci énormément pour ta participation Regina_Regina !  

Regina_Regina a écrit:pire la vitesse de la lumière dont je connaissais il y a quelques mois la valeur exacte car je l'avais apprise par coeur !! Je ne sais pas comment j'ai pu me tromper dans la valeur, j'ai ajouté trois 0 en trop je crois).

En effet, t'as répondu en mètres au lieu de km.

Ton vrai score est de 34/48 (je ne sais pas pourquoi ça a affiché 33). Ca te place 2e exæquo sur un échantillon de 79 dont le niveau moyen est d'environ 1 écart type au-dessus de la moyenne de la pop générale, ce qui te situe à peu près dans le top 1% des Français/Occidentaux. Donc ouais, dire que "c'est pas un mauvais score", c'est au delà de l'euphémisme 
Logique qu'il t'ait semblé pas très difficile.

Regina_Regina a écrit:Bon, je viens de passer le test d'habileté lexicale, j'ai compté mes bonnes réponses ça fait 27 / 48, c'est quand même pas beaucoup vu toutes les fautes rouges que j'ai vu dans la correction. Mais bon, on verra avec la table d'étalonnage ce que ça donne

Intéressant. Relativement à l'échantillon, t'as bien mieux réussi la partie 2 que la partie 1, et t'es bien la seule dans ce cas pour l'instant. Dans la 1, exclusivement centrée sur le vocabulaire et les nuances sémantiques fines, t'es dans la moyenne de l'échantillon avec 15/26, tandis que dans la 2, où se surajoute le raisonnement fluide et l'induction, t'es dans les meilleurs avec 12/22 (à peine plus de 50% des points, c'est dire si cette partie est mal dosée en terme de difficulté).

Hélas, pour les raisons que j'ai mentionné dans les messages précédents, je doute fort de pouvoir en tirer un étalonnage cohérent/pertinent, car la partie 2 induit trop d'aberrations statistiques (en plus du fait que trop peu de participants ont des références à des tests verbaux standardisés). Je compte refaire une version globalement plus accessible et moins retorse en tirant parti des nombreux enseignements que m'a apporté ce premier test.

Tiens, j'ai vu que t'as mentionné le JCTI comme référence. Je connais bien ce test. Très fastidieux, mais statistiquement robuste et fiable.