{"id":309,"date":"2009-08-11T12:50:10","date_gmt":"2009-08-11T11:50:10","guid":{"rendered":"http:\/\/archivio.fcvg.it\/?p=309"},"modified":"2020-02-17T16:37:45","modified_gmt":"2020-02-17T15:37:45","slug":"test-invalsi-e-metodologia-scientifica","status":"publish","type":"post","link":"http:\/\/www.fcvg.it\/archivio\/?p=309","title":{"rendered":"Test Invalsi e metodologia scientifica"},"content":{"rendered":"

Plausibilmente la notizia vi \u00c3\u00a8 gi\u00c3\u00a0 arrivata (altrimenti potete leggerla su Repubblica<\/a> o sul Corriere<\/a>): il risultato degli ultimi testi dell’Invalsi (Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione) \u00c3\u00a8 che i ragazzi di terza media del mezzogiorno hanno risultati migliori di quelli del centro e addirittura di quelli del nord Italia. La cosa puzza un po’ (dato che cozza con tutti gli altri dati che abbiamo a disposizione) e infatti, andando ad analizzare un po’ meglio i dati, vien fuori che una larga fetta dei test svolti al sud sarebbero copiati. In pratica gli insegnanti avrebbero aiutato gli alunni in modo da far ottenere loro punteggi pi\u00c3\u00b9 alti. Preso atto di questo all’Invalsi hanno fatto un po’ di analisi statistiche (Repubblica si riempie la bocca con termini complicati come Hard Clustering<\/em> o Fuzzy Logic<\/em> ma dubito fortemente che il giornalista in questione abbia una vaga idea di cosa sta parlando) per correggere le varie furberie et voil\u00c3\u00a0 la classifica si ribalta rimettendo gli studenti del nord al primo posto.<\/p>\n

Ora io non voglio fare una discussione sulle ragioni politiche\/sociali\/economiche delle differenze nord\/sud n\u00c3\u00a8 parlare della responsabilit\u00c3\u00a0 degli studenti. Non ne avrei le competenze (se volete per\u00c3\u00b2 potete leggervi il lunghissimo rapporto dell’Invalsi o la discussione su nFA). Vorrei invece spendere due parole sull’uso delle metodologie statistiche<\/em> che mi pare essere passata un po’ in secondo piano ma che a me ha fatto accapponare la pelle.<\/p>\n

Io il rapporto dell’Invalsi non l’ho letto (troppo lungo) ma da quel che si evince dai giornali la sequenza degli eventi \u00c3\u00a8 stata di questo tipo: l’Invalsi ha preparato il test, il test \u00c3\u00a8 stato effettuato da un certo numero (rappresentativo) di studenti, l’Invalsi ha analizzato i risultati ed ha visto che le cose andavano decisamente in modo diverso da quello che si sarebbero aspettati. Allora hanno riffato l’analisi utilizzando dei metodi statistici diversi e plausibilmente pi\u00c3\u00b9 raffinati ottenendo un risultato in linea con le previsioni e lo hanno pubblicato.<\/p>\n

Dov’\u00c3\u00a8 l’errore? L’errore (grosso come una casa) \u00c3\u00a8 che NON<\/strong> \u00c3\u00a8 lecito nella maniera pi\u00c3\u00b9 assoluta scegliere a posteriori che tipo di analisi si far\u00c3\u00a0 sui dati. Queste scelte vanno fatte TUTTE<\/strong> a priori altrimenti il rischio di introdurre, coscienti o meno, un bias \u00c3\u00a8 fortissimo. Nel mondo scientifico cambiare la tecnica di analisi per far collimare i dati alle proprie aspettative si chiama frode<\/strong> e quando uno viene beccato a fare una cosa del genere si gioca la reputazione e (nei paesi seri, non in Italia) anche il posto di lavoro.<\/p>\n

Allora cosa dovevano fare all’Invalsi? Intanto avrebbero dovuto prevedere che un certo numero di copiature e furberie ci sarebbero state (previsione non difficile da fare) e approntare prima<\/strong> delle tecniche di analisi dei dati che permettessero di individuare cose di questo genere e di eliminarle. Lo hanno fatto? Non lo so (magari a leggersi con attenzione il loro rapporto lo si scoprirebbe) ma l’impressione che viene leggendo gli articoli sui giornali \u00c3\u00a8 di no. E allora? Cosa fare dei dati una volta che ci \u00c3\u00a8 resi conto che sono falsati dalle copiature e che non abbiamo preventivato un metodo per correggere queste cose? Semplice, fare come fanno tutti gli scienziati quando si trovano in una situazione del genere: dichiarare i dati inaffidabili e ripetere l’esperimento (magari stavolta in maniera pi\u00c3\u00b9 intelligente). Se l’esperimento non pu\u00c3\u00b2 essere ripetuto (magari perch\u00c3\u00a9 troppo costoso) farne a meno e far tesoro dell’esperienza per la prossima volta<\/p>\n

Questo \u00c3\u00a8 quello che si sarebbe dovuto fare per mantenere il rigore scientifico di questo test. Se non \u00c3\u00a8 stato fatto allora l’unica conclusione che posso trarne \u00c3\u00a8 che le 180 e passa pagine del rapporto dell’invalsi sono poco pi\u00c3\u00b9 che carta straccia.<\/p>\n","protected":false},"excerpt":{"rendered":"

Plausibilmente la notizia vi \u00c3\u00a8 gi\u00c3\u00a0 arrivata (altrimenti potete leggerla su Repubblica o sul Corriere): il risultato degli ultimi testi dell’Invalsi (Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione) \u00c3\u00a8 che i ragazzi di terza media del mezzogiorno hanno risultati migliori di quelli del centro e addirittura di quelli del […]<\/p>\n","protected":false},"author":5,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":false,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[5,21,7],"tags":[49,45,46,48,47,44],"class_list":["post-309","post","type-post","status-publish","format-standard","hentry","category-politica","category-ricerca","category-riflessioni","tag-invalido","tag-invalsi","tag-metodologia","tag-scientifico","tag-statistica","tag-test"],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack_shortlink":"https:\/\/wp.me\/pdKGSU-4Z","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"http:\/\/www.fcvg.it\/archivio\/index.php?rest_route=\/wp\/v2\/posts\/309","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/www.fcvg.it\/archivio\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.fcvg.it\/archivio\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.fcvg.it\/archivio\/index.php?rest_route=\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"http:\/\/www.fcvg.it\/archivio\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=309"}],"version-history":[{"count":5,"href":"http:\/\/www.fcvg.it\/archivio\/index.php?rest_route=\/wp\/v2\/posts\/309\/revisions"}],"predecessor-version":[{"id":2110,"href":"http:\/\/www.fcvg.it\/archivio\/index.php?rest_route=\/wp\/v2\/posts\/309\/revisions\/2110"}],"wp:attachment":[{"href":"http:\/\/www.fcvg.it\/archivio\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=309"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.fcvg.it\/archivio\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=309"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.fcvg.it\/archivio\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=309"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}