a cura di Antonio Calvani 
Un esempio di applicazione della metodologia proposta

Obiettivo primario della nostra esperienza è stato verificare la validità della metodologia di valutazione sopra descritta, tramite l'applicazione degli elementi emersi nella fase teorica, ad una situazione concreta di formazione a distanza. Durante la fase della sperimentazione sono stati presi in esame tutti i messaggi scambiati all'interno del corso di formazione a distanza per docenti di Educazione Ambientale (EA) - condotto interamente per via telematica - EuMEDEA. Oggetto di tale corso è stata la proposta metodologica elaborata dall'ITD (Midoro, Briano 1999), che prevede la progettazione e la conduzione di esperienze di EA da parte di una équipe di docenti di discipline diverse (provenienti in questo caso da quattro diversi paesi europei).

Il corso ha avuto una durata complessiva di 3 mesi (da Marzo a Giugno '98) ed è stato suddiviso in 4 fasi (M0- Familiarizzazione, M1- Identificazione del Problema, M2- Definizione degli Scopi, M3- Pianificazione).

Applicazione della metodologia
L'approccio metodologico proposto si basa, come abbiamo già sottolineato in precedenza, sull'analisi dettagliata di ogni singolo messaggio, considerato la componente base del processo d'interazione in rete.

Un osservatore esterno al corso ha quindi attribuito un valore quantitativo (compreso tra 1 e 10) ai parametri di qualità sulla base di criteri che conferiscono maggior rilevanza, per ogni conferenza, alle caratteristiche connesse con i suoi obiettivi. Una volta che i descrittori di tutti i messaggi sono stati caricati nel database, è possibile estrarre e ricostruire alcune informazioni relative alla qualità dei processi d'apprendimento: il punto di partenza è stato quindi estrapolare dal database gli elementi che compongono la qualità globale di un corso online, considerata funzione della qualità dei contenuti, della qualità dell'apprendimento (prodotti) e della qualità dell'interazione/comunicazione. Riportiamo di seguito alcuni dei passaggi logici e fondamentali che hanno permesso di definire e raggiungere il valore dalla qualità globale del corso in esame.

Query: Qualità dell'interazione
La qualità dell'interazione messa globalmente in atto nel corso EuMEDEA è ricavata come sintesi delle qualità dell'interazione delle singole conferenze. I dati raccolti mostrano che i livelli maggiori di qualità dell'interazione sono stati raggiungiunti in corrispondenza delle fasi centrali del corso (con valori pari a 7,29) e nell'area del Laboratorio (pari a 8,26; il dato relativo al laboratorio è giustificato dall'intenso scambio di messaggi imputabile ai numerosi e ricorrenti problemi tecnici sorti durante il corso). In tale misura intervengono, tra le altre, considerazioni relative al grado di partecipazione (numero di messaggi inviati dai partecipanti), alla presenza di discussioni (numero di thread), alle tipologie prevalenti di messaggio (proposte, richieste di supporto, confutazioni, ecc.).

Query: Qualità dei contenuti
Il valore della qualità dei contenuti si ottiene da una somma pesata dei parametri di qualità "costruzione di nuove conoscenze" e "correttezza del contenuto". Poter specificare la rilevanza dei parametri consente al valutatore di tarare il processo di valutazione sulla base degli obiettivi delle singole conferenze: il parametro costruzione di nuova conoscenza assume quindi maggiore importanza nelle conferenze tematiche (quale M1- Identificazione del Problema, M2- Definizione degli Scopi, M3- Pianificazione), e viene considerato meno significativo in una conferenza destinata alla socializzazione (ad es. M0- Familiarizzazione). Nel corso EuMEDEA la qualità dei contenuti è distribuita in modo omogeneo tra le varie aree di discussione, raggiungendo il livello massimo nell'ambito della Libreria (dove sono reperibili i documenti relativi al tema affrontato durante il corso). Nella Figura 6 sono rappresentati i valori della qualità dei contenuti nelle singole aree di discussione.

Query: Qualità dell'apprendimento (prodotti)
Come la qualità dei contenuti, anche il valore della qualità dell'apprendimento (ottenuta da un'analisi dei prodotti realizzati) è stato ricavato attraverso la somma pesata dei parametri di qualità congruenza formale e correttezza del contenuto relativi, nel caso specifico, ai messaggi definiti come "prodotti allegati".

Query: Qualità globale
Il valore della qualità globale del corso in rete EuMEDEA è dato quindi dalla relazione tra i valori della qualità dell'interazione, qualità dei contenuti e della qualità dell'apprendimento (prodotti) (indicati in tabella) e può essere quindi identificata come un punto in uno spazio tridimensionale le cui coordinate sono date dai rispettivi valori della qualità (rappresentata graficamente nella Figura 7):

Elementi della qualità globale del corso in rete EuMEDEA Singoli valori di Qualità
Qualità dei contenuti  5,68
Qualità dell'apprendimento (prodotti) 4,00
Qualità dell'interazione/comunicazione  7,62

Per verificare la validità dello strumento, nel caso del corso EuMEDEA, oltre alle modalità di valutazione da noi suggerita, è stata condotta una valutazione di tipo più tradizionale realizzata da ricercatori dell'Università olandese di Utrecht che hanno elaborato un questionario di verifica finale del corso (Veen W., Lam I., Lockhorst D., Thoolen B. 1998). Mettiamo a confronto alcuni dei risultati emersi.

I partecipanti che hanno compilato il questionario (16 su un totale di 40 corsisti), si sono dichiarati soddisfatti del corso ("...nonostante l'eccessivo tempo dedicato per seguirlo") e della comunicazione/interazione sia con tutor ed esperti, sia con gli altri studenti. In particolar modo, proprio la collaborazione è stata definita uno degli elementi del corso in grado di sortire un effetto positivo sul loro apprendimento. La maggioranza ha anche fornito un giudizio positivo sul ruolo del tutor, definendo tuttavia il grado d'intervento troppo intenso (9 soggetti su 16). Anche i dati da noi rilevati hanno evidenziato un elevato intervento del tutor: mettendo a confronto i livelli di interazione dei diversi membri della comunità, il tutor ha inviato il 36% dei messaggi (rispetto al 40% inviati dai partecipanti e al 24% degli osservatori).

Dall'analisi delle risposte ai questionari si desume inoltre che accanto all'efficacia di questa cooperazione, dei feedback e del supporto dei tutor, anche l'approccio didattico proposto è stato ritenuto un elemento in grado di sostenere i partecipanti passo dopo passo. I corsisti hanno infatti espresso la loro soddisfazione sia per aver raggiunto gli obiettivi preposti sia per gli elaborati finali prodotti (hanno inoltre proposto di integrare il corso nel programma regolare di studi). Sebbene i partecipanti abbiano apprezzato l'utilizzo della CMC, sia per la chiarezza dell'interfaccia grafica sia per lo stile innovativo del corso (che permette di rileggere il messaggio e di ".riflettere prima di comunicare"), sono tuttavia risultate problematiche l'installazione del client, la lettura dei documenti allegati e la lentezza nei collegamenti. Questi aspetti critici sono emersi con chiarezza anche nell'ambito della valutazione effettuata con l'approccio metodologico proposto, sia dal numero di messaggi inviati alla conferenza Laboratorio (147), che dalla tipologia di messaggio utilizzata prevalentemente (richiesta di chiarimenti tecnici).

Nel complesso, quindi, possiamo concludere che anche i risultati ottenuti dall'analisi del questionario online hanno confermato il successo del corso EuMEDEA da noi rilevato tramite il valore della qualità globale del corso.