Dans une situation d'enseignement, la problématique de l'évaluation d'un protocole peut intervenir à trois moments :

1. - l'élève évalue le protocole qu'il a créé, avant qu'il ne l'exécute (au sein de la tâche de construction de protocole),

2. - l'élève évalue le protocole qu'il a exécuté,

3. - l'enseignant évalue un protocole produit par un élève.

Evaluer un protocole d'expérimentation, c'est évaluer deux objets distincts :

1. - l'objet protocole en tant que descripteur d'une expérimentation,

2. - l'objet expérimentation telle qu'elle est décrite dans le protocole.

Pour caractériser ces deux types d'évaluation, nous proposons une liste de critères organisés en quatre rubriques (A noter qu'il n'est pas toujours aisé de choisir la rubrique dans laquelle placer un critère):

Le protocole est évalué au niveau de.

1. son exécutabilité,

2. sa communicabilité.

L'expérimentation est évaluée au niveau de

1. sa pertinence,

2. la qualité de l'acquisition des données.

Il est à noter que les critères que nous proposons ici ne concernent que le protocole d'expérimentation et non la validité des hypothèses desquelles il découle.

1. Evaluation du protocole en tant qu'objet protocole

Les critères décrits ici sont liés à la forme du protocole, aux acteurs en lien avec le protocole et aux conditions d'exécution. Le non respect de ces critères sera facilement identifié au moment de l'exécution de l'expérimentation.

1.1. Exécutabilité

• Critère de complétude : ce critère examine si le protocole décrit tous les paramètres, matériels et données des tâches à exécuter.
  

Exemple : lorsqu'une tâche de protocole consiste à faire une mesure d'absorbance sur une solution, il est nécessaire de préciser à quelle longueur d'onde (paramètre du spectrophotomètre) doit se faire cette mesure.

• Structuration du protocole : deux types de structuration peuvent être employés : temporelle et/ou logique. Cette structuration définit l'ordre dans lequel les actions du protocole seront exécutées.

• Respect des contraintes matérielles : est ce que la tâche proposée est physiquement réalisable avec le matériel spécifié ? Cela implique que le matériel est initialement disponible, que la tâche pourra être physiquement exécutée, et cela sans conséquences néfastes (par ex. contraintes de sécurité).

Exemple : transvaser 100 mL d'un liquide dans un bécher de 50 mL.

• Précédence entre tâches : les matériels et données utilisés dans une tâche ont-ils été rendus disponibles par une tâche précédente ?

Exemple (1) : pour utiliser une solution diluée, il faut auparavant avoir fait une tâche de dilution de la solution mère.Exemple (2) : pour faire une mesure d'absorbance à la longueur d'onded'absorption maximum, il faut auparavant avoir enregistré un spectre permettantde déterminer ce maximum.

• Respect des contraintes temporelles : possibilité ou non d'exécuter le protocole dans un temps imparti.

• La traçabilité des mesures : le protocole permet-il d'attribuer les données acquises aux conditions d'expérience dans lesquelles elles ont été acquises ? Il est à noter que les tâches de protocole qui ont pour but d'assurer le critère de traçabilité sont souvent implicites, et n'apparaissent pas dans le protocole. C'est donc un critère délicat à évaluer en analysant un protocole, et qui sera plutôt évalué lors de l'exécution de la manipulation. Exemple : ne pas noter les noms de diverses solutions à tester sur les contenants.

12. communicabilité

Le protocole est-il adapté à la personne qui va l'exécuter ? Cette personne peut notamment être l'enseignant, un autre élève ou la personne qui a écrit le protocole. A noter que dans une situation d'enseignement, le critère de communicabilité du protocole dépend fortement du contrat didactique mis en place par l'enseignant. Le niveau d'explicitation : ce critère est lié à la profondeur de la description en sous-tâches. Ce critère est évalué l'enseignant, un autre élève ou la personne qui a écrit le protocole. A noter que dans une situation d'enseignement, le critère de communicabilité du protocole dépend fortement du contrat didactique mis en place par l'enseignant.

1. Le niveau d'explicitation : ce critère est lié à la profondeur de la description ensous-tâches. Ce critère est évalué en fonction du niveau de connaissance del'exécutant : le protocole doit être décrit au niveau des tâches simples pourl'exécutant.Exemple : le chimiste confirmé peut se passer d'expliciter dans le protocole laprocédure pour effectuer une dilution (rinçage, prélèvement, distribution,complétion et homogénéisation) car il a intégré cette opération. Le chimistedébutant, pourra être bloqué par un tel implicite.A noter que l'on distingue un protocole qui est proposé à un niveau d'explicitationinadéquat d'un protocole qui présente un problème de complétude. Le premierprotocole contient tous les paramètres des tâches mais ne les détaille passuffisamment, alors que dans le second il manque des paramètres (notamment auniveau des tâches d'action). Dans les faits, il est délicat d'attribuer les erreurs deprotocoles à l'un ou l'autre de ces deux critères.

2. Le critère d'organisation de l'information est indiqué par la structuration duprotocole afin d'améliorer sa lisibilité.Exemples : ceci peut correspondre à l'organisation du protocole sous forme d'unarbre de tâches comprenant des tâches de structuration.On peut aussi envisager le cas où une tâche serait répétée plusieurs fois avec unou plusieurs paramètre(s) variant. Une bonne organisation de l'informationconsisterait alors à décrire une seule fois la tâche et à donner la liste des valeurssuccessives (par ex. dans un tableau) de la (des) variable(s).Les représentations externes des tâches de protocole participent aussi au critèred'organisation de l'information.

3. Types d'information devant être contenus dans le protocole stricto sensu :Le protocole doit-il intégrer des justifications technologiques et théoriques ?Le protocole doit-il comporter la feuille d'acquisition des données ?Le protocole de traitement des résultats doit-il être inclus ou non dans leprotocole d'acquisition des données ?Ce critère est largement fixé par le contrat didactique mis en place parl'enseignant.

2. Evaluation de l'expérimentation décrite par le protocole

Les critères décrits ici observent l'expérimentation comme processus d'acquisition de données. Ce processus constitue la "mesure" au sens large (par exemple, la détection de l'apparition d'une couleur au cours d'une réaction doit être considérée comme la mesure visuelle d'une grandeur couleur).

2.1. Pertinence

Answer the research question⁵

La pertinence s'évalue à 3 niveaux⁶ :

• Critère de pertinence externe : à partir d'une hypothèse proposée, il faut évaluer ses conséquences observables et donc les données à acquérir (passage du modèle au réel). Le premier critère d'évaluation concernant la pertinence est le suivant : les données que l'élève choisit d'acquérir sont-elles cohérentes (ou discriminantes dans le cas d'une hypothèse exploratoire) vis-à-vis de l'hypothèse considérée ? Cette évaluation de la pertinence se situe donc au niveau du lien hypothèse-données visées.
  

Exemple : on veut savoir pourquoi la résistance d'une machine à laver s'entartre plus vite à Grenoble qu'à Chamonix (problème). Une hypothèse établit que cela est dû à la différence de composition des eaux, notamment au niveau des ions calcium (hypothèse). Observable proposé correspondant à cette hypothèse : il faut chercher à mesurer la concentration en ions calcium dans les eaux de Chamonix et Grenoble.

• Critère de pertinence interne : le deuxième niveau d'évaluation de la pertinence se situe à l'intérieur de l'expérimentation. Une fois que le choix des données à acquérir a été établi, il faut évaluer si l'expérimentation conduit bien à l'acquisition de ces données. C'est donc la stratégie employée à l'intérieur de l'expérimentation qui sera observée, notamment au niveau du choix des méthodes de mesure et du matériel proposé pour mettre en oeuvre ces méthodes.

Exemple (1) : par rapport à la situation proposée dans l'exemple précédent, si on choisit de faire une mesure de conductivité sur les eaux de Chamonix et Grenoble, il n'y a qu'une mesure globale des ions en solutions et l'expérimentation est assez peu pertinente. Si c'est une mesure de la dureté globale qui est effectuée (ions calcium et magnésium), l'expérimentation est déjà plus pertinente. Si c'est une mesure de dureté calcique qui est mise en place, l'expérimentation devient pertinente par rapport à la grandeur recherchée. Exemple (2) : pour mesurer l'acidité de deux solutions, l'utilisation d'une électrode métallique dans le but de mesurer le pH rend l'expérimentation non pertinente.

• Le dernier niveau de pertinence concerne l'adéquation du protocole avec l'échantillon à tester. Ce critère correspond au domaine d'application du protocole : l'expérimentation permettra-t-elle d'acquérir les données visées avec les objets du réel sur lesquels elle sera effectuée ? Pour pouvoir évaluer le protocole d'après ce critère, il est donc nécessaire d'avoir connaissance de l'étendue du champ du réel sur lequel l'expérimentation s'appliquera. Exemple : en paléontologie, un protocole visant à mesurer l'angle facial des crânes d'hominidés, et qui prendrait en considération des points sur la mandibule, n'est pas applicable si, parmi les crânes à mesurer, certains n'ont pas de mandibule.
  

⁵ Schraagen, J. M. (1993). How experts solve a novel problem in experimental design. Cognitive Science, 17, 285-309. ⁶ Pour mémoire, il y a un 4^ème niveau : pertinence du lien problème-hypothèse. Ce critère n'est pas pris en compte car il se réfère à une tâche en amont de l'étape de construction de protocole dans la démarche expérimentale.

2.2. Qualité de l'acquisition des données (exactitude de la méthode de mesure)

Control all sources of variance⁷

La qualité (ou exactitude) de la méthode d'acquisition des données s'évalue suivant deux critères, classiquement pris en compte en métrologie⁸ :

1. La justesse : la valeur de la donnée mesurée est-elle proche de la valeur vraieq ue l'on souhaite obtenir ?Exemple : dosage d'un composé chimique par titrimétrie avec une solution de titrage dont la concentration est fausse.

2. La fidélité (ou reproductibilité ou répétabilité) : dépend de la variabilité de la mesure. Une série de mesures faites avec une méthode fidèle implique un faible écart-type de la série de mesures.Exemple : dosage par titrimétrie en ajoutant la solution titrante avec une éprouvette graduée.

Note : la justesse et la fidélité sont proches du critère de pertinence interne du protocole. En fait il n'y a pas de frontière très précise entre ces critères, mais on peut remarquer que :

-la pertinence relève plutôt de savoirs théoriques, et la qualité de savoirs procéduraux (notamment les bonnes pratiques de laboratoire),

-les erreurs liés à la pertinence ne permettent en général pas d'obtenir la donnée visée ; les erreurs liées à la qualité permettent d'obtenir la donnée, mais avec une valeur non exacte.

Le tableau ci-dessous résume les critères proposés :

Evaluation duprotocole Exécutabilité

Complétude

Structuration

Contraintes matérielles (disponibilité et faisabilité)

Précédence entre tâches

Contraintes temporelles

Traçabilité

Communicabilité

Niveau d'explicitation

Organisation de l'information

Type d’informations

Pertinence

Pertinence externe : lien hypothèses avec le choix des grandeurs à mesurer

Pertinence interne : stratégie de mesure (méthodes et matériels)

Domaine d’application : prise en compte de l'échantillon à mesurer

Qualité de l’acquisition des données

Justesse

Fidélité

⁷ Schraagen, J. M. (1993). How experts solve a novel problem in experimental design. CognitiveScience, 17, 285-309.⁸ Bindi, C. (2006). Dictionnaire pratique de la métrologie. Ed. AFNOR.

3. Caractéristiques de la tâche de construction de protocole

A partir du modèle de protocole expérimental décrit en tant qu'arbre de tâches, il est nécessaire de bien différencier deux étapes de la démarche expérimentale vis-à-vis de cet arbre de tâches :

• L'étape de construction du protocole peut être envisagée comme la tâche d'élaboration de l'arbre de tâches.

• L'étape d'exécution de la manipulation expérimentale peut être envisagée comme l'exécution des actions de l'arbre.

Dans le schéma ci-dessus, qui décrit les tâches prescrites ainsi que les activités en découlant, nous visualisons les rôles des trois acteurs intervenant dans notre système :l'enseignant, l'élève concepteur et l'élève exécutant.L'élève exécutant a été évoqué avec l'objet protocole (cf. le concept de tâche simple),c'est maintenant les rôles d'enseignant et d'élève concepteur qui vont être pris en compte pour décrire l'étape de construction de protocole. Afin de caractériser cette tâche,nous allons enrichir le modèle en arbre de tâches explicité précédemment.