Manuel des évaluateurs

Objet

Les évaluateurs trouveront dans ce manuel des directives au sujet des procédures et des responsabilités concernant l’évaluation et le soutien de l’exercice. Le manuel explique le concept de l’exercice dans la mesure où il se rapporte au processus d’évaluation, établit les bases de l’évaluation et définit les communications, la logistique et la structure administrative nécessaires pour soutenir l’évaluation avant, pendant et après l’exercice.

Mais surtout, le plan expose la méthode d’évaluation de l’exercice, y compris la composition de l’équipe d’évaluation, les responsabilités des membres de l’équipe, les emplacements et les procédures.

Concept et portée de l’exercice

(Le concept de l’exercice définit les paramètres de l’exercice. Il s’agira d’un court paragraphe qui précise le qui, le quoi et le pourquoi de l’exercice.)

Lieu

L’exercice aura lieu (indiquez le lieu, la date et l’heure).

Participants

(Nom des participants et des directions représentées)

Objectifs de l’exercice

Des objectifs seront déterminés en fonction desquels l’exercice sera conçu. Les objectifs seront choisis de façon à permettre de cerner les lacunes dans les plans, les procédures et les systèmes et à servir de base pour le contrôle/la simulation et l’évaluation de l’exercice. Les objectifs qui suivent concernent l’exercice (nom de l’exercice) :

(Énumérez les objectifs de l’exercice)

Calendrier de l’exercice

(Insérez l’ordre du jour)

Éléments artificiels de l’exercice

Les contraintes et les éléments artificiels suivants ne seront pas nécessairement réalistes dans le cadre de l’exercice ; cependant, les joueurs les accepteront comme des moyens d’atteindre les objectifs prévus.

Voici une liste d’éléments artificiels possibles pour un exercice. Vous pouvez la mettre à jour et la réutiliser à votre guise.

• Des conditions météorologiques fictives seront tenues pour acquises.
• Il pourra être nécessaire de comprimer le temps pour que l’exercice se déroule efficacement.
• Il pourra être nécessaire de comprimer le temps pour que l’exercice se déroule efficacement.
• Aucune communication avec l’extérieur n’est possible.

Simulations dans le cadre de l’exercice

(facultatives ; dépendent du scénario)

L’exercice devra comporter des simulations pour compenser l’absence de certaines personnes ou de certaines organisations. Même si, par définition, les simulations ne cadrent pas toujours avec la réalité, elles faciliteront tout de même le déroulement de l’exercice.

Exposé du scénario

nsérez le scénario de l’exercice – Résumé du contexte, des conditions initiales et des événements déclencheurs.

Communications

(facultatives ; dépendent du scénario ; peuvent être utilisées dans le cadre d’un exercice sur table de niveau 3)

Les communications entre les joueurs et l’équipe de simulation ou leur bureau se feront principalement par courriels et par textos transmis par BlackBerry.

Les joueurs utiliseront des adresses de courriel préétablies pour communiquer avec l’équipe de contrôle/de simulation et transmettront systématiquement une copie conforme de chaque message à (indiquez une adresse de courriel) à des fins de suivi.

Toutes les communications par courriel ou par télécopieur doivent porter la mention « EXERCICE EXERCICE EXERCICE » dans l’en-tête et le pied de page.

Sécurité

La sécurité est primordiale pour tous les aspects de l’exercice. Une attention particulière sera portée à l’aménagement physique de la salle où aura lieu l’exercice.

Les procédures et les systèmes de sécurité environnementale et de sécurité-incendie continueront de s’appliquer et devront être respectés. Les mesures de sécurité générale qui devront être suivies par tous les participants comprendront les suivantes :

Voici une liste de mesures de sécurité possibles. Vous pouvez la mettre à jour et la réutiliser à votre guise.

• Suivre les consignes en vigueur, notamment en ce qui concerne les sorties de secours.
• Tout problème de sécurité ou urgence médicale qui se produit réellement pendant l’exercice ou dans la réalité aura préséance sur l’exercice. Un code de sécurité (mot ou phrase) sera employé pour arrêter le déroulement de l’exercice.
• Les documents de l’exercice ne sont pas classifiés; toutefois, tous les documents porteront la mention « MATÉRIEL D’EXERCICE – NE PAS DIFFUSER ».
• Toutes les communications doivent comprendre la mention « EXERCICE EXERCICE EXERCICE » dans l’en-tête et le pied de page pour les communications écrites et au début et à la fin du message pour les communications de vive voix.

Directives à l’intention des évaluateurs

Les évaluateurs ont pour tâche d’observer et de consigner les activités qui ont lieu au cours de l’exercice et les conditions dans lesquelles se déroule l’exercice ainsi que de présenter une évaluation à la fin de l’exercice.

Les évaluateurs consignent et évaluent le rendement des joueurs, le lieu où se déroule l’exercice, l’équipement et les ressources documentaires (plans, matériel de référence, cartes, diagrammes, etc.) qu’utilisent les joueurs. Le rendement des joueurs doit être évalué en fonction des plans et des procédures à l’aide de critères établis avant la tenue de l’exercice – ce ne sont pas les personnes qui sont évaluées.

• L’exercice a fondamentalement pour objet d’améliorer les pratiques qui sont testées lors de son déroulement.
• Les évaluations sont conçues pour porter sur la réalisation des objectifs de l’exercice et non pas sur le rendement ni l’efficacité des participants à titre individuel.
• L’évaluation permet d’examiner systématiquement un exercice dans les deux perspectives suivantes :
  • la mesure dans laquelle les plans, les processus, les procédures, etc., de l’organisation ont permis d’intervenir en fonction des éléments de l’exercice;
  • l’efficacité de l’exercice comme moyen de les tester.

Règles du jeu

• La présence des évaluateurs peut influencer le comportement des joueurs.
• Rester conscients de « l’effet des évaluateurs sur les joueurs » :
  • les joueurs doivent savoir que personne ne sera présenté sous un jour défavorable dans le rapport d’évaluation;
  • les évaluateurs doivent être au bon endroit lorsque les joueurs arrivent;
  • les évaluateurs interagiront avec tous les participants avant que le signal de début de l’exercice (DEB-EX) soit donné pour que les participants ne se sentent pas mal à l’aise au cours de l’activité.

Évaluation de l’exercice

Cette évaluation axée sur le rendement sera centrée sur une analyse des éléments suivants :

• Qu’est-ce qui était planifié?
• Qu’est-ce qui s’est réellement passé?
• Qu’est-ce qui s’est réellement passé?
• Qu’est-ce qui ne s’est pas bien passé?
• Quels éléments opérationnels pourrait-on améliorer?
• Quelles mesures faudra-t-il mettre en œuvre pour atteindre la norme souhaitée?

Rôles et responsabilités des évaluateurs

Les évaluateurs ont pour tâche d’observer et de consigner les activités qui ont lieu au cours de l’exercice et les conditions dans lesquelles se déroule l’exercice ainsi que de présenter une évaluation à la fin de l’exercice.

Les évaluateurs consignent et évaluent le rendement des joueurs, le lieu où se déroule l’exercice, l’équipement et les ressources documentaires (plans, matériel de référence, cartes géographiques, diagrammes, etc.) qu’utilisent les joueurs. Le rendement des joueurs doit être évalué en fonction des plans et des procédures à l’aide de critères établis avant l’exercice – ce ne sont pas les personnes qui sont évaluées.

Le rapport des évaluateurs résume les résultats généraux de l’exercice et présente une évaluation complète du rendement lors de l’intervention d’urgence ou de la crise.

Les évaluateurs devront s’acquitter des tâches suivantes :

• avant l’exercice, revoir les plans d’urgence, les procédures et les documents pertinents ;
• avant l’exercice, prendre connaissance du matériel préparé pour la tenue de l’exercice, notamment les objectifs, le scénario, la liste chronologique des événements (LCE), les éléments artificiels et les instructions à l’intention des évaluateurs ;
• assister aux réunions et séances de formation obligatoires ;
• observer les processus et les procédures pendant l’exercice et consigner les actions à l’aide des listes de contrôle de l’évaluation ;
• évaluer la pertinence des procédures, des installations et de l’équipement en fonction de critères d’évaluation précis ;
• consigner les erreurs et les problèmes dans le scénario ou le déroulement de l’exercice ;
• présenter les évaluations et les recommandations sous forme de critique formelle.

Pendant l’exercice :

• aider à surveiller et à animer l’exercice au lieu qui leur a été attribué ;
• se présenter au membre de l’équipe d’évaluation ou à l’évaluateur principal/l’évaluatrice principale dont ils relèvent ;
• utiliser les formulaires d’évaluation préétablis qui indiquent les éléments à examiner ;
• alerter le contrôleur/la contrôleuse du site si un problème se présente ;
• se placer à un endroit où ils peuvent voir les joueurs mais ne pas s’immiscer dans leur conversation.

Rôles et responsabilités de l’évaluateur principal/l’évaluatrice principale

L’évaluateur en chef/l’évaluatrice en chef est responsable de l’élaboration du plan d’évaluation, dans lequel seront précisées les activités d’évaluation qui doivent être menées avant, pendant et après l’exercice. Les activités d’évaluation comprennent notamment, mais sans s’y limiter, les éléments suivants :

• assumer la responsabilité de gérer et de diriger toutes les activités d’évaluation pendant le déroulement de l’exercice ;
• dispositions relatives à la formation et au breffage des évaluateurs ;
• procédures pour surveiller et évaluer les activités de l’exercice ;
• procédures pour faire le suivi de la réalisation des objectifs de l’exercice ;
• procédures pour noter et évaluer les interventions des joueurs ;
• surveiller les progrès de l’exercice et aider le contrôleur principal/la contrôleuse principale à prendre des décisions au cours de l’exercice s’il y a des déviations ou des changements importants par rapport au scénario ;
• une liste des formulaires exigés pour l’exercice, notamment des instructions d’utilisation et de préparation, y compris un questionnaire à l’intention des participants ;
• les préparatifs de la séance de rétroaction immédiate et de la critique.

Documents à remplir par les évaluateurs

Les documents suivants seront remplis par les évaluateurs :

• Le formulaire d’évaluation de l’exercice
• Le formulaire d’évaluation à remplir par les participants – On demandera à tous les participants de remplir un questionnaire que leur remettra l’évaluateur principal/l’évaluatrice principale dans lequel ils donneront leur opinion sur les résultats de l’exercice. Le questionnaire sera remis aux participants avant le début de l’exercice pour leur permettre de prendre des notes afin de répondre aux questions.

Obtenir l’information

On peut obtenir l’information nécessaire pour l’évaluation de trois façons :

• en observant directement les actions ;
• en écoutant discrètement les conversations, les breffages et les annonces des joueurs ;
• en questionnant discrètement les joueurs.

Comment questionner les joueurs

• limiter les questions au minimum et n’y recourir que quand c’est essentiel ;
• ne pas amorcer de conversation avec les joueurs pendent le déroulement de l’exercice ;
• ne pas interrompre le jeu à des moments critiques; poser les questions pendant les moments calmes.

Résolution de problèmes

Si vous éprouvez des problèmes lorsqu’il s’agit de vous acquitter de vos fonctions d’évaluation :

• Discutez de la question avec un autre évaluateur ou un contrôleur qui se trouve au même endroit que vous afin de régler le problème.
• Si le problème persiste, l’évaluateur principal/l’évaluatrice principale communiquera avec l’évaluateur en chef/l’évaluatrice en chef pour obtenir des conseils et des consignes.

Procédures à suivre pour la production des rapports des évaluateurs

Liste chronologique des événements (LCE) :

Les évaluateurs se fieront à la LCE pendant l’exercice.

• Il est important d’observer les actions attendues associées aux événements de la LCE, car celle-ci sert à déterminer l’efficacité d’une politique, d’une ligne directrice, d’un processus ou d’une procédure.
• Les actions des joueurs et leurs répercussions sur l’exercice seront consignées.
• Des observations et des commentaires sur les éléments artificiels exécutés seront saisis.

Après l’exercice

Séance de rétroaction immédiate

La séance de rétroaction immédiate a lieu dès la fin de l’exercice et elle permet aux joueurs, aux contrôleurs et aux évaluateurs de discuter des activités de l’exercice et de relever les aspects positifs et négatifs de la gestion de l’exercice et du jeu.

Une séance de rétroaction immédiate permet aux joueurs de déterminer les éléments suivants :

• Ce qui s’est produit
• Pourquoi cela s’est produit
• Les leçons retenues

Une séance de rétroaction immédiate sur l’exercice aura lieu (indiquez la date et l’heure) et elle sera dirigée par l’animateur/l’animatrice. L’évaluateur principal/l’évaluatrice principale consignera les messages clés ressortis de la séance de rétroaction immédiate pour les inclure dans le formulaire d’évaluation.

Ces séances ont pour objet de fournir des commentaires immédiats aux joueurs sur le déroulement des activités de la journée, à savoir si les objectifs ont été atteints ou non, et pour déterminer les questions qui nécessiteront plus d’attention, les activités qui se sont bien déroulées, les problèmes qui ont surgi, etc.

La LCE présentera suffisamment de directives pour que les contrôleurs et les évaluateurs puissent saisir les points centraux à discuter.

Voici le déroulement normal d’une séance de rétroaction immédiate :

• L’animateur/l’animatrice dirige la séance de rétroaction en commençant par un examen des grands objectifs et en commentant les réussites et les lacunes de façon générale.
• L’animateur/l’animatrice demande aux joueurs de donner une brève réponse (environ 2 minutes par joueur).
• Quand les participants commentent leur rendement, l’animateur/l’animatrice tâche d’assurer un équilibre entre les commentaires positifs et les commentaires négatifs et d’encourager tout le monde à apporter une contribution. Les commentaires formulés pendant la séance de rétroaction seront consignés par les évaluateurs puis annexés au formulaire d’évaluation/Rapport après action.

La séance de rétroaction se tient à l’intention des participants à l’exercice. Si les évaluateurs veulent ajouter quelques mots, ils se concentreront sur les aspects positifs de l’exercice.

Rapport après action (RAA)

• Le RAA est un produit livrable clé de l’exercice.
• Le RAA permet de présenter les observations, les forces, les faiblesses, l’analyse, les recommandations et les conclusions relevées au cours de l’évaluation de la planification de l’exercice, du jeu et du soutien.

Annexe 1 – Coordonnées des évaluateurs

Si vous avez des questions au sujet des éléments artificiels pendant l’exercice, veuillez téléphoner à la cellule de simulation (CELLSIM) au (indiquez le numéro).

En cas d’urgence ou pour toute autre question concernant l’exercice, veuillez composer le (indiquez le numéro).

Évaluateurs

(Tableau ci-dessous laissé vide intentionnellement)