Examen du programme de baccalauréat en génie informatique – PAQE 2018 Rapport d’évaluation définitif et plan de mise en œuvre
Conformément au Processus d’assurance de la qualité de l’établissement (PAQE) du Collège militaire royal (CMR), le présent rapport d’évaluation définitif fait la synthèse de l’évaluation externe réalisée, de la réponse interne à celle-ci ainsi que des évaluations internes des programmes de génie informatique offerts par le département de génie électrique et informatique.
Le présent rapport indique les points forts importants et les possibilités d’amélioration du programme et il précise, par ordre de priorité, les recommandations choisies aux fins de mise en œuvre.
Le présent rapport comprend un plan de mise en œuvre désignant les personnes qui seront chargées d’approuver les recommandations contenues dans le rapport d’évaluation définitif, de fournir les ressources nécessaires pour mettre en œuvre ces recommandations, d’apporter les changements en matière d’organisation, de politique ou de gouvernance qui s’imposeront pour respecter les recommandations, de donner un suivi à ces dernières ainsi que d’établir le calendrier des mesures à prendre pour surveiller la mise en œuvre des recommandations.
Aperçu du processus d’examen
Le processus d’examen du programme effectué dans le cadre du PAQE a été mené de concert avec le Bureau canadien d’agrément des programmes de génie (BCAPG). Le rapport d’autoanalyse du programme, achevé en septembre 2018, était constitué de composantes d’une autoanalyse mandatée par le BCAPG, en plus d’un ajout qui traitait d’éléments du PAQE non visés par les exigences du BCAPG. Au total, le rapport comprend les qualités requises des diplômés du Bureau canadien d’agrément des programmes de génie et les attentes concernant le niveau des grades (ANG) du PAQE propres à ces programmes, une évaluation analytique des programmes, les plans de cours, des données relatives aux programmes, des données d’enquête fournies par le Bureau de l’assurance de la qualité et des appendices présentant un échantillon d’examens ainsi que de curriculum vitæ de membres du corps professoral.
Le visiteur de programme du BCAPG, sélectionné par le BCAPG et approuvé par le doyen de l’ingénierie (Dean McNeill, ingénieur professionnel), a agi en tant qu’évaluateur externe. Dans son évaluation, le visiteur a été secondé par les autres membres de l’équipe de visiteurs du BCAPG qui se sont penchés sur les questions d’intérêt de l’ensemble des programmes d’ingénierie de premier cycle du CMR et dont les observations ont composé le rapport de visite du BCAPG concernant le programme. Le doyen a sélectionné l’évaluateur interne (Imed Zaguia, PhD) parmi une liste d’évaluateurs potentiels. L’évaluateur interne et l’équipe du BCAPG ont examiné les documents de l’autoanalyse et ont fait une visite sur place au CMR, qui s’est déroulée du 4 au 6 novembre 2018. Dans le reste du document, l’équipe de visiteurs du BCAPG et l’évaluateur interne sont désignés collectivement sous le nom de Comité externe d’examen (CEE).
Au niveau collégial, le président, les vice-présidents et les visiteurs généraux de l’équipe de visiteurs du BCAPG ont mené des entrevues. Par ailleurs, des réunions ont eu lieu avec le commandant, le recteur, le vice-recteur aux études, la vice-rectrice à la recherche et le doyen des études supérieures, le doyen de l’ingénierie, le doyen par intérim des sciences humaines, le doyen associé de l’ingénierie (agrément et programme), le bibliothécaire en chef, le contrôleur, le directeur des cadets, le directeur du Centre de succès, le secrétaire général, l’officier de sécurité générale de l’unité, ainsi que les chefs des départements d’études anglaises, de mathématiques et d’informatique et de physique et de sciences spatiales.
Au niveau du programme, le visiteur de programme du BCAPG et l’évaluateur interne du PAQE ont mené conjointement des entrevues avec le doyen de l’ingénierie, le doyen associé de l’ingénierie (agrément et programme), le chef du département, des membres du corps professoral, l’officier du service technique et des membres du personnel technique, le personnel administratif, des aides-enseignants et des étudiants de toutes les années du programme. L’événement a aussi comporté une visite des laboratoires pour étudiants de premier cycle et des salles de cours des représentants.
Le BCAPG a envoyé au CMR son rapport, rédigé par l’équipe de visiteurs, le 24 décembre 2018 et sa lettre de décision le 27 juin 2019. Ces documents ont été remis à l’évaluateur interne du PAQE pour qu’il les ajoute au rapport du CEE, que l’évaluateur interne a achevé. Le rapport du CEE soumis à l’origine semble s’être perdu lors de la cyberattaque dont le CMR a été victime en juillet 2020. M. Zaguia a pu trouver une copie du rapport dans ses archives personnelles et l’a remis au doyen de l’ingénierie le 25 janvier 2022.
Les documents de l’autoanalyse, le rapport du BCAPG, la lettre de décision du BCAPG et le rapport du CEE ont permis d’effectuer une analyse exhaustive de la situation actuelle du programme. Les sections ci-dessous présentent des observations tirées des rapports du BCAPG et du CEE. Des recommandations sont tirées du rapport du CEE, qui est propre au PAQE, et de la lettre de décision du BCAPG, qui est propre à la fois au BCAPG et au PAQE.
Après consultation du corps professoral et du personnel du programme, le doyen de l’ingénierie et le chef du département de génie électrique et informatique ont rédigé ce rapport d’évaluation définitif en mai 2022. Le corps professoral et le département voient cela comme une excellente occasion de mieux comprendre le contexte du programme et cerner les possibilités d’amélioration.
Points forts et faiblesses dignes de mention du programme
Le rapport du BCAPG et le CEE ont permis de cerner un certain nombre de points forts relativement au programme de génie électrique et informatique :
- La collégialité des membres du corps professoral est excellente. Les membres partagent le matériel lorsque les sections de l’enseignement sont dans la même session et que les cours sont réattribués à un autre corps professoral d’une année à l’autre. Les membres du corps professoral sont mobilisés et enthousiastes à propos des cours qu’ils donnent.
- Les ressources de laboratoire sont aussi très bonnes.
- Le personnel technique participe activement au soutien de l’apprentissage en laboratoire et les étudiants et le personnel les tiennent en très haute estime.
- Le cours de conception-cadre est donné conjointement avec des étudiants du programme de génie électrique et des équipes de projet peuvent être formées à partir d’étudiants des deux programmes. Cette situation est avantageuse, car elle permet aux projets de couvrir les deux disciplines et aux étudiants en génie électrique et informatique de se concentrer sur les aspects des projets propres à leur programme. Aussi, les étudiants peuvent découvrir les questions techniques qui vont au-delà de leur domaine.
Le rapport du BCAPG et le CEE ont permis de cerner plusieurs domaines de préoccupation qui ont une incidence sur l’état et la qualité du programme :
- Il faut s’efforcer d’admettre moins d’étudiants susceptibles d’échouer. Lors de l’étude des dossiers en vue de leur admission, il faut se pencher davantage sur les résultats scolaires des étudiants à l’école secondaire.
- Un changement de Matlab à Python dans [le cours d’initiation à l’informatique] permettrait une meilleure préparation aux futurs cours de programmation et conviendrait mieux à l’initiation au langage de programmation.
- [Les étudiants] ont indiqué que les cours en arts sont peu utiles et une perte de temps précieux pour les étudiants en génie. […] Les étudiants doivent remplacer cette attitude de rejet par une attitude plus positive à l’égard de ces cours et comprendre leur importance afin qu’ils puissent acquérir les compétences requises.
Résumé des constatations du BCAPG et du CEE par rapport aux réponses du programme et du doyen
Les constatations et les recommandations suivantes sont tirées de la lettre de décision du BCAPG et du rapport du CEE. Elles ont parfois été reformulées par souci de clarté. Les suggestions du rapport du visiteur du BCAPG n’y figurent pas puisque le BCAPG les désigne justement pour ce qu’elles sont, des suggestions d’un seul visiteur, et ne nécessitent pas que l’institution y donne suite. Dans certains cas, les suggestions du BCAPG sont devenues des recommandations du CEE auxquelles on répondra.
Les réponses du programme et du doyen sont présentées en italique sous chaque constatation ou recommandation accompagnée d’un plan de mise en œuvre correspondant dans la section suivante.
Constatations du BCAPG qui s’appliquent à tous les programmes
Les constatations du BCAPG suivantes, tirées de la lettre de décision du BCAPG, s’appliquent à tous les programmes d’ingénierie.
Constatation commune 1 du BCAPG. Les résultats d’apprentissage et les indicateurs des qualités requises des diplômés sont utilisés de façon interchangeable. On semble avoir de la difficulté à déterminer ce qui différencie les résultats des indicateurs.
Dans le système de suivi que le CMR utilisait pour les qualités requises des diplômés (QRD) jusqu’à la visite du BCAPG de 2018, chaque QRD était mise en correspondance avec de multiples « indicateurs » qui étaient les résultats d’apprentissage de certains cours ou qui figuraient parfois dans de multiples cours s’y rapportant. Les commentaires formulés dans notre agrément du BCAPG de 2012, lors de la phase initiale du programme des QRD du BCAPG, suggèrent que cela traduit l’intention du BCAPG. Depuis, le BCAPG indique encore plus précisément que le système de suivi doit être composé de trois niveaux : les douze QRD du BCAPG, chacun étant mis en correspondance avec de multiples « indicateurs » et chacun étant mis en correspondance avec de multiples « résultats d’apprentissage » qui sont propres aux cours. Les indicateurs et les résultats d’apprentissage sont déterminés par l’institution et le programme. La réponse du CMR à cette constatation est expliquée dans la constatation commune 3 du BCAPG ci-dessous.
Constatation commune 2 du BCAPG. Le nombre d’indicateurs utilisés était insuffisant. Dans certains cas, une seule mesure était utilisée pour évaluer l’indicateur ou on se fiait à un seul cours ou à l’indicateur. Pour certains attributs de grade, les indicateurs n’ont pas tous été utilisés. Souvent, les indicateurs de présentation et d’application étaient relevés, mais non l’indicateur de développement.
Ce point est associé à la Constatation commune 1 du BCAPG. Puisque chaque indicateur était propre à un seul cours ou au plus à quelques cours, seules quelques mesures étaient associées à chaque indicateur. Le BCAPG s’attend aussi à ce que chaque QRD soit présenté à un moment ou l’autre dans le programme, développé (approfondi ou amélioré) puis, appliqué. Même si les programmes du CMR suivent généralement ce modèle, la structure de mise en correspondance des QRD du CMR n’a pas permis d’éclaircir ce point. Voir la réponse de la Constatation commune 3 du BCAPG.
Constatation commune 3 du BCAPG. La mobilisation des intervenants est limitée principalement à une représentation interne. On doit faire appel à un plus grand nombre d’intervenants externes, notamment les anciens (des militaires et des ex-militaires). De plus, les rôles des intervenants dans le processus d’amélioration ne sont pas bien démontrés.
Le BCAPG ordonne la mise en œuvre d’un processus d’amélioration continue (AC) et les QRD font partie de ce processus. On s’attend à ce que les intervenants internes et externes proposent des idées d’amélioration du processus. Même si des intervenants externes proposent un nombre important d’idées d’amélioration du processus des programmes d’ingénierie du CMR, ces idées ne sont ni systématiques ni bien documentées.
Réponse du programme. Le programme de génie électrique et informatique a participé pleinement à l’élaboration des nouveaux processus des QRD et de l’AC et s’engage à les mettre en œuvre conjointement avec le reste du corps professoral.
Réponse du doyen. En réponse aux constatations communes 1, 2 et 3 du BCAPG de même qu’à certaines constatations propres au programme, le doyen de l’ingénierie a convoqué un comité composé de représentants de tous les programmes, présidé par le doyen associé de l’ingénierie (agrément et programme). Le mandat du comité était de recommander des changements aux pratiques et aux processus relatifs aux QRD et aux AC des programmes d’ingénierie dans le but de répondre aux préoccupations du BCAPG, d’améliorer la valeur des processus du CMR en tant qu’institution et de limiter le plus possible le fardeau administratif des processus. Le travail du comité a été retardé par la pandémie, puis par la cyberattaque portée aux réseaux informatiques du CMR en juillet 2020. Cependant, les recommandations du comité concernant les QRD et l’AC sont maintenant appliquées comme une directive à l’ensemble du corps professoral. L’intention est que les nouveaux processus relatifs aux QRD et à l’AC soient en place au trimestre de l’automne 2022.
Constatations du BCAPG qui s’appliquent au programme de génie informatique
Les constatations du BCAPG suivantes, tirées de la lettre de décision du BCAPG, sont propres au programme de génie informatique.
Constatation 1 du programme de génie informatique du BCAPG. Pour certains attributs, un seul indicateur est évalué. Comme l’indique le critère 3.1.2, même si l’équité fait partie du programme d’études, elle ne fait pas l’objet d’une mise en correspondance et n’est donc pas évaluée.
Réponse du programme. Elle est liée à la Constatation commune 2 du BCAPG et sera prise en compte dans les changements aux mises en correspondance des QRD qui seront effectuées dans le contexte d’une réponse décrite dans la Constatation commune 3 du BCAPG. Nous reconnaissons que le manque de mise en correspondance de l’équité est une erreur dans les tableaux des QRD du programme.
Réponse du doyen. Je suis d’accord avec la réponse du programme.
Recommandations du CEE
Voici les recommandations qui figurent dans le rapport du CEE.
Recommandation 1 du CEE. Un changement de Matlab à Python dans [le cours d’initiation à l’informatique] permettrait une meilleure préparation aux futurs cours de programmation et conviendrait mieux à l’initiation au langage de programmation.
Réponse du programme. Nous sommes d’accord avec cette recommandation et avons eu des discussions continues avec le Département de mathématiques et d’informatique pendant plus d’une décennie pour faire appliquer ce changement.
Réponse du doyen. Puisque le cours d’initiation à l’informatique s’applique à tous les étudiants science et ingénierie, un changement dans le langage de programmation utilisé nécessite un consensus pour l’ensemble des programmes des deux facultés. D’autres programmes, notamment le programme de génie mécanique et de génie aérospatial, affirment compter sur le langage Matlab dans les deux cours de deuxième année. Cette situation a rendu difficile le changement de langage. Cependant, les étudiants qui font leur première année au Collège militaire royal de Saint-Jean utilisent le langage Python dans leur cours d’initiation à la programmation et ne semblent pas avoir de la difficulté à suivre leurs cours des programmes de génie mécanique et de génie aérospatial. Cela suggère qu’un changement est possible.
Recommandation 2 du CEE. [Les étudiants] ont indiqué que les cours en arts sont peu utiles et une perte de temps précieux pour les étudiants en génie. […] Les étudiants doivent remplacer cette attitude de rejet par une attitude plus positive à l’égard de ces cours et comprendre leur importance afin qu’ils puissent acquérir les compétences requises.
Réponse du programme. Le programme ne peut faire grand-chose pour changer l’attitude des étudiants à l’égard de leurs cours en arts, car ces cours sont offerts par d’autres départements.
Réponse du doyen. Les cours en arts que les étudiants en ingénierie suivent font partie du programme commun du CMR, dont le statut indique qu’il est une université des Forces armées canadiennes. La recommandation 9 du rapport définitif du comité de révision du tronc commun présenté au Conseil des études, Collège militaire royal, juillet 2020 indiquait que [TRADUCTION] « les étudiants en science et ingénierie qui ont réussi leur programme de grade universitaire devraient obtenir automatiquement une mineure en arts dans le cadre de ce grade ». Cette obtention a pris la forme d’une mineure en arts militaires qui sera à la disposition de tous les étudiants en science et ingénierie de la promotion de 2022. La mineure ne nécessite aucun travail supplémentaire au-delà des 9,5 crédits en arts qui font partie intégrante de tous les programmes d’ingénierie. Nous croyons que cette reconnaissance officielle aidera les étudiants à adopter une opinion plus positive de leurs cours en arts.
Plan de mise en œuvre
| Recommandation | Suivi proposé et enjeux par rapport aux ressources | Responsabilité relative au suivi | Calendrier de mise en œuvre de la recommandation |
|---|---|---|---|
| Constatation commune 1 du BCAPG. Les résultats d’apprentissage et les indicateurs d’attribut de diplômé sont utilisés de façon interchangeable. On semble avoir de la difficulté à déterminer ce qui différencie les résultats des indicateurs. | Voir la Constatation commune 3 du BCAPG | ||
| Constatation commune 2 du BCAPG. Le nombre d’indicateurs utilisés était insuffisant. Dans certains cas, une seule mesure était utilisée pour évaluer l’indicateur ou on se fiait à un seul cours ou à l’indicateur. Pour certains attributs de grade, les indicateurs n’ont pas tous été utilisés. Souvent, les indicateurs de présentation et d’application étaient relevés, mais non l’indicateur de développement. | Voir la Constatation commune 3 du BCPAG | ||
|
Constatation commune 3 du BCAPG. La mobilisation des intervenants est limitée principalement à une représentation interne. On doit faire appel à un plus grand nombre d’intervenants externes, notamment les anciens (des militaires et des ex-militaires). De plus, les rôles des intervenants dans le processus d’amélioration ne sont pas bien démontrés. |
En réponse aux constatations communes 1, 2 et 3 du BCAPG de même qu’à certaines constatations propres au programme, le doyen de l’ingénierie a convoqué un comité composé de représentants de tous les programmes. Les recommandations du comité concernant les QRD et l’AC sont appliquées comme une directive à l’ensemble du corps professoral. La mise en œuvre des changements nécessitera une charge de travail considérable pour tous les départements d’ingénierie de même que pour le bureau du doyen, à la fois pendant la transition et de façon continue. Il pourrait convenir de recréer le poste permanent de doyen associé (agrément et programme) aux fins de surveillance et de soutien. |
Doyen de l’ingénierie |
La directive relative aux QRD et à l’AC sera publiée en juin 2022. Les nouveaux processus seront mis en œuvre dès septembre 2022. L’examen des résultats du processus et la révision des processus seront effectués en juin 2023. |
| Constatation 1 du programme de génie informatique du BCAPG. Pour certains attributs, un seul indicateur est évalué. Comme l’indique le critère 3.1.2, même si l’équité fait partie du programme d’études, elle ne fait pas l’objet d’une mise en correspondance et n’est donc pas évaluée. | Voir la Constatation commune 3 du BCAPG. | ||
| Recommandation 1 du CEE. Un changement de Matlab à Python dans [le cours d’initiation à l’informatique] permettrait une meilleure préparation aux futurs cours de programmation et conviendrait mieux à l’initiation au langage de programmation. | Nous relancerons les discussions avec le département de mathématiques et d’informatique au sujet d’un changement de langage de programmation dans le cours d’initiation à l’informatique. | Doyen de l’ingénierie | Discussions en 2022-2023 dans le but de faire appliquer le changement à l’automne 2023. |
| Recommandation 2 du CEE. [Les étudiants] ont indiqué que les cours en arts sont peu utiles et représentaient une perte de temps précieux pour les étudiants en génie. […] Les étudiants doivent remplacer cette attitude de rejet par une attitude plus positive à l’égard de ces cours et comprendre leur importance afin qu’ils puissent acquérir les compétences requises. | On a répondu à ce point par l’introduction d’une mineure en arts militaires pour la promotion de 2022. | Terminé. |
Conclusion
Le Comité externe d’examen, composé de l’équipe de visiteurs du BCAPG et d’un évaluateur interne, a fourni une révision juste et complète du baccalauréat en génie du programme de génie informatique. Des activités sont en cous pour donner suite aux recommandations du rapport du CEE. On donne aussi suite aux recommandations propres au BCAPG dans le contexte des activités d’agrément continues du BCAPG.