Intentions et Contexte de l’atelier
Les tableaux de bord (TdB) ont fait leur apparition en éducation comme outils de gestion et de suivi, à l’instar du suivi d’indicateurs de performance en entreprise. Quelques auteurs se sont particulièrement intéressés au concept de tableau de bord de gestion. Kaplan & Norton (2012) voient le tableau de bord en tant qu’outil de management et de prospection [1]. Fernandez (2013) le définit comme un outil de pilotage et d’aide à la prise de décision permettant une intervention précoce [2]. Voyer (2011) le considère comme un outil d’évaluation de performance, dans lequel les objectifs et les indicateurs sont élaborés en fonction de composantes mesurables [3].
Dans le domaine de l’éducation, Yoo et al. [4] caractérisent un TdB d’apprentissage comme un « affichage qui visualise les résultats de l’exploration de données éducatives de manière utile ». Huot [5], de son côté, définit un TdB de suivi en éducation comme « un outil de communication visuelle (matériel ou virtuel) qui présente les résultats obtenus pour une série d’indicateurs, en temps réel, et les écarts par rapport aux attentes, afin d’orienter les actions (comme une intervention auprès d’une personne), tant pour l’étudiant que pour l’enseignant. »
Ces différentes définitions ont généralement en commun la recherche d’un impact direct pour améliorer les (stratégies d’) apprentissages des étudiants ou l’accompagnement par les enseignants / l’institution, donc d’insister sur la propriété des indicateurs du TdB d’être « actionnables » [6]. Parvenir à cette « actionnabilité » constitue un vrai défi pour la communauté EIAH et l’étude des impacts de l’usage des TdB en éducation pour valider cette propriété est aujourd’hui un des grands enjeux du domaine.
Schwendimann et al. [7] constataient dans leur revue de 2017 : « Alors que les tableaux de bord d’apprentissage gagnent en popularité ces dernières années, la question de savoir quelle est la “bonne” information à afficher pour les différentes parties prenantes et la question de savoir comment cette information devrait être présentée restent largement non résolues. ». Depuis, d’autres travaux de recherches sont parus à ce sujet (entre autres des articles structurants de Sedrakyan et al. [8, 9] et de Jivet et al. [10, 11]), mais de nombreuses questions se posent encore aujourd’hui, cf. p.ex. la liste des questions soumises à une vingtaine d’experts en développement de TdB lors d’un workshop au colloque LAK 2019* [12].
Profitant de la présence de chercheurs de profils divers au colloque de Brest, nous réunirons dans cet atelier des concepteurs de TdB à destination de différents utilisateurs (apprenants, enseignants, décideurs – pour ces derniers, les TdB constituent une aide au pilotage [13]) et aborderons des questions transversales. En effet, pour que les échanges soient fructueux et puissent donner lieu à des idées pour des travaux/collaborations futurs, nous proposons des questions « fil rouge » qui donneront une orientation commune aux interventions et structureront les échanges par la suite.
Questionnements
Au regard des enjeux actuels du domaine, nous avons identifié quatre questions « fil rouge » pour le symposium :
1. Quelles sont les étapes essentielles dans l’élaboration et la validation des indicateurs/visualisations d’un tableau de bord ?
2. Comment et quand impliquer les utilisateurs dans ces processus ?
3. Quel niveau d’indicateur (descriptif, diagnostic, prédictif et prescriptif) pour quel usage ?
4. Quels sont les principaux écueils et limitations des TdB actuellement ?
Le cycle de vie d’un TdB est long et complexe. Généralement, la conception se fait de manière itérative et en impliquant les futurs utilisateurs. Néanmoins, des différences importantes dans les démarches entreprises existent [14–17]. Concernant la validation des indicateurs et des visualisations associées, les pratiques sont également très variées : focus group, études de cas, enquête avec questionnaires, entretiens, observations, etc. En croisant les expériences des chercheurs présents, la première question vise à identifier les similitudes et les différences dans les démarches d’élaboration et d’évaluation des TdB, leurs avantages et leurs inconvénients pour produire des indicateurs actionnables.
Les utilisateurs cibles des TdB ne sont pas toujours facile à mobiliser dans le processus de (co-) conception. De même, la validation des indicateurs en situation écologique est difficile à mettre en place et couteux en effort logistique et en temps. La deuxième question vise à partager entre les participants de l’atelier leurs stratégies pour y parvenir.
A travers la troisième question, nous souhaitons faire émerger des critères de choix du niveau des indicateurs. Un indicateur descriptif est a priori plus facile à créer et communément facile à comprendre par l’utilisateur, il a donc le mérite de la simplicité. En revanche, un ensemble d’indicateurs est généralement nécessaire pour décrire une situation d’apprentissage. Un travail de combinaison des informations incombe alors à l’enseignant ce qui peut nécessiter des capacités particulières ou dépasser le temps disponible. Des indicateurs de plus haut niveau (diagnostique, prédictif, prescriptif), basés sur l’analyse d’un ensemble de traces numériques collectées, peuvent poser directement un diagnostic ou indiquer une action à mener. Néanmoins, ils sont parfois accueillis avec méfiance par les utilisateurs, notamment s’ils manquent d’explicabilité. La non-compréhension de la construction de l’indicateur peut alors avoir comme conséquence sa non-utilisation. Du côté du concepteur, ces indicateurs de haut niveau sont plus difficiles à créer, notamment une analyse approfondie des biais possibles dans leur calcul est nécessaire pour maitriser le risque de fournir des informations erronées aux utilisateurs. Nous souhaitons collecter les expériences des chercheurs présents avec les différents niveaux d’indicateurs et les difficultés rencontrées.
La quatrième question vise à mettre en lumière les écueils rencontrés dans les TdB développés ou pratiqués par les participants de l’atelier afin d’identifier des pistes pour y remédier. Cela nécessitera certainement des nouvelles études et il s’agit donc ici également de réfléchir à des recherches futures à mener dans le domaine. Même si les TdB présentés lors du symposium se basent sur différents types d’analyses (learning, teaching and academics analytics), il nous semble que ces quatre mêmes questions se posent pour tous.
Bibliographie
1. Kaplan, R., & Norton, D.: Le tableau de bord prospectif. Eyrolles (2012).
2. Fernandez, A.: Les nouveaux tableaux de bord des managers: Le projet Business Intelligence clés en main. Eyrolles (2013).
3. Voyer, P.: Tableaux de bord de gestion et indicateurs de performance : 2e édition. Presses de l’Université du Québec (2011).
4. Yoo, Y., Lee, H., Jo, I.-H., Park, Y.: Educational Dashboards for Smart Learning: Review of Case Studies. In: Chen, G., Kumar, V., Kinshuk, Huang, R., et Kong, S.C. (éd.) Emerging Issues in Smart Learning. p. 145‑155. Springer, Berlin, Heidelberg (2015)
5. Huot, A.: Le tableau de bord : un outil pour visualiser l’évolution des apprentissages des étudiants, https://pedagogie.uquebec.ca/le-tableau/le-tableau-de-bord-un-outil-pour-visualiser-levolution-des-apprentissages-des-etudiants, (2018)
6. Jørnø, R.L., Gynther, K.: What Constitutes an ‘Actionable Insight’ in Learning Analytics? J. Learn. Anal. 5, (2018). https://doi.org/10.18608/jla.2018.53.13
7. Schwendimann, B.A., Rodríguez-Triana, M.J., Vozniuk, A., Prieto, L.P., Boroujeni, M.S., Holzer, A., Gillet, D., Dillenbourg, P.: Perceiving Learning at a Glance: A Systematic Literature Review of Learning Dashboard Research. IEEE Trans. Learn. Technol. 10, 30‑41 (2017). https://doi.org/10.1109/TLT.2016.2599522
8. Sedrakyan, G., Mannens, E., Verbert, K.: Guiding the choice of learning dashboard visualizations: Linking dashboard design and data visualization concepts. J. Comput. Lang. 50, 19‑38 (2019). https://doi.org/10.1016/j.jvlc.2018.11.002
9. Sedrakyan, G., Malmberg, J., Verbert, K., Järvelä, S., Kirschner, P.A.: Linking learning behavior analytics and learning science concepts: Designing a learning analytics dashboard for feedback to support learning regulation. Comput. Hum. Behav. 107, 105512 (2020). https://doi.org/10.1016/j.chb.2018.05.004
10. Jivet, I., Scheffel, M., Schmitz, M., Robbers, S., Specht, M., Drachsler, H.: From students with love: An empirical study on learner goals, self-regulated learning and sense-making of learning analytics in higher education. Internet High. Educ. 47, 100758 (2020). https://doi.org/10.1016/j.iheduc.2020.100758
11. Jivet, I., Wong, J., Scheffel, M., Valle Torre, M., Specht, M., Drachsler, H.: Quantum of Choice: How learners’ feedback monitoring decisions, goals and self-regulated learning skills are related. In: LAK21: 11th International Learning Analytics and Knowledge Conference. p. 416‑427. Association for Computing Machinery, New York, NY, USA (2021)
12. Verbert, K., Ochoa, X., De Croon, R., Dourado, R.A., De Laet, T.: Learning analytics dashboards: the past, the present and the future. In: Proceedings of the Tenth International Conference on Learning Analytics & Knowledge. p. 35‑40. ACM, Frankfurt Germany (2020)
13. Dumaresq, M.: Les tableaux de bord en éducation : outils de planification de suivi de gestion, de décision et de reddition de comptes pour les directeurs d’établissement scolaire en lien avec la gestion axée sur les résultats. Université du Québec à Trois-Rivière (2017)
14. Hoffmann, C., Mandran, N., d’Ham, C., Rebaudo, S., Haddouche, M.A.: Development of Actionable Insights for Regulating Students’ Collaborative Writing of Scientific Texts. In: Hilliger, I., Muñoz-Merino, P.J., De Laet, T., Ortega-Arranz, A., et Farrell, T. (éd.) Educating for a New Future: Making Sense of Technology-Enhanced Learning Adoption. p. 534‑541. Springer International Publishing, Cham (2022)
15. Sadallah, M., Gilliot, J.-M., Iksal, S., Quelennec, K., Vermeulen, M., Neyssensas, L., Aubert, O., Venant, R.: Designing LADs That Promote Sensemaking: A Participatory Tool. In: Hilliger, I., Muñoz-Merino, P.J., De Laet, T., Ortega-Arranz, A., et Farrell, T. (éd.) Educating for a New Future: Making Sense of Technology-Enhanced Learning Adoption. p. 587‑593. Springer International Publishing, Cham (2022)
16. Oliver-Quelennec, K., Bouchet, F., Carron, T., Fronton Casalino, K., Pinçon, C.: Adapting Learning Analytics Dashboards by and for University Students. In: Hilliger, I., Muñoz-Merino, P.J., De Laet, T., Ortega-Arranz, A., et Farrell, T. (éd.) Educating for a New Future: Making Sense of Technology-Enhanced Learning Adoption. p. 299‑309. Springer International Publishing, Cham (2022)
17. Michos, K., Lang, C., Hernández-Leo, D., Price-Dennis, D.: Involving teachers in learning analytics design: lessons learned from two case studies. In: Proceedings of the Tenth International Conference on Learning Analytics & Knowledge. p. 94‑99. Association for Computing Machinery, New York, NY, USA (2020)
*workshop organisé pour analyser les meilleures pratiques et les pièges des tableaux de bord d’apprentissage actuels, réunissant 16 experts du domaine.