ECGBL 2014 - 9 And 10 October Belin, Germany Iza Marfisi .

ECGBL 2014 - 9 and 10 October – Belin, GermanyIza Marfisi-SchottmanSébastien GeorgeFranck Tarpin-Bernard1

ExpensiveSmall LGs (a few hours of game) 15 000 to 400 000 LGs for complete training 200 000 to 15 millions C. Aldrich, The Complete Guide to Simulations and Serious Games,2009. Delicate and risky processDelicate symbiotic relationship between educational and fun aspectsLepper, M.R., Malone, T.W., Intrinsic motivation and instructional effectivenessin computer-based education, 1987.2

Collaborativedesign methodologyGuide for: efficient creation design phase share software componentsComputerize support for: collaboration good quality LG designScenario ModelHelp to design LGs: fun & educational intrinsic motivation detailed for productionAuthoring tools3

4

Facets inspired byMarne B. et al. « TheSix Facets of SeriousGame Design », 2012.5

I1. Integration of the goal competencies in thescenarioValidation of the client’s pedagogical objectives I2. Choice of educational activitiesDascălu, M. et al. “Towards an Integrated Approach for Evaluating TextualComplexity for Learning Purposes” 2012 I3. Structure of educational activitiesOrder of activitiesDascălu, M. et al. “Towards an Integrated Approach for Evaluating TextualComplexity for Learning Purposes” 20126

Interactions I4.Interaction quality and meaningfulnessIntuitive and meaningful interactionsKirriemuir J et al., Literature Review in Games and Learning, 2004 I5.Interaction diversity and attractivenessPedagogical activities, innovative technology, mixed reality Daniel S. et al. « Getting Into Position: Serious Gaming in Geomatics », 2009Orliac C. et al. « An Authoring Tool to Assist the Design of Mixed Reality LearningGames », 2012Ponder M. et al. « Immersive VR decision training: telling interactive storiesfeaturing advanced virtual human simulation technologies », 20037

I6. Intrinsic motivationHabgood M. P. J. « Zombie Division:Evaluating principles of intrinsicintegration.»,2007 I7. Learning processregularity I9. Constant challengeFlow, complexity adapted toplayer/learnerCsikszentmihalyi M. Flow: ThePsychology of Optimal Experience,1990 I10. Recognition forprogression in the game I8. Liberty of action andstrategy resolutionKirriemuir J et al., Literature Review inGames and Learning, 2004Scores, gratifications Habgood J. et al. The Game Maker’sApprentice, 2006Graesser A. et al. « Deep Learningand Emotion in Serious Games »,20098

I11. Decorum relevanceRelevance of story setting, time, characters and missions accordingto learning goalsRyan R et al « Self-determination theory and the facilitation of intrinsic motivation,social development, and well-being », 2000Kirriemuir et al., Literature Review in Games and Learning. NESTA Futurelab, 2004 I12. Decorum attractiveness and originalityOriginality, surprise, jokesLepper et al. « Intrinsic motivation and instructional effectiveness in computer-basededucation », 1987Lazzaro N. Why We Play Games: Four Keys to More Emotion Without Story, 20049

I13. Compliance to technical and organizationalconstraintsCompatibility with context of use, hardware, time, number ofplayers and teachers I14. Compliance to educational contextClearly defining phases for play and debriefingHabgood J et al. The Game Maker’s Apprentice: Game Development forBeginners, 200610

I15.Reuse of software componentsReusing resources or mini-games I16.Level of detail and accuracy of specificationsClear and precise specifications for the developers and for theteachers who will use the game. I17.Error-free specificationsConnections between activities, connection between characters,locations, comments and screens.11

12

Evaluation of LEGADEEMarfisi-Schottman I. Méthodologie,modèles et outils pour la conceptionde Learning Games, thèse, 201213

14LEGADEE free, online and openSource : http://liris.cnrs.fr/legadee

Designers profile: University teachers in computer scienceDesign phase: Quality indicators as a list of guidelines and examples Designed 2 LG each (from 1h10 to 4h20) Final questionnaire15

Did you read the good practice document? Did youfind it useful and for what purpose? All of the 12 designers found the guidelines useful !« I thought the good practice document was very helpful. I used itto verify I had done everything right before I handed in my game.”“The examples given in the good practices were a good way to getme started.”“I used it for inspiration.”16

17

Experts evaluators’ profile: Researchers and professionals with 5 to 20 years of experience inLGsCollected information for each LG: Grade for each indicator from 0 to 4 (1h45 to 3h for evaluating 8 LGs) Confidence indicator for each grade from 1 to 3 Comments for each indicator Each LG was evaluated twice Final questionnaire18

19

5 out of 6 said it was difficult to evaluate LGs atthis level of conception all 6 experts said the quality indicators whereclear and useful Experts helped us to adjust and vocabulary andcomplete indicators« The document on the indicators was very useful because itdescribes precisely what the needs are. Without it, the evaluationwould have been much more difficult »20

17 LG qualityindicators for : Guiding and inspiringdesigners Evaluating all alongthe conception phase Perspectives Integrate these indicators to authoring environments21

Annexes22

Résultats non significatifsstatistiquementMoyenne des LG conçus sans LEGADEE en 1erMoyenne des LG conçus avec LEGADEE en 2èmeValeur moyennedes LG (sur teurs dequalitéDiversité etattractivitéinteractivitésClarté �dagogiquesadaptée à décorumIntégration duLG aucontexte de 23formation

Comparaisons de la distribution des notes pour l’indice E9 : pertinence dudécorum entre les LG conçus sans LEGADEE et avec LEGADEE.Box plot indice E9sans LEGADEEBox plot indice E9avec LEGADEE221,51,50,50-0,51moyenne normalisé emoyenne normalisée10,50-0,5-1-1-1,5-1,5-2-224

Les sujets font des LG d’aussibonne qualité avecLEGADEECertains sujets se sontappropriés des parties dumodèle Les LG conçus avecLEGADEE présentent desaméliorations sans prendre encompte les effets positifsapportées par la phased’uniformisationExtrait d’un scénario de LG faitaprès avoir utilisé LEGADEE 25

Quel poste occupez-vous actuellement ? Expert 1 : Maître de conférences en informatique Expert 2 : Professeur des universités en informatique Expert 3 : Professeur des universités en informatique Expert 4 : Maitre de conférences, HDR Expert 5 : Consultant TICE Expert 6 : Consultante jeu et formationDepuis combien de temps concevez-vous des Learning Games et dans quel contexte ? Expert 1 : Environ 10 ans, dans le cadre des projets collectifs d’étudiants de l’INSA de Lyon puis lors de projets de recherche Expert 2 : 13 ans, contexte académique et industriel Expert 3 : 20 ans, utilisation, conception et évaluation de conception de SG dans le contexte académique et industrielle Expert 4 : 8 ans, conception et utilisation de LG pour l’éducation à l’université, projets européens sur les SG Expert 5 : 8 ans, Dans le cadre de mes fonctions je suis amené à proposer à nos clients des dispositifs de formation ludifiés.Dans ce contexte, je manipule et exploite plusieurs mécanismes et ressorts de jeu. J’ai également pu accompagner plusieursprojets en lien avec les Learning Games. Expert 6 : Depuis 5 ans. Learning Games pour la formation professionnelle continue en entreprise, dans des domaines variés(banque, pharmaceutique, industrie, etc.) Conception de Learning Game sur-mesure26

Avez-vous eu du mal à comprendre les indicateurs de qualité proposédans la grille ? Si oui, lesquelles ? Expert 1 : Non, les indicateurs sont clairs. Par contre l’évaluation à la lecture des scénarios n’est pas toujours simple. Expert 2 : Globalement non. Peut-être la séparation E1 E2 m’a paru parfois difficile à faire. Expert 3 : Non mais le problème concerne la légèreté des scénarios fournis. Expert 4 : Le document sur les indicateurs a été très utile car il décrit les attentes de manière précise. Sans cela, cela auraitété bien plus difficile Expert 5 : Oui, un seul principalement : Phases d’apprentissages régulières et constantes Expert 6 : A la lecture des explications sur chaque indicateur, tout semblait clair mais une fois face à la grille d’évaluation, jene savais plus à quoi correspondaient certains indicateurs. Ex : Attractivité, phases d’apprentissage régulières et constantes.Avez-vous eu du mal à quantifier certains indicateurs sur l’échelle de 1 à 4 de la grille ? Expert 1 : Oui, parfois difficile d’évaluer. Par contre, il est possible de fonctionner par comparaison en notant les scénarios lesuns par rapport aux autres. Expert 2 : Surtout parce que les scénarios étaient parfois très légers et qu’on était tentés de surinterpréter. Expert 3 : Oui, c’est impossible à se stade de la conception. Expert 4 : E2 n'est pas évident à évaluer d'après les infos données par les concepteurs Expert 5 : Non Expert 6 : Oui souvent 27

Pensez-vous que d’autres indicateurs auraient pu donner des informations sur laqualité potentielle des LG ? Si oui, lesquelles ? Expert 1 : Comme ça, non Expert 2 : Pas d’autre idée Expert 3 : rien Expert 4 : Oui, la nouveauté, l'originalité. Par exemple, j'ai préféré le LG N 8 pour cette raison. Expert 5 : C’est assez complet. Peut-être proposer un indicateur plus spécifiquement lié aux mécanismes de jeu (mécanismesde jeu adaptés/pertinents ? diversité ludique ? etc.) Expert 6 : Je ne sais pas, il m’a globalement semblé difficile de juger la qualité des LG à ce stade de conception D’autres commentaires ? Expert 1 : Non, j’ai tout dit Expert 2 : rien Expert 3 : rien Expert 4 : rien Expert 5 : rien Expert 6 : Si ce n’est pas le cas, peut-être que les critères d’évaluation définis doivent être présentés aux concepteurs et leurservir de guide de conception (sous forme de checklist ?).28

Résultats des concepteurs qui ont utilisés LEGADEE pour leur 2ème LG60LG A LG B LEGADEELG B LG A LEGADEE50401er LG conçu sansLEGADEE302ème LG conçuavec LEGADEE20100Concepteur 4Concepteur 6 Concepteur 11 Concepteur 5Concepteur 7Concepteur 829

Résultats des concepteurs qui ont utilisés LEGADEE pour leur 1er LGLG A LEGADEE LG BLG B LEGADEE LG A60501er LG conçuavec LEGADEE40302ème LG conçusans LEGADEE20100Concepteur 3Concepteur 9 Concepteur 12 Concepteur 1Concepteur 2 Concepteur 1030

The Game Maker’s Apprentice, 2006 Graesser A. et al. « Deep Learning and Emotion in Serious Games », 2009 8 . The Game Maker’s Apprentice: Game Development for Beginners, 2006 10