Angewandte Forschung in meiner Dissertation UX-Forschung zu digitalem Concept-Mapping

Ansatz

Eingebunden in die Roadmap von OASYS, einer von der Universität Luxemburg (LUCET-Team) entwickelten Bewertungsplattform, konzentrierte sich der angewandte Teil meiner Doktorarbeit auf die menschzentrierte Gestaltung eines digitalen Concept-Mapping-Tools, das auf früheren Arbeiten von Katja Weinerth und Eric François aufbaut. Dieser Ansatz verfolgte zwei Ziele:

• ein nutzungsfreundliches Concept-Mapping-Tool für Schulen in Luxemburg veröffentlichen und
• das digitale Concept-Mapping-Tool als Aufgabentyp für die Bewertung integrieren

Im Folgenden werde ich den Hauptansatz meiner menschenzentrierten Designarbeit skizzieren.

Benchmarking und Kontextforschung

Auf der Grundlage von Recherchen im Internet, in App-Stores, in der wissenschaftlichen Literatur und in der UX-Forschung umfasste mein Benchmarking 34 digitale Tools für Concept-Mapping und verwandte Methoden zur Wissensvisualisierung. Darüber hinaus führte ich eine umfassende Literaturrecherche zu Methoden der Wissensvisualisierung durch und bezog eine Vielzahl verschiedener Concept-Mapping-Varianten in meine Folgestudien ein.

Nutzungsforschung

• Co-Design-Studien mit 67 Schülern in Klassen trugen dazu bei, die Anforderungen an das Concept-Mapping-Tool zu ermitteln und herauszufinden, wie es aussehen sollte. Darüber hinaus habe ich Informationen über den Nutzungskontext gewonnen, z. B. über Geräte, die für digitales Concept Mapping verwendet werden, oder über Erwartungen und Anwendungsfälle im Zusammenhang mit digitalen Concept-Mapping-Erfahrungen.
• Durch Storytelling konnten die verschiedenen Teilnehmenden ihre Vorstellungen über digitales Concept Mapping austauschen und diskutieren, wie sie sich den Einsatz von digitalem Concept Mapping in Lern- und Lehraktivitäten vorstellen, sowie welche Probleme und gewünschten Ergebnisse sie erwarten.
• Ich führte 17 Interviews über Erfahrungen mit Concept-Mapping und anderen Methoden der Wissensvisualisierung durch. Ein besonderer Schwerpunkt lag auf den psychologischen Bedürfnissen beim Concept-Mapping, die mit UX-Karten (Lallemand 2015) untersucht wurden. Darüber hinaus nutzte ich diese Interviews, um weitere Erkenntnisse über den Nutzungskontext und die erwarteten Funktionalitäten eines digitalen Concept-Mapping-Tools zu gewinnen.
• Zusammen mit Bo Raber, einem Doktoranden im Rahmen des verwandten Projekts „School Futures“, führten wir umfassende Beobachtungen von Lernenden während kollaborativen, auf Concept-Mapping basierenden Aktivitäten durch, sowohl auf Papier als auch mit digitalen Tools. Wir nutzten diese Erkenntnisse, um weitere Anforderungen und Informationen zum Nutzungskontext zu ermitteln.

Definition von Anforderungen

Ich leitete Anforderungen ab und sammelte Ideen aus der Nutzungsforschung auf Karten und führte einen Workshop mit Stakeholder:innen und dem Entwicklungsteam durch, um ihre Erkenntnisse über die technische Machbarkeit und andere wichtige Überlegungen zu sammeln, z. B. ob die Anforderung das Potenzial hat, sich von anderen Benchmark-Tools abzuheben. Ich entwickelte eine Vorlage, um wichtige Informationen zu jeder Anforderung auf einer Karte zu sammeln.

Ich organisierte mehrere Workshops zur Priorisierung von Anforderungen mit verschiedenen Interessengruppen. Die Ergebnisse wurden in ein Produktanforderungsdokument (PRD) aufgenommen und zusammen mit anderen Funktionen im Toolset von OASYS in einer Roadmap eingeplant.

Prototypenentwicklung, Tests und iterative Verbesserungen

Auf der Grundlage einer früheren Arbeit von Katja Weinarth und Eric François habe ich drei Prototypen eines digitalen Concept-Mapping-Tools erstellt und iterativ validiert:

• Erster laborbasierter qualitativer UX-Test mit 35 Teilnehmenden
• Zweiter laborbasierter qualitativer UX-Test mit 31 Teilnehmenden
• Dritter quantitativer UX-Test mit 71 Teilnehmenden als Feldstudie
• Vierter qualitativer Remote-UX-Test (mit 6 Teilnehmenden) und Expert Review (mit vier Expert:innen) einer Alpha-Version

Bei allen Tests wurden verschiedene Concept-Mapping-Aufgaben verwendet, um unterschiedliche Einsatzmöglichkeiten des digitalen Concept Mappings zu untersuchen. Methodisch habe ich sowohl quantitative (z. B. UEQ) als auch qualitative Methoden (z. B. Interviews) verwendet. Die Ergebnisse wurden für iterative Verbesserungen der Folgeversionen verwendet. Schließlich habe ich Designempfehlungen abgeleitet, die ich der Universität Luxemburg für mögliche zukünftige Verbesserungen vorgelegt habe.

Weitere Aktivitäten

Obwohl das User Experience Design des digitalen Concept-Mapping-Tools das wichtigste Ergebnis meiner Arbeit an der Universität Luxemburg war, reicht es nicht aus, um Concept-Mapping erfolgreich in der Bildung umzusetzen. Daher umfasste meine Arbeit auch weitere Aktivitäten:

• Ich habe pädagogische Materialien (einschließlich Beispiel-Unterrichtsplänen) für Lehrkräfte erstellt, die eine Fülle von Informationen über Concept-Mapping-Aufgaben und Bewertungsmethoden mit Concept Maps enthalten.
• Ich arbeitete auch an Richtlinien und einer Bewertungsmatrix für die Verwendung visueller Merkmale beim Concept-Mapping, was während der gesamten Studien ein häufiges Bedürfnis der Nutzenden war.
• Zusammen mit Susanne Backes habe ich die Ergebnisse einer Studie im Nationalen Bildungsbericht 2022 veröffentlicht.
• Schließlich war ich an Aktivitäten zur Verbreitung des entwickelten Concept-Mapping-Tools beteiligt und stand in engem Kontakt mit dem Entwicklungsteam, um zukünftige Verbesserungen entlang der definierten Roadmap zu unterstützen.

Ergebnisse

Neben den akademischen Ergebnissen lieferte mein Forschungsprojekt eine solide, auf den Menschen ausgerichtete Grundlage für ein digitales Concept-Mapping-Tool. Die Ergebnisse waren insbesondere:

• mehr als 70 Usability- und User-Experience-Tests unter Verwendung verschiedener Methoden und Schwerpunktbereiche
• mehr als 10 Klassen, die an verschiedenen Designaktivitäten beteiligt waren
• enge Zusammenarbeit mit dem Forschungsprojekt „School Futures“ und drei Partnerschulen
• 5 Dokumente mit User-Experience-Ergebnissen und Designrichtlinien für das Entwicklungsteam (z. B. Testberichte, kontextbezogene Forschung, Benchmarking)
• 4 Design-Workshops mit Experten für Mensch-Computer-Interaktion

Schließlich gab es einige Erkenntnisse und Erfahrungen. Während meiner Doktorarbeit konnte ich nicht jeden Aspekt eines erfolgreichen digitalen Concept-Mapping-Tools abdecken, insbesondere aufgrund weiterer akademischer Aufgaben, Lehrmöglichkeiten und einer strengen zeitlichen Begrenzung meiner Promotions- und Postdoc-Arbeit. Zum Beispiel konzentrierten sich meine Studien auf die Nutzungsoberfläche für die Erstellung von Concept Maps, aber die Nutzungsoberfläche für die Erstellung von Concept-Mapping-Aufgaben müsste noch weiter bearbeitet werden. Außerdem ist die Kombination von angewandter UX-Forschung und akademischer Forschung mit Kompromissen verbunden: Da ich beispielsweise auf früheren Arbeiten und einer bestehenden Code-Basis aufbaute, wurden in meinem Projekt keine Gestaltungsmöglichkeiten außerhalb dieser Leitplanken berücksichtigt. Auch die Erforschung des kollaborativen Concept Mappings wäre noch ausbaufähig, aber meine Doktorarbeit konzentrierte sich auf das individuelle Concept Mapping. Schließlich hätte ich gerne das Concept Mapping als Methode für die UX-Arbeit untersucht, wie ich es da in einem Artikel in t3n beschrieben habe.