Veröffentlicht am
Dr. Julian Rasch
Data Scientist
Kategorie:
Lesezeit
20
Die Zukunft der Personalentwicklung im Bereich des professionellen E-Learnings liegt in detaillierten, aber schnellen und effizienten Skill Assessments. Der Einsatz von Skill Assessments ermöglicht es den Mitarbeitenden nicht nur, ihr volles Potenzial auszuschöpfen, sondern trägt auch dazu bei, dass Organisationen in einem zunehmend wettbewerbsorientierten Geschäftsumfeld innovativer, produktiver und widerstandsfähiger werden. In diesem Blog werfen wir einen genaueren Blick darauf, was Skill Assessment ist, welche Arten von Skill Assessments es gibt, wie man sie am besten durchführt und warum granulare Assessments der Schlüssel zum Erfolg sind. Erfahren Sie, wie Skill Assessments das organisatorische Lernen verändern und den Weg zu Spitzenleistungen ebnen können.
Ein Skill Assessment ist ein wichtiger Bestandteil des personalisiertem Lernen. Es ist eine strukturierte Bewertung oder ein Test, der das Wissen und die Kompetenz einer Person in bestimmten Wissensbereichen, Fachkenntnissen oder praktischen skills Bereichen messen soll. Ihr Zweck ist die objektive Bewertung des aktuellen skill Niveaus einer Person, die Ermittlung von Stärken und Schwächen und die Bereitstellung wertvoller Daten für die Ausrichtung gezielter Lern- und Entwicklungsprogramme. Skills Beurteilungen spielen eine entscheidende Rolle im Lern- und Talentmanagement von Unternehmen, da sie Einzelpersonen und Organisationen dabei helfen, personalisierte Entwicklungspfade zu entwerfen und die Leistung in verschiedenen beruflichen Bereichen zu optimieren.
In der heutigen dynamischen und sich ständig weiterentwickelnden Unternehmenslandschaft ist es für jede Organisation, die erfolgreich sein will, von größter Bedeutung, wettbewerbsfähig zu bleiben. Um dies zu erreichen, müssen Unternehmen in ihr wertvollstes Kapital investieren: ihre Mitarbeiter. Da sich das Tempo des technologischen Fortschritts beschleunigt, werden traditionelle Lern- und Entwicklungsansätze rasch durch effizientere und zielgerichtetere Methoden ersetzt. Unter anderem haben sich Skill Assessment als revolutionäres Instrument erwiesen, das die Art und Weise, wie Unternehmen ihre Talente entwickeln, verändert.
Die Bedeutung von skill für das Lernen in Unternehmen kann gar nicht hoch genug eingeschätzt werden.
Die Personalisierung und Anpassung des Lernens ist ein heißes Thema und sicherlich eine eigene Blogpost-Serie wert. Im Grunde läuft es sowieso auf das Offensichtliche hinaus:
Jeder Mensch ist anders!
Wir alle haben unterschiedliche Persönlichkeiten, Kulturen, Vorkenntnisse und Erfahrungen, Wünsche, Ziele, Erwartungen und vieles mehr, und das beeinflusst die Art und Weise, wie wir leben, arbeiten und vor allem lernen. Leider spiegelt sich diese Heterogenität in den meisten Weiterentwicklungs-Angeboten nicht gut wider, die stattdessen versuchen, Lerninhalte für ein möglichst breites Spektrum von Lernenden anzubieten.
Das Bedauerliche daran?
Die meisten dieser Schulungen und Kurse folgen einer Einheitsstrategie und berücksichtigen nicht die unterschiedlichen Qualifikationen, Bedürfnisse und Lernziele ihrer Teilnehmer.
Unsere Aufgabe bei edyoucated ist es, die individuellen Bedürfnisse unserer Lernenden in ihre Lernprozesse zu integrieren, und zwar in einer Vielzahl von Dimensionen (von denen wir einige in unserem KAMAELEON-Projekt erforschen). Hier sind ein paar Beispiele:
In diesem Beitrag konzentrieren wir uns auf die Personalisierung im Hinblick auf das Vorwissen.
Und warum?
Unser Hauptziel ist es, den Lernprozess individuell und genau an der richtigen Stelle für jeden Lernenden zu beginnen. Jeder beginnt den Lernprozess mit einem anderen Skill-Set, und wir wollen dem Einzelnen die besten Skills empfehlen, die er als nächstes lernen sollte. Die allgemeinen Informationen darüber, welche Skills ein Lernender bereits beherrscht, nennen wir den Wissensstand des Lernenden.. Die allgemeinen Informationen darüber, welche Fähigkeiten ein Lernender bereits beherrscht, nennen wir den Wissensstand des Lernenden .
Aber wie können wir den Wissensstand unserer Lernenden herausfinden? Der Schlüssel dazu sind Assessments!
Vielleicht haben Sie bereits Erfahrungen mit Wissens-Assessments als Teil eines Bewerbungsverfahrens gemacht, bei dem Sie mit anderen Bewerbern verglichen werden. Dabei wird ermittelt, welche Skills Sie bereits beherrschen und in das neue Unternehmen einbringen werden. Doch die eigentliche Stärke von Assessments liegt meist woanders:
Es geht darum, die Bereiche zu ermitteln, in denen es Ihnen noch an Wissen oder Erfahrung mangelt!
Einfach ausgedrückt: Assessments helfen, Ihren Bedarf zu ermitteln, der dann zur Steuerung Ihrer Lernaktivitäten und Ihrer persönlichen Entwicklung genutzt werden kann. Und es gibt sie in sehr unterschiedlichen Formen.
Aus der Schule kennen Sie vielleicht vor allem formative und summative Assessments. Erstere werden während Ihres Lernprozesses vorgenommen, um über anstehende Lernaktivitäten zu entscheiden. Letztere sind Bewertungen Ihrer Kompetenzen am Ende einer Lerneinheit, um zu überprüfen, ob Sie das Thema beherrschen.
Während die besprochenen Assessment-Arten in Form von Tests oder Prüfungen stattfinden, müssen Sie bei Self-Assessments Ihr Wissen und Ihre Skills selbst reflektieren. Zur schnellen Überprüfung:
Wie würden Sie Ihre Fähigkeiten zur Selbstreflexion auf einer Skala von 1 bis 10 einstufen 🙂 ?
Schwierig, genau zu sein? Das ist bei Self-Assessments oft der Fall, auch wenn die Fragen gezielter sind. Es ist schwierig und sehr subjektiv, Bewertungen auf einer Skala abzugeben, nicht wahr?
Dennoch spielen Selbsteinschätzungen eine große Rolle, wenn es um die persönliche Entwicklung und die Auswahl von Lernaktivitäten geht. Wann immer Sie sich entscheiden, was Sie als Nächstes lernen wollen, abgesehen von Ihrem Interesse, tun Sie dies (un)bewusst: In welchem Bereich muss ich meine Skills verbessern? Wo bin ich bereits auf einem höheren Niveau?
Viele Lernempfehlungssysteme adaptieren die oben beschriebene Art des Self-Assessments, was zu zwei großen Problemen für den Lernenden führt. Zum einen wird das Assessment subjektiv und für den Lernenden schwierig. Zum anderen erlaubt die Granularität (z.B.: Wie gut können Sie mit Microsoft Excel umgehen?) nur recht ungenaue Empfehlungen; die meisten Plattformen empfehlen ganze Kurse. So wie Netflix ganze Serien zum Anschauen anbietet.
Aber passen diese wirklich?
Oder kennen Sie bereits den gesamten Anfang und müssen ihn überspringen, um den ersten relevanten Stoff zu finden? Als Abhilfe verwenden wir so genannteatomare Assesments.
Bei edyoucated zerlegen wir Lernthemen in die elementarsten Bausteine und eröffnen so die Möglichkeit, Skills auf einer sehr feinen Ebene zu empfehlen und zu lernen.
Wie wir sie nennen? Skill-Atome, natürlich! Was könnte kleiner sein?
Ein Beispiel: Ein atomarer skill für Microsoft Excel wäre nicht "Excel-Grundlagen", sondern "Öffnen und Speichern von Arbeitsmappen" oder "Verwendung des Ausfüllgriffs". Auf dieser Granularität werden die Themen dann nicht nur in ein paar verschiedene Bits zerlegt, sondern in bis zu ein paar hundert. Dies gibt uns die Möglichkeit, Ihnen das beste nächste skill anzubieten, damit Sie auf einer viel feineren Granularität und mit viel mehr Präzision lernen können.
Ihr Vorteil als Lernende/r? Sie bekommen genau das, was Sie brauchen!
Atomare Assessments lösen noch ein weiteres Problem: Die daraus resultierenden Self-Assessment-Fragen, z. B. "Wissen Sie, wie man Arbeitsmappen in Excel öffnet und speichert?", können einfach mit "Ja" oder "Nein" beantwortet werden, anstatt ein schwieriges Assessment auf einer Skala zu verlangen. Und schon ist das Self-Assessment viel weniger subjektiv und einfacher zu handhaben.
Noch Probleme? Keine, die wir nicht lösen können.
Atomare Assessments geben zwar Aufschluss über Ihre Skills und ermöglichen sehr präzise Empfehlungen, aber sie haben ihren Preis. Natürlich müssen wir zunächst Informationen über Ihren gesamten aktuellen Wissensstand sammeln.
Und das kann zu einer mühsamen Aufgabe werden!
Im Falle eines Self-Assessments wären Sie gezwungen, eine große Anzahl von Fragen zu beantworten (im schlimmsten Fall eine Frage pro atomarem Skill!), bevor Sie mit dem eigentlichen Lernprozess beginnen können. In den meisten praktischen Lernsituationen ist dies fast unmöglich oder zumindest eine große Einschränkung.
Unsere Herausforderung besteht also darin, herauszufinden, welche der atomaren Skills Sie bereits beherrschen und welche Ihnen noch unbekannt sind!
Und ja, sie alle. Ohne weitere Intelligenz müssen wir Sie nach jeder einzelnen Fähigkeit fragen. Wie Sie sich vorstellen können, kann das für Sie als Lernenden ziemlich langweilig und frustrierend werden, weshalb wir das auf keinen Fall tun wollen. Aber zumindest kann es als Grundlage für unsere Bewertung dienen: Wir tauschen eine Frage gegen eine Information über Sie. Das ist der schlimmste aller Fälle und schafft keine angenehme Benutzererfahrung, meinen Sie nicht auch?
Beginnen wir also mit einem einfachen Beispiel, um uns aufzuwärmen und zu sehen, wie wir dies verbessern können. Wenn Lernende uns sagen, dass sie wissen, wie man Pivot-Tabellen in Microsoft Excel erstellt, wie wahrscheinlich ist es dann, dass sie auch wissen, wie man einige Zahlen in ein Arbeitsblatt eingibt? Nahezu 100 %, oder? Ganz einfach, weil Pivot-Tabellen viel fortgeschrittener sind als die Eingabe von Inhalten in Zellen.
Es gibt also eine inhärente Verbindung zwischen den beiden atomaren Skills (Pivot-Tabellen und Zellinhalte): Die Beherrschung des einen hängt von der Beherrschung des anderen ab. Wir nennen die Beziehung zwischen den Atomen in einer solchen Situation (in der eine Skill von der anderen abhängt) eine voraussetzungsvolle Beziehung. In der Sprache der Graphen wird Atom A als Vorfahre von Atom B bezeichnet, und Atom B ist ein Nachfahre von Atom A.
Wie kann uns das helfen?
Eigentlich ist es ganz einfach. Nehmen wir an, Atom A ist eine Voraussetzung für Atom B (siehe oben). Wenn Sie also A nicht kennen, können Sie auch B nicht kennen, und wir brauchen nicht mehr danach zu fragen! Umgekehrt, wenn Sie B bereits beherrschen, dann wissen wir, dass Sie A schon immer gekannt haben müssen. Großartig! Wenn wir diese Information während des Assessments nutzen, können wir uns einige Fragen sparen.
Aber wie viele können wir tatsächlich einsparen? Um dies zu veranschaulichen, haben wir im Folgenden eine etwas kompliziertere Situation mit ein paar mehr Atomen und Voraussetzungen vorbereitet. Nehmen Sie sich für den Anfang ein paar Sekunden Zeit und fragen Sie sich: Nach welchem Atom würden Sie unter den gegebenen Voraussetzungen zuerst fragen, um so viele Informationen wie möglich herauszufinden?
Notieren Sie sich Ihre Wahl und lassen Sie uns dies gemeinsam durchgehen. Nehmen wir an, wir fragen dich nach deiner Beherrschung von Atom A und du sagst uns, dass du es nicht kennst. Jackpot! Da A eine Voraussetzung für C, D und E ist, können wir direkt ableiten, dass Sie diese auch nicht kennen können. Für B müssen wir immer noch nachfragen, aber Sie sehen, wie schön diese Kaskade funktioniert:
Wir haben 4 Informationen mit nur einer Frage erhalten!
Was aber, wenn Sie uns sagen, dass Sie tatsächlich A kennen? Dann haben wir nicht wirklich viel gewonnen, wir haben eine Frage gegen eine Information eingetauscht, unser schlimmster Fall. Vielleicht ist A also nicht das beste Atom für den Anfang.
Und wir sind uns ziemlich sicher, dass Sie es inzwischen herausgefunden haben. Überprüfen Sie einfach selbst, ob Atom C tatsächlich der beste Einstieg ist. Und warum? Es gibt uns in jedem Fall 3 Informationen, unabhängig davon, ob du mit Ja oder Nein antwortest. Wir können entweder A und B einschließen oder D und E aus deinem Wissensstand ausschließen.
Für die beiden verbleibenden Atome des linken Teilgraphen (entweder A und B oder D und E) ist es dann eine Fifty-Fifty-Situation, ob wir einmal oder zweimal mehr fragen müssen. Dasselbe gilt für den Teilgraphen, der F und H enthält. Und für G müssen wir sowieso nachfragen, da er überhaupt nicht verbunden ist. Mit dieser Strategie müssen wir höchstwahrscheinlich 5 Fragen stellen (oder 6 im schlimmsten Fall), um Ihr Wissen über 8 Atome herauszufinden.
Wir haben die Anzahl der Atome fast halbiert, das ist doch schon etwas, oder?
Mathematisch gesehen kann die von uns verfolgte Strategie so beschrieben werden, dass wir in jedem Schritt das Atom mit dem höchsten erwarteten Informationsgewinn auswählen, wobei wir davon ausgehen, dass die Wahrscheinlichkeit, mit Ja oder Nein zu antworten, in beiden Fällen 50 % beträgt. Wenn Sie eine Formel benötigen, könnte der erwartete Informationsgewinn für jedes Atom wie folgt lauten:
Nehmen wir an, dass die Anzahl (#) der Vorfahren und Nachkommen das Atom selbst zählt. Dann würde das Atom D zum Beispiel einen erwarteten Informationsgewinn von 1(D) = 0,5 * 4 + 0,5 * 2 = 3 ergeben, was ... dasselbe ist wie bei Atom C?
Okay, Sie haben uns erwischt!
Wenn man den erwarteten Informationsgewinn auf diese Weise interpretiert, ist Atom D eigentlich genauso wertvoll wie C. Aber wir würden argumentieren, dass C immer noch einen Vorteil gegenüber D hat, da es gleich gut funktioniert, wenn man mit Ja oder Nein antwortet. Dies ist ein Hinweis darauf, wie wir optimieren können.
Was wäre, wenn wir bessere a-priori-Wahrscheinlichkeiten für die Beantwortung mit Ja oder Nein wüssten? Dann könnten wir die Wahrscheinlichkeiten für die Voraussetzungen und die Vorfahren in der Formel verschieben, was Atom D eventuell einen Vorteil verschaffen könnte, wer weiß? Es gibt noch viel mehr, was wir auf unserer Plattform optimiert haben, um so wenig Fragen wie möglich zu stellen. Was genau? Wir denken, dass zumindest ein kleines Geheimnis für den Moment bleiben sollte! 🤫
Aber halt! Woher kommen eigentlich die vorausgesetzten Beziehungen?
Lösen wir zumindest einen Teil dieses Rätsels. Der einfachste und genaueste, aber zugegebenermaßen zeitaufwändige Weg ist, die Voraussetzungen von Experten modellieren zu lassen. Dafür haben wir bei edyoucated ein ganzes Team, das mit Experten für die jeweiligen Themen zusammenarbeitet und Voraussetzungen und andere Beziehungen zwischen Atomen modelliert, um Ihnen bei Ihrem Assessment-Prozess Zeit zu sparen.
Aber wir haben hier etwas Data Science versprochen, also zeigen wir einen einfachen Weg, diese Beziehungen aus Daten zu lernen. Das folgende Bild zeigt die Assessment-Ergebnisse einiger unserer Lernenden zum Thema Microsoft Excel. Wie Sie sehen können, gibt es eine ganze Reihe von Lernenden ohne Vorkenntnisse zu diesem Thema (alle grauen Spalten), aber auch viele Lernende mit einem ausgefeilteren Wissensstand.
Dies ist die Art von Daten, die wir benötigen, um die Voraussetzungen zu erlernen.
Lassen Sie uns zunächst den Begriff der Voraussetzung kurz neu interpretieren. Was bedeutet es eigentlich, dass A eine Voraussetzung für B ist? Es bedeutet, dass man, wenn man B kennt, auf jeden Fall auch A kennt. Oder, wenn man B kennt, ist die Wahrscheinlichkeit, dass man A kennt, 100%. Lassen Sie uns das richtig schreiben und vielleicht ein wenig mehr Freiraum geben:
Die bedingte Wahrscheinlichkeit, A zu kennen, wenn B gegeben ist, beträgt mindestens 95 %, klingt doch richtig, oder? Auch wenn Sie kein Mathematiker sind, hoffe ich, dass Sie die Schönheit von Formeln anerkennen können. Sie machen einfach alles viel übersichtlicher! Der umgekehrte Weg funktioniert natürlich auch:
sagt uns, dass es sehr wahrscheinlich ist, dass Sie B nicht kennen, wenn Sie A nicht kennen (das kleine c steht für das komplementäre Ereignis).
Und diese beiden Bedingungen geben uns tatsächlich eine Möglichkeit, die Voraussetzungen aus den obigen Daten zu lernen. Für jedes Atom müssen wir einfach alle Lernenden finden, die B als bekannt markiert haben, und unter diesen den Anteil berechnen, der auch A als bekannt markiert hat. Dies ist eine schöne Schätzung für die obige bedingte Wahrscheinlichkeit, und wir können die andere natürlich auf die gleiche Art und Weise berechnen.
Sobald wir zwei Atome gefunden haben, die beide Bedingungen erfüllen, haben wir eine vorausgesetzte Beziehung gefunden!
Großartig, nicht wahr? Indem wir den Schwellenwert (derzeit 0,95) anpassen, können wir mehr oder weniger restriktiv vorgehen und mehr oder weniger Beziehungen finden, je nachdem, was wir erreichen wollen (wenn wir ihn auf 1 setzen, sind beide Bedingungen tatsächlich gleichwertig, und wir müssen nur eine prüfen). Wir haben dies für Sie in Python mit networkx und pyvis durchgeführt, um Ihnen einen kleinen Einblick zu geben:
Wir haben hier den Schwellenwert etwas restriktiver gehandhabt und einige Nachbearbeitungen am Diagramm vorgenommen, um die Ergebnisse besser sichtbar zu machen. Wie man sieht, sind die "Mathematischen Operatoren" Voraussetzung für viele andere Atome oder die "Einführung in Excel-Diagramme" Voraussetzung für spezifischere Diagrammatome, andere Atome bleiben unverbunden.
Klingt gut, finden Sie nicht auch?
Eine kleine Anmerkung für den Fall, dass Sie einige Zusammenhänge als "unintuitiv" empfinden: Wir müssen bedenken, dass wir es hier mit empirischen Wahrscheinlichkeiten zu tun haben, die aus den manchmal widersprüchlichen Antworten der Lernenden abgeleitet wurden. In der Praxis ist das Ganze noch viel komplizierter, aber lassen wir das unser Problem sein. Heute geht es nur um die Idee.
Es gibt noch einen letzten Punkt, den wir in diesem Beitrag ansprechen wollen. Was passiert, wenn wir einen Fehler machen, d.h. eine falsche Vorbedingung modellieren oder lernen? In diesem Fall könnten die Vorhersagen für Ihren Wissensstand ebenfalls falsch sein.
Natürlich stellen wir sicher, dass wir alle unsere Algorithmen testen, um sicherzustellen, dass sie so wenig Fehler wie möglich machen. Aber wir alle wissen, dass Daten manchmal unordentlich, verrauscht und fehlerhaft sein können, so dass wir zwangsläufig einige Fehler machen werden. Deshalb lassen wir Sie als Lernende unsere Vorhersagen am Ende immer überprüfen. Damit Sie nichts verpassen, was Sie noch lernen können.
.avif)
Apropos Lernen, warum probieren Sie es nicht selbst aus und lernen etwas Neues?
Wenn Sie etwas lesen wollen, das in einem engen Zusammenhang steht, hier ist es:
Clair (2015) R. S. Clair, L. R. Winer, A. Finkelstein, A. Fuentes-Steeves, and S. Wald. Big hat and no cattle? Die Auswirkungen von MOOCs auf die Erwachsenenbildungslandschaft. Canadian journal for the study of adult education, 27:65-82, 2015.
Daradoumis (2013) T. Daradoumis, R. Bassi, F. Xhafa, und S. Caballé. A review on massive e-learning (MOOC) design, delivery and assessment. In 2013 Eighth International Conference on P2P, Parallel, Grid, Cloud and Internet Computing, Seiten 208-213, 2013.
Gasevic (2016) D. Gasevic, S. Dawson, T. Rogers. Learning analytics should not promote one size fits all: The effects of instructional conditions in predicting academic success. The Internet andHigher Education, 28:68-84, 2016.
McBride (2004) B. G. McBride. Datengesteuerte Unterrichtsmethoden: "Eine Strategie für alle" funktioniert in echten Klassenzimmern nicht. T.H.E. Journal Technological Horizons in Education, 31:38, 2004.
Murray (2004) R. Murray, M. Shea, B. Shea, und R. Harlin. Fragen der Bildung: Die Vermeidung des Einheitslehrplans: Textsets, Untersuchung und differenzierter Unterricht. Erziehung in der Kindheit, 81(1):33-35, 2004.
Rhode (2017) Rhode, J., Richter, S. & Miller, T. Designing Personalized Online Teaching Professional Development through Self-Assessment. TechTrends 61, 444-451 (2017).
Saadatdoost (2015) R. Saadatdoost, A. T. H. Sim, H. Jafarkarimi, and J. M. Hee. Exploring MOOC from education and information systems perspectives: a short literature review. Educational Review, 67(4):505-518, 2015.
Silver (2008) Silver, I., Campbell, C., Marlow, B. und Sargeant, J. (2008), Self-assessment and continuing professional development: Die kanadische Perspektive. J. Contin. Educ. Health Prof., 28: 25-31.
Askar, P., & Altun, A. (2009). CogSkillnet: An ontology-based representation of cognitive skills. Link
Doignon, J.-P., & Falmagne, J.-C. (2012). Knowledge spaces. Springer Science & Business Media. Link
Falmagne, J.-C., & Doignon, J.-P. (2011). Knowledge Structures and Learning Spaces. In Learning Spaces: Interdisciplinary Applied Mathematics (S. 23–41). Berlin, Heidelberg: Springer Berlin ·Heidelberg. Link
McGaghie, W. C., Adler, M., & Salzman, D. H. (2015). Mastery learning. William C. McGaghie Jeffrey H. Barsuk, 71. Link
Reich, J. R., Brockhausen, P., Lau, T., & Reimer, U. (2002). Ontology-based skills management: goals, opportunities and challenges. J. UCS, 8, 506–515. Link
