Feature Stories - Ein Qualitätssprung in der natürlichen Sprachverarbeitung für Bildung
Natürliche Sprachverarbeitung ist ein Bereich der Informatik und Linguistik, für den sich verschiedene akademische, wirtschaftliche und öffentliche Sektoren interessieren. Natürliche Sprachverarbeitung deckt viele Anwendungen: Software, um Text in Sprache zu konvertieren, automatische Übersetzung zwischen Sprachen oder Datamining nach bestimmten Konzepten. Doch sie ist bei weitem noch nicht perfekt. Quantitative Analyse-Tools sind seit langem auf dem schnell wachsenden Gebiet des technologiegestützten Lernen aufgetaucht, in denen Computer und Software-Programme eine wichtige Rolle dabei spielen wie die Schüler Informationen sammeln, lernen und mit den Lehrern und untereinander kommunizieren. Während die quantitative Analyse Erkenntnisse dazu liefern kann, wie viel ein Student arbeitet, wie oft er sich auf Lehrmaterial bezieht, am Unterricht teilnimmt oder mit anderen kommuniziert, kann sie nicht den Wert dieser Interaktionen messen. An dieser Stelle setzt die qualitative Analyse an. "Die meisten Analyse-Tools, die für das technologiegestützte Lernen entwickelt wurden, messen, wie viel oder wie Studenten Dinge tun. Was wir brauchen sind Tools und Technologien, die sich auf die Frage konzentrieren, "wie gut" Studenten etwas tun. Dieses Wissen kann ihnen dann helfen, im Lernen weiterzukommen", erklärt Wolfgang Greller, Associate Professor für Neue Medientechnologien und Wissensinnovation an der Offenen Universität der Niederlande. Dr. Greller koordinierte das Projekt "Language technologies for lifelong learning" LTfLL , an dem sich 11 akademische Partner und Unternehmen in sieben europäischen Ländern beteiligten, um innovative Lösungen zu entwickeln, die sich mit der qualitativen Seite des technologiegestützten Lernens befassen. Das Projekt wurde von der Europäischen Kommission mit 2,85 Mio. EUR Forschungsförderung unterstützt. Es entwickelte und testete in der Praxis sechs Werkzeuge, um Lernenden und Lehrenden in Bereichen zu helfen, die von Dialog und Textanalyse bis hin zur Studentenbewertung konzeptionelle Entwicklung reichen. Dabei erzielten sie auch erhebliche technologische Fortschritte im Bereich der natürlichen Sprachverarbeitung. "Wenn Sie jemals Google Translate, Dragon Spracherkennungssoftware oder ähnliche Werkzeuge benutzt haben, werden Sie wissen, dass die Genauigkeit nicht bei 100% liegt. Dies ist eine relative Frage, denn wenn man 100% erwartet und 80% bekommt, ist das Ergebnis schlecht, aber wenn man nichts erwartet und das Ergebnis ist zu 80% richtig, dann ist es viel besser als nichts", so Dr. Greller. Um intelligente Unterstützungs- und Beratungsdienste der nächsten Generation und Tools für individuelles und kooperatives Lernen zu entwickeln, mussten die Forscher von LTfLL Fortschritte in zwei zentralen Herausforderungen machen, vor denen die natürliche Sprachverarbeitung steht: Genauigkeit und Leistung. Genaue Beurteilung von Schülern Im Hinblick auf Genauigkeit entwickelten die Forscher eine Technik, um die Genauigkeit des Outputs ihrer Werkzeuge anhand von Richtwerten zu messen, die von menschlichen Experten festgelegt wurden. Sie wurde etwa eingesetzt, um LTfLL-Werkzeuge für die Einstufung zu verbessern - das heißt, zu beurteilen auf welches Niveau eines bestimmten Kurses ein neuer Schüler auf der Grundlage seiner vorhandenen Kenntnisse des Themas eingestuft werden sollte - und für die konzeptionelle Entwicklung - wie gut ein Schüler ein Thema begreift und vorankommt, wenn er beginnt den Unterricht zu besuchen. "Für die Einstufung wurden den Schülern Fragen gestellt und sie mussten mit einem freien Text antworten. Ihre Antworten wurden dann mit dem Werkzeug gegen sogenannte Textbuchantworten, die Experten und Lehrer zur Verfügung gestellt hatten, analysiert, ein Verfahren, das sich stark auf die Genauigkeit der NLP-Technik stützt", erklärt Dr. Greller. Das System ist nicht für die automatische Zuweisung der neuen Schüler zu einer bestimmten Klasse oder einem bestimmten Leistungsniveau gedacht. Es soll vielmehr einen Leitfaden für den Lehrer über das Leistungsniveau eines Schülers zu einem Thema bieten und das zeit- und kostensparender wie Multiple-Choice-Tests und persönliche Interviews ist, die heute üblich sind. Ebenso hilft die Analyse der konzeptionellen Entwicklung bei der Beurteilung der Leistungen der Schüler, indem die von den Schülern produzierten Lerninhalte betrachtet werden und gemessen wird, wie eng die von ihnen zur Definition von Konzepten verwendete Sprache mit der Sprache übereinstimmt, die von der Fachgemeinschaft genutzt wird. "Es geht nicht nur darum, die Anzahl der Schlüsselwörter zu betrachten, die ein Schüler in einem Aufsatz benutzt. Wenn das der Fall ist, wäre es für einen Schüler sehr einfach, das System zu betrügen. Es geht darum zu bestimmen, wie gut sie diese Schlüsselwörter verwenden, um den Begriff zu definieren, den sie auszudrücken versuchen", bemerkt der Projektkoordinator. Das wiederum erfordert NLP-Technologie, die sehr fehlertolerant ist und verstehen kann, dass zwei Wörter, die auf unterschiedliche Weise geschrieben wurden, das gleiche bedeuten können und dass identisch aussehende Worte je nach Kontext sehr unterschiedliche Bedeutungen haben können. "Das System muss verstehen, dass die Wörter 'Webcam', 'Web-Cam' oder 'Cyber-Cam' das Gleiche bedeuten und in der Lage sein zu bestimmen, ob das Wort 'Java' sich auf die Insel oder auf die Programmiersprache bezieht, es muss den Kontext verstehen", so Dr. Greller. Sowohl die Tools für die Einstufung als auch für die konzeptionelle Entwicklung wurden vom LTfLL-Projektpartner Bit Media getestet. Dieser österreichische Anbieter von E-Learning-Lösungen bietet Kurse an, die arbeitslosen Menschen helfen sollen, wieder an den Arbeitsplatz zurückzukehren. Sie erhalten eine EDV-Schulung, um den Europäischen Computerführerschein zu machen, eine Zertifizierung der Kenntnisse in Informations-und Kommunikationstechnologien (IKT). Die Verbesserung der Leistungsfähigkeit von natürlicher Sprachverarbeitung Im Hinblick auf die Verbesserung der Leistung von Systemen für natürliche Sprachverarbeitung setzten die LTfLL-Forscher latente semantische Analyse und Vorverarbeitungstechniken ein und bauten kontextuelle Umgebungen für unterschiedliche Themen. "Eine der wichtigsten technischen Herausforderungen bei der natürlichen Sprachverarbeitung ist, dass sie eine hohe Rechenleistung benötigt. Jedes Mal, wenn ein Student Informationen eingibt oder eine Anfrage macht, sind viele Rechenprozesse erforderlich. Der Aufbau eines kontextuellen Umfelds im Vorfeld und die Vorverarbeitung vieler Begriffe in einem bestimmten Bereich - sei es Medizin oder Informatik - bedeuten, dass Ergebnisse in Sekunden statt Tagen generiert werden können", so Dr. Greller. "Dies war ein zentrales Thema für uns, da wir wollten, dass unsere Werkzeuge, auf Anfrage und so zeitnah wie möglich funktionieren sollen." Durch die Arbeit der LTfLL-Forscher zur Verbesserung der NLP-Technologien wurden ihre Ergebnisse an die Spitze des aufstrebenden Gebiets der "lernenden Analytik" gestellt. Diese betrifft die Messung, Sammlung, Analyse und Reporting von Daten über Lernende und ihre Kontexte, um Lernen und Lernumgebungen besser zu verstehen und zu optimieren. Ein wichtiger Aspekt ist dabei die Kombination von NLP mit anderen Technologien, die sich mit Sentiment-Analyse und Social Networking befassen, mit dem Ziel, dass Lernen in allen Bereichen und zu jedem Thema mehr Spaß macht, interaktiv und einnehmend wird. LTfLL wurde unter dem Siebten Rahmenprogramm der Europäischen Kommission (RP7) gefördert.