Vertrauenswürdige KI

Wir - die Anbietenden von KI-Systemen - sind dazu angehalten, ethische Anforderungen für vertrauenswürdige Künstliche Intelligenz in unseren Konzipierungs- und Entwicklungsprozessen umzusetzen und anzuwenden. Die Europäische Kommission stellte 2021 einen umfassenden Rechtsrahmen für KI (KI-Gesetz) vor. In diesem sind verbindliche Anforderungen für »Hochrisiko-KI-Systeme« in mehreren Bereichen festgelegt, zu welchen auch allgemeine und berufliche Bildung gehört. Eine Umsetzung es Rechtsrahmens steht noch aus.

Die Hochrangige Expertengruppe für KI hat Ethik-Leitlinien für vertrauenswürdige KI aufgestellt. Aus diesen Leitlinien wurden von der Europäischen Kommission ethische Leitlinien von KI und Daten für Lehr- und Lernzwecke abgeleitet (Ethische Leitlinien für Lehrkräfte über die Nutzung von KI und Daten für Lehr- und Lernzwecke). Sie dienen als Leitlinien für die Entwicklung, Einführung und Nutzung vertrauenswürdiger KI-Systeme. Diesen Leitlinien haben wir uns angenommen und Leitfragen, die als Orientierung für Lehrkräfte formuliert worden, ausführlich beantwortet. Sie beinhalten folgende Themengebiete:

• Vorrang des menschlichen Handelns und menschliche Aufsicht,
• Transparenz,
• Vielfalt, Nichtdiskriminierung und Fairness,
• Gesellschaftliches und ökologische Wohlergehen,
• Datenschutz und Datenqualitätsmanagement,
• Technische Robustheit und Sicherheit sowie
• Rechenschaftspflicht.

Unsere Antworten sollen Ihnen helfen, Auswirkungen des Einsatzes von SmaLeTax zu bewerten und die Vorteile der Nutzung unseres KI-Systemes in der Bildung zu erkennen.

Wenn Sie mehr darüber erfahren möchten, finden Sie hier den Vorschlag für einen Rechtsrahmen für Künstliche Intelligenz (Vorschlag für einen Rechtsrahmen für künstliche Intelligenz), hier finden Sie die Arbeiten der Hochrangigen Expertengruppe für KI (Hochrangige Expertengruppe für künstliche Intelligenz) sowie die Arbeiten der Europäischen Kommission zum Thema Daten (Daten).

Eine umfassende rechtliche und ethische Bewertung aus Basis der Bewertungsliste für vertrauenswürdige Künstliche Intelligenz von der Hochrangigen Expertengruppe für KI haben wir geplant.
Ethics guidelines for trustworthy AI

FAQ | Gibt es einen Mechanismus, der es den Lernenden ermöglicht, aus dem Programm auszusteigen, wenn ihre Bedenken nicht angemessen berücksichtigt wurden?

• Lernende können die Empfehlungen ignorieren und nach eigenem Ermessen die bereitgestellten Inhalte erarbeiten. Alle Inhalte werden unabhängig von der KI (& den Lernempfehlungen) bereitgestellt.
• Auch wenn der Lernende sich entscheidet, die Empfehlungen zu ignorieren, wird das Lernverhalten anonymisiert von der KI analysiert. Dies kann nur umgangen werden, indem die SmaLeTax-Plattform nicht genutzt wird.

FAQ | Ist ersichtlich, welche Aspekte innerhalb des Systems von der KI gesteuert werden können und welche nicht?

• Die KI spricht Lernempfehlungen aus, d.h. sie empfiehlt welche Inhalte als nächstes für die lernende Person am passendsten sind. Dabei werden Lernkompetenzen des Lernenden geschätzt und dargestellt.
• “Passend” bedeutet im SmaLeTax-Sinn, dass Lernempfehlungen ausgesprochen werden, die an die angegebenen Vorkenntnisse und bis dahinerfolgtes Nutzverhalten angepasst sind.
• Alles was von der KI berechnet und analysiert wird, ist im “KI-Block” sichtbar.

Sind die Prozesse und Ergebnisse des Systems auf die erwarteten Lernergebnisse der Lernenden ausgerichtet? Wie zuverlässig sind die Vorhersagen, Bewertungen und Klassifizierungen des KI-Systems bei der Erklärung und Bewertung der Relevanz seines Einsatzes?

• Ja, das Ziel des Empfehlungssystems ist das Erreichen eines bestimmten Kompetenzlevels, quantifiziert als Testergebnis, durch den / die Nutzer*in in möglichst wenig Zeit.
• Zuverlässigkeit können wir erst mit Betrachtung der KPIs beantworten.

Sind die Anleitungen und Informationen zugänglich und sowohl für Lehrkräfte als auch für Lernende verständlich aufbereitet?

• Für die Lernenden gibt es eine “User-Tour”, die die Eigenschaften und Nutzung des “KI-Blocks” erklärt.
• Informationen über das Prinzip und den Hintergrund von SmaLeTax finden Sie im folgenden Vortrag:  KI I 120h vom 30. Mai bis zum 03. Juni 2022: Stefan Licht & Dr. Holger Schultheis

Wird mit bestimmten Verfahren sichergestellt, dass durch die Nutzung der KI niemand diskriminiert oder ungerecht behandelt wird?

• Die Tests werden strikt für alle Lernenden gleich ausgewertet.
• Die Abfrage der demographischen Daten ermöglicht SmaLeTax die Bereitstellung passgenauer und individueller Empfehlungen für den einzelnen Lernenden (derzeit: Reihenfolge der Empfehlungen). Durch Lernerfolgskontrollen, die für alle Lernenden gleich sind, und deren Ergebnisse ausschlaggebend für Lernempfehlungen sind, beugen wir Diskriminierungen vor. Die Befolgung der Lernempfehlungen steht allen Lernenden frei.
• Der Zeitpunkt der Testempfehlung erfolgt unabhängig von den demographischen Daten.

Signalisiert das KI-System deutlich, dass seine soziale Interaktion simuliert ist und es weder zu Gefühlen noch zu Empathie fähig ist?

• Ein Avatar (“Smale”) wird neben der Lernempfehlung dargestellt, um der KI ein Gesicht zu geben. Derzeit ist dies eine Textausgabe (“Hi, ich bin Smale und helfe dir.”) ohne jeglichen Bezug zu möglichen Gefühlen oder Empathie.

Entsteht durch die Nutzung des Systems Schaden oder Angst für den Einzelnen oder für die Gesellschaft?

• Nein. Lernende können frei entscheiden - im Gegensatz zu Prüfungssituationen in Bildungsinstitutionen - , ob sie Tests durchführen. Darüber hinaus haben Lehrkräfte keinen Einblick auf die Leistung der Lernenden.
• Wir nehmen daher nicht an, dass die Nutzung unseres SmaLeTax-Systems zu Angst oder Schaden führt.

Gibt es Mechanismen, mit denen sichergestellt wird, dass sensible Daten anonym bleiben? Gibt es Verfahren, mit denen der Datenzugang auf die Personen beschränkt werden kann, die ihn benötigen?

• Bei Moodle liegen die demographischen Daten und der Name (Klarname und Username) in derselben Datenbank, aber in unterschiedlichen Tabellen. Die KI identifiziert Nutzer*innen ausschließlich per User ID, also anonymisiert, aber zuordenbar (bei Zugriff auf die Moodle Datenbank).

• Die Daten sind ausschließlich für Mitarbeitende von neusta ai zugänglich, die Zugang zu den Daten benötigen, um diese für learning analytics einzusetzen (siehe nächste Frage).

• Trainer*innen, die innerhalb der SmaLeTax-Plattform Kursinhalte verwalten, haben Zugriff auf die demographischen Daten der Lernenden, nicht aber auf das Nutzerverhalten.

• Deine Daten liegen auf einem Server in Deutschland, auf den nur Mitarbeitende von neusta ai Zugriff haben, die diesen benötigen. Wir stellen durch die Umsetzung aller State-of-the-Art Maßnahmen (z.B. 2FA, SSH Keys, Firewalls, …), sicher, dass Dritte keinen Zugriff auf deine Daten erlangen. Die physische Sicherheit der Server wird durch die Firma Hetzner garantiert. Durch gründliches Monitoring stellen wir sicher, dass illegitimer Zugriff erkannt und unterbunden wird.
  

• Deine Daten werden ausschließlich für die learning analytics in SmaLeTax genutzt mit dem Ziel die Lerninhalte bzw. deren Reihenfolge an die individuellen Bedürfnisse des Kursteilnehmers anzupassen, um so das Lernerlebnis und Lernergebnis personenspezifisch zu optimieren. Empfehlungen werden basierend auf der Auswertung der bisherigen Bearbeitung und dem Abschneiden des Teilnehmers in Test gegeben.
  

FAQ | Ist es möglich, die Privatsphäre- und Dateneinstellungen anzupassen?

• Bei der Nutzung der SmaLeTax-Plattform sind folgende Daten verpflichtend anzugeben: Anmeldename, Vorname, Nachname, E-Mail-Adresse (Sichtbarkeit einschränkbar), demographische Daten, Vorkenntnisse. Bis auf den Anmeldenamen können Nutzer*innen alles davon jederzeit ändern.

FAQ | Steht das KI-System im Einklang mit der Datenschutz-Grundverordnung?

• Ja. Daten, die durch die Nutzung auf der Moodle-Plattform gespeichert werden, erlauben keinen Rückschluss auf Ihre Person. Daten, die wir durch Ihre Nutzung der Plattform speichern, nutzen wir ausschließlich, um sie statistisch auszuwerten und gegebenenfalls unser KI-System zu optimieren. Datenschutz und Datensicherheit ist ein wichtiges Anliegen für uns. Unsere Datenschutzerklärung können Sie hier (Link zur Erklärung) nachlesen.

Gibt es ausreichende Sicherheitsvorkehrungen zum Schutz vor Datenverletzungen?

• Ja. Zugriff nur mit SSH-Keys und Starken Passwörtern (Passwort Policy), zweiter Faktor, Strenge Firewall Regeln bzw. Zugriffbeschränkung durch Firewalls, State-of-the-art Server Sicherheitskonfiguration. Ständiges Refinement und Anpassung an aktuelle Bedrohungen.

Lässt sich mit einer Strategie zur Überwachung und Erprobung überprüfen, ob das KI-System die Ziele, Zwecke und vorgesehenen Anwendungen erfüllt?

• Wer den Lernempfehlungen folgt, sollte schneller den gewünschten Kompetenzstand erreichen.

• Die Ergebnisse des KI-Systems werden regelmäßig von neusta ai Mitarbeitenden überwacht, angepasst und verbessert.
• Mit den Ergebnissen verbessern wir das Empfehlungssystem und ermöglichen so noch effizienteres Lernen.