Digitale Gesellschaft will automatisierte Entscheidungssysteme regulieren

Systeme für automatisierte Entscheidungen (auch Automated Decision Making, ADM genannt) sind in unserem Alltag angekommen. Die Digitale Gesellschaft zählt in einer Mitteilung diverse Einsatzgebiete von ADM-Systemen auf: Die Algorithmen sozialer Medien und der Newsportale entscheiden beispielsweise, welche Nachrichten wir sehen – und welche verborgen bleiben. Risikobewertungen haben einen Einfluss darauf, ob und zu welchen Konditionen wir Kredite und Versicherungsleistungen bekommen – oder gar nicht erst angeboten erhalten. Die Vorhersagen eines Predictive-Policing-Systems entscheiden, wo Polizeistreifen patrouillieren – und wo nicht.

Doch ADM-Systeme sind keineswegs frei von Fehlern und Schwächen. So wurde etwa im vergangenen Sommer bekannt, dass der Algorithmus des sozialen Netzwerks Facebook schwarze Menschen mit Affen verwechselt. Und ein ETH-Student zeigte auf, dass der Twitter-Algorithmus zu Diskriminierung neigt. Die Digitale Gesellschaft spricht in diesem Zusammenhang von einer algorithmischen Verzerrung ("Bias"), welche bestimmte Personen oder Gruppen benachteiligt oder bevorzugt. ADM könne aber auch die Entwicklungschancen von Individuen beeinträchtigen und Grundrechte verletzen. Kurz: es drohen Diskriminierung sowie systematische Benachteiligung. Und es gibt Manipulationspotential, aber auch erheblichen möglichen Nutzen."

In der Europäischen Union laufen bereits Bemühungen, die Anwendung von künstlicher Intelligenz (KI) zu regulieren. Nun schlägt die Digitale Gesellschaft auch einen rechtlichen Rahmen für ADM-Systeme vor. Dieser beruht auf einer Mischform zwischen einem schaden- und risikobasiertem Ansatz, schreibt der Verein in einer Mitteilung.

Demnach richten sich die Regeln nach dem vom System ausgehenden Risiko für Einzelpersonen sowie für die Gesellschaft. So gelten für Systemen mit "tiefem Risiko" keine weiteren Einschränkungen. Der Einsatz von Systemen mit "inakzeptablem Risiko" hingegen ist absolut verboten. Dazwischen finden sich die Systeme mit "hohem Risiko", für die Transparenz- und Sorgfaltspflichten gelten.

Der von der Digitalen Gesellschaft präsentierte rechtliche Rahmen unterscheidet zwischen ADM-Systemen in der Privatwirtschaft und solchen in Erfüllung öffentlich-rechtlicher Aufgaben. Für beide ist ein Beschwerde- respektive Klagerecht für betroffene Individuen sowie für die neu zu schaffende ADM-Aufsicht und für berechtige NGO vorgesehen, um die korrekte Risiko-Klassifizierung und die Durchsetzung der damit verbundenen Pflichten zu garantieren. Bei einem ADM-System, dessen genaue Funktionsweise dem Geschäftsgeheimnis unterliegt, soll eine Beweislastumkehr gelten. Für Systeme in Erfüllung eines öffentlich-rechtlichen Auftrags ist hingegen eine weitgehende Veröffentlichung der Systeme und Daten vorgesehen.

Der Vorschlag sei technologieneutral und folge einem "human-centered" Ansatz, erklärt die Digitale Gesellschaft weiter: ADM-Systeme sollen dem Menschen nützen. Es soll dem Menschen durch den Einsatz von ADM-Systemen besser gehen. Um Innovation nicht zu verhindern, setzt der Vorschlag auf Selbstdeklaration, statt die Unternehmen und die Verwaltung mit bürokratischen Prüfprozessen zu belasten. Die Regulierung soll sicherstellen, dass Nutzen und Risiken in einem guten Verhältnis zueinander stehen.

Das vollständige Positionspapier und der Vorschlag des gesetzlichen Rahmens können bei der Digitalen Gesellschaft als PDF heruntergeladen werden.