Update: OpenAI macht sein Sicherheitskomitee etwas unabhängiger

Update vom 17.09.2024: OpenAI feilt weiter an seinen Sicherheitsgremien. Das Unternehmen macht aus dem im Frühling 2024 gegründeten Safety and Security Committee "ein unabhängiges Aufsichtsgremium des Vorstandes", wie es im Firmenblog heisst. Demnach leitet Zico Kolter, Direktor der Abteilung für maschinelles Lernen an der School of Computer Science der Carnegie Mellon University, die Gruppe. Weitere Mitglieder seien Adam D'Angelo, Mitbegründer und CEO von Quora, der pensionierte US Army General Paul Nakasone und Nicole Seligman, ehemalige EVP und General Counsel von Sony. Das Gremium soll unter anderem die Sicherheitsverfahren für die Entwicklung und den Einsatz der KI-Modelle von OpenAI überwachen.

Das Komitee sei berechtigt, die öffentliche Freigabe neuer Modelle aufzuschieben, bis Bedenken zur Sicherheit ausgeräumt seien, versichert OpenAI. "the Verge" merkt an, dass die Mitglieder des Komitees auch Mitglieder des erweiterten Vorstandes sind. Es sei somit unklar, wie unabhängig der Ausschuss tatsächlich sei.

Die neuerlichen Anpassungen des Sicherheitsgremiums erfolgen laut dem ChatGPT-Hersteller aufgrund der vom ursprünglich einberufenen Komitee ausgesprochenen Empfehlungen. Im Blogbeitrag zählt OpenAI noch vier weitere Massnahmen im Bereich der Sicherheit auf. Dazu gehören mehr Investitionen und mehr Mitarbeitende im Bereich Cybersecurity, Zusammenarbeit mit externen Sicherheitsprüfern und ein unternehmensweit vereinheitlichtes Sicherheitsframework zur Entwicklung und Überwachung von KI-Modellen.

Update vom 29.05.2024:

OpenAI beruft neues Sicherheitskomitee

OpenAI passt seine Massnahmen für die sichere KI-Entwicklung an. Neu gründet der KI-Entwickler das "Safety and Security Committee", wie es im Firmenblog heisst. Das Komitee solle Empfehlungen zu kritischen Sicherheitsentscheidungen für alle OpenAI-Projekte abgeben. Eine erste Aufgabe des Ausschusses sei es, "die Prozesse und Sicherheitsvorkehrungen von OpenAI zu bewerten und weiterzuentwickeln". Innerhalb von 90 Tagen soll das Team zuhanden des Vorstandes entsprechende Empfehlungen ausarbeiten.

Geleitet wird das Komitee von Bret Taylor (Chair), Adam D’Angelo, Nicole Seligman, sowie Sam Altman (CEO). Auch die übrigen Mitglieder kommen allesamt aus OpenAIs eigenen Reihen, stellt etwa "Techcrunch" fest. Diese Entscheidung kommt nicht überall gut an. Gegenüber dem "Economist" etwa äussern sich Helen Toner und Tasha McCauley kritisch. Die beiden sassen im OpenAI-Verwaltungsrat, verliessen das Gremium aber in Zusammenhang mit den Querelen um Sam Altman’s CEO-Posten. KI-Unternehmen dürften sich nicht selbst regulieren, heisst es im Artikel. "Aufgrund unserer Erfahrung sind wir der Meinung, dass die Selbstverwaltung dem Druck von Gewinnanreizen nicht zuverlässig standhalten kann. Angesichts des enormen Potenzials der KI für positive und negative Auswirkungen reicht es nicht aus, davon auszugehen, dass solche Anreize immer mit dem Gemeinwohl in Einklang stehen", warnen die früheren Verwaltungsräte.

Bereits Mitte Mai löste OpenAI ein bis dato für Sicherheitsfragen zuständiges Gremium auf. Das Unternehmen hatte das "Superalignment Team" im Sommer 2023 gegründet. Seine Aufgabe war die Kontrolle und Steuerung "wissenschaftlicher und technischer Durchbrüche von KI-Systemen, die viel intelligenter sind als wir", wie OpenAI damals schrieb. Doch die im Team mitarbeitenden externen Sicherheitsexperten verliessen die Gruppe schliesslich und beklagten, ihnen seien Steine in den Weg gelegt worden und man habe ihnen die für ihre Arbeit benötigte Rechenleistung verwehrt, wie "Heise" zusammenfasst.

Originalmeldung vom 21.12.2023:

Wie OpenAI für sichere KI sorgen will

In einem neuen Dokument geht das Unternehmen OpenAI der Frage nach, wie es künstliche Intelligenz (KI) sicher entwickeln und einsetzen kann. Das "Preparedness Framework" (PDF) werde stetig weiter entwickelt und enthalte die neusten Erkenntnisse zur praktischen Umsetzung, heisst es in der Einleitung. Die dort formulierte Grundthese lautet: "Ein robuster Ansatz für die Sicherheit von KI-Katastrophenrisiken erfordert proaktive, wissenschaftlich fundierte Entscheidungen darüber, wann und wie es sicher ist, mit der Entwicklung und dem Einsatz fortzufahren."

Fünf Schlüsselkomponenten

Die wissenschaftliche Untersuchung der von KI ausgehenden, katastrophalen Risiken liege weit hinter dem zurück, was es brauche, findet OpenAI. Mit dem Framework wolle man in die Bresche springen.

In der aktuellen Version definiert OpenAI fünf Schlüsselkomponenten:

1. Verfolgung des Katastrophenrisikos: Hier setzt OpenAI auf Evaluationen und Monitoring.

2. Aufspüren von Unbekanntem: OpenAI will noch nicht identifizierte Sicherheitsrisiken mittels kontinuierlichem Überwachen erkennen, sobald diese auftauchen.

3. Festlegung von Sicherheitsrichtlinien: Nur KI-Modelle, deren Risiken OpenAI als "mittel" oder tiefer einstuft, will das Unternehmen weiter entwickeln. Für als riskanter bewertete Modelle treten strengere Sicherheitsvorschriften in Kraft.

4. Preparedness-Team: Dieses entwickelt das Framework weiter. Es untersucht, evaluiert und überwacht und beurteilt die Risiken.

5. Safety Advisory Group (SAG: Das funktionsübergreifende Beratungsgremium unterstützt die Unternehmensleitung bei sicherheitsrelevanten Fragen und Entscheidungen. Die Entscheidungen an sich fälle die OpenAI-Geschäftsleitung, heisst es weiter. Allerdings habe der Verwaltungsrat die Möglichkeit, diese Entscheide zu überstimmen.

Das Framework stelle nur einen Teil seiner Bemühungen um Sicherheit dar, schreibt das Unternehmen hinter ChatGPT und zählt eine Reihe weiterer Punkte auf. Dazu gehören Massnahmen gegen verzerrte oder halluzinierte Informationen der KI oder gegen deren Missbrauch.

OpenAI präsentiert sein Sicherheitskonzept wenige Wochen nach einem turbulenten Wechsel in der Führungsetage. Mehr zu den möglichen Hintergründen erfahren Sie hier.

Einen Leitfaden, wie Verwaltungen ChatGPT und Co. sicher einsetzen können, finden Sie in diesem Fachbeitrag.