Fairness-Optionen beim Werkzeug "Mit AutoML trainieren"

Zu Beginn der Entwicklung der künstlichen Intelligenz (KI) wurde dem Potenzial für Verzerrungen und Diskriminierung nicht viel Beachtung geschenkt. Der Fokus lag hauptsächlich auf Accuracy und Effizienz. Dies führte zu Situationen, in denen Gruppen durch KI-Algorithmen benachteiligt wurden. Kritiker haben beispielsweise darauf hingewiesen, dass die Gesichtserkennung bei Menschen mit dunklerer Hautfarbe weniger genau ist. Als die Benachteiligung durch KI-Algorithmen bekannter wurde, kamen Bedenken hinsichtlich der Fairness der KI auf. In der Folge wurden Anstrengungen unternommen, Verzerrungen zu erkennen und diese zu reduzieren, was zu mehr Fairness in der KI führt.

Fairness in der KI bedeutet, dass KI-Systeme so entwickelt und implementiert werden, dass sie unverzerrte Entscheidungen treffen und dabei alle gleich behandeln, ohne jemanden aufgrund seiner Hautfarbe, seines Geschlechts, seines Alters oder seines sozioökonomischen Status zu diskriminieren. Es geht darum, Verzerrungen zu reduzieren und sicherzustellen, dass KI-Systeme bestimmte Gruppen nicht benachteiligen. Dadurch, dass die Fairness in der KI in den Fokus rückt, erhöht sich das Vertrauen in diese Technologien. Gleichzeitig verringert sich die Gefahr von Nachteilen oder negativen Auswirkungen auf benachteiligte Bevölkerungsgruppen.

Beim maschinellen Lernen geht es in puncto Fairness darum, Daten so zu analysieren und Modelle so zu entwickeln, dass geschützte Gruppen weder bevorzugt noch benachteiligt werden. Ziel ist es, dafür zu sorgen, dass in dem Dataset, das zum Trainieren von ML-Modellen verwendet wird, alle Gruppen gleich stark vertreten sind. Mit diesem Konzept soll verhindert werden, dass Verzerrungen aus der Vergangenheit aktuelle Vorhersagen beeinflussen. Dabei wird Wert darauf gelegt, dass bei der Entwicklung und Anwendung von Modellen benachteiligte oder ausgegrenzte Gruppen entsprechend berücksichtigt werden.

Wenn beispielsweise Annahmen zu bestimmten Stadtteilen oder Gemeinden auf Verzerrungen beruhen, kann dies zu einer ungleichen Verteilung von Ressourcen wie Parkanlagen, Schulen oder öffentlichen Verkehrsmitteln führen. So können Personen, die in einkommensschwachen Gebieten leben, durch Modelle zur Prüfung der Kreditwürdigkeit, die sich auf Postleitzahlen stützen, unabhängig von ihrer Bonität benachteiligt werden. Historische Diskriminierungsmuster können fortbestehen, wenn ML-Modelle anhand von Datasets trainiert werden, die auf diskriminierenden Praktiken wie Redlining oder Racial Profiling aus der Vergangenheit beruhen. Um diese Missstände zu beseitigen und zur Förderung der Fairness werden derzeit Anstrengungen unternommen, ML-Werkzeuge durch Erkennen und Reduzieren von Verzerrungen im Hinblick auf geschützte Gruppen zu verbessern.

Ungerechtigkeiten können unterschiedliche Ursachen haben, z. B. verzerrte Datasets, unterschiedliche Datenquellen oder Zeitpunkt der Datenerfassung, mangelndes Fachwissen, unterschiedliche Datenverarbeitungsverfahren und -formate, fehlerhafte Algorithmen und ungleicher Zugang zu Ressourcen. Wenn diese potenziellen Ursachen für Ungerechtigkeiten erkannt werden und aktiv daran gearbeitet wird, diesen durch verbesserte Methoden und ethische Überlegungen in KI-Entwicklungsprozessen entgegenzuwirken, lassen sich gerechtere Ergebnisse erzielen und die negativen Auswirkungen von Verzerrungen in ML-Systemen reduzieren.

Werkzeug "Mit AutoML trainieren"

Das Werkzeug Mit AutoML trainieren verwendet AutoML-Werkzeuge und -Verfahren (automatisiertes maschinelles Lernen), bei denen kaum manuelles Eingreifen erforderlich ist. Durch die Automatisierung vieler Tasks, die mit dem Erstellen eines Modells verbunden sind, können mit AutoML anhand der Trainingsdaten äußerst genaue Modelle erstellt werden. Eine Möglichkeit, wie die Fairness mit AutoML gefördert werden kann, besteht darin, Kennwerte für die Fairness und die Reduzierung von Verzerrungen in den Modellerstellungsprozess einzubinden. Die AutoML-Werkzeuge in der Toolbox "GeoAI" sind für Accuracy und Fairness optimiert, sodass sichergestellt ist, dass das resultierende Modell nicht nur genau ist, sondern auch keine Verzerrungen oder Diskriminierungen im Hinblick auf geschützte Gruppen aufweist.

Zur Berücksichtigung von Fairness beim maschinellen Lernen enthält das Werkzeug Mit AutoML trainieren die Parameter Attribute sensibler Features und Fairness-Kennwert.

Der Parameter Attribute sensibler Features enthält die folgenden Spalten:

• Sensible Features: Verzerrte oder sensible Attribute im Dataset, die bei ML-Modellen zu Ungerechtigkeiten führen können. Beispiele für Attribute dieser Art sind Hautfarbe, Geschlecht oder sozioökonomischer Status. Wenn beim Trainieren des Modells diese sensiblen Features ausgewählt werden, können die damit verbundenen Verzerrungen reduziert werden, sodass sich ein weniger stark verzerrtes Modell ergibt. Das Werkzeug bewertet und verbessert die Fairness jedes einzelnen Attributs.
• Benachteiligte Gruppen: Für jedes angegebene Attribut können benachteiligte Gruppen definiert und angegeben werden. Diese Gruppen stellen die diskriminierten Gruppen in Bezug auf das angegebene sensible Feature dar. Wenn beispielsweise das Geschlecht das sensible Feature ist, können Frauen als benachteiligte Gruppe markiert werden. Gleiches gilt für die Hautfarbe. Afroamerikaner könnten als benachteiligte Gruppe betrachtet werden. Wenn der sozioökonomische Status als sensibles Feature angegeben wird, können Menschen aus einkommensschwachen Schichten als benachteiligte Gruppen ausgewiesen werden.

Der Parameter Fairness-Kennwert bietet verschiedene Optionen. Dabei hängt die Wahl des Kennwertes von der Art des zu behandelnden Problems ab. Verwenden Sie bei Klassifizierungsproblemen die Optionen Equalized odds difference, Demographic parity difference, Equalized odds ratio oder Demographic rarity ratio. Verwenden Sie bei Problemen, die auf der Regression basieren, die Option Group loss ratio. Der Fairness-Kennwert spielt eine wichtige Rolle bei der vom Werkzeug durchgeführten Rastersuche. Dabei werden verschiedene Kombinationen von Modellparametern bewertet und das fairste Modell ermittelt, je nachdem, wie gut das Modell dem angegebenen Fairness-Kennwert entspricht.

Dadurch, dass in AutoML Fairness unterstützt wird, kann die Fairness der trainierten Modelle für Tabellendaten mithilfe von maschinellem Lernen bewertet und verbessert werden. Zudem ist dadurch eine faire Bewertung und Verzerrungsreduzierung für Klassifizierungs- und Regressionsmodelle mithilfe geeigneter vordefinierter Fairness-Kennwerte für den jeweiligen Modelltyp möglich. Die Kennwerte sind wie folgt kategorisiert:

Fairness-Kennwerte für Klassifizierungsmodelle

Bei der Klassifizierung geht es darum, Eingabedatenpunkte zu vordefinierten Kategorien oder Klassen zuzuweisen. Dazu gehört das Training eines Modells mithilfe von beschrifteten Beispielen, wobei jedes Beispiel mit einer bestimmten Klassenbeschriftung verknüpft wird. Das Modell lernt Muster und Beziehungen in den Daten, um für neue, unbekannte Fälle Vorhersagen zu treffen. Klassifizierungsprobleme können binär (zwei Klassen) oder mehrklassig (mehr als zwei Klassen) auftreten. Beispiele für Klassifizierungs-Tasks sind die Erkennung von Spam-E-Mails, die Bilderkennung, die Stimmungsanalyse und die Diagnose von Krankheiten.

Im Parameter Fairness-Kennwert sind die folgenden Kennwerte zum Messen der Fairness bei Klassifizierungsproblemen verfügbar:

• Equalized odds difference: Quantifiziert die Disparität bei True-Positive- und False-Positive-Raten zwischen verschiedenen Gruppen wie etwa bei Gruppen nach Hautfarbe oder Geschlecht. Damit wird die höhere dieser Differenzen berechnet, um den Gesamtwert für "Equalized odds difference" zu bestimmen. Dieser Kennwert beträgt im Idealfall 0, was bedeutet, dass die Gruppen die gleichen True-Positive-, True-Negative-, False-Positive- und False-Negative-Raten aufweisen. Der Fairness-Bereich für diesen Kennwert liegt zwischen 0 und 0,25. Indem ein Wert für "Equalized odds difference" erreicht wird, der in diesem Bereich liegt, wird sichergestellt, dass sich die True- und False-Positive-Raten der Gruppen um nicht mehr als 25 Prozent unterscheiden. Dadurch wird eine Benachteiligung bestimmter Gruppen aufgrund von sensiblen Features wie Hautfarbe oder Geschlecht verhindert. Verwenden Sie diesen Kennwert, um die Disparität bei True-Positive- und False-Positive-Raten zwischen verschiedenen Gruppen zu berechnen.
• Demographic parity difference: Bewertet die Disparität bei Auswahlraten zwischen verschiedenen Personengruppen. Die Auswahlrate entspricht dem Anteil der Personen, die vom Modell als positiv klassifiziert werden. Dieser Kennwert beträgt im Idealfall 0, was bedeutet, dass die Gruppen die gleichen Auswahlraten aufweisen. Das bedeutet, dass alle Gruppen gleich behandelt werden und ähnliche Chancen haben, vom Modell als positiv klassifiziert zu werden. Der Fairness-Bereich für diesen Kennwert liegt zwischen 0 und 0,25, was bedeutet, dass sich die Auswahlraten der einzelnen Gruppen um nicht mehr als 25 Prozent unterscheiden sollten.
• Equalized odds ratio: Ähnlich wie mit dem Kennwert Equalized odds difference wird mit diesem Kennwert nicht die Differenz, sondern das Verhältnis von True-Positive- und False-Positive-Raten zwischen Gruppen berechnet. Der kleinere Wert aus dem Verhältnis von True-Positive- und False-Positive-Raten entspricht dem Wert für "Equalized odds ratio". Dieser Kennwert beträgt im Idealfall 1, was bedeutet, dass die True- und False-Positive-Raten für verschiedene Gruppen gleich sind. Fairness liegt vor, wenn dieser Kennwert zwischen 0,8 und 1 liegt. Ein Wert nahe 1 bedeutet, dass sich die Performance des Modells (True-Positive-Rate und False-Positive-Rate) zwischen den sensiblen Gruppen für die einzelnen sensiblen Features kaum oder gar nicht unterscheidet.
• Demographic parity ratio: Ähnlich wie mit dem Kennwert Demographic parity difference wird mit diesem Kennwert nicht die Differenz, sondern das Verhältnis der Auswahlraten zwischen Gruppen berechnet. Dieser Kennwert lautet im Idealfall 1. In diesem Fall weisen die unterschiedlichen Gruppen die gleichen Auswahlraten auf. Fairness liegt vor, wenn dieser Kennwert zwischen 0,8 und 1 liegt. Ein Wert nahe 1 bedeutet, dass sich die Performance des Modells zwischen den sensiblen Gruppen für die einzelnen sensiblen Features kaum oder gar nicht unterscheidet.

Die Fairness-Bereiche für die einzelnen Kennwerte sind recht willkürlich und hängen vom jeweiligen Kontext ab, in dem das Modell verwendet wird. Allgemein gelten kleinere Unterschiede oder größere Verhältniswerte zwischen Gruppen als gerechter. Bei der Bewertung der Fairness müssen jedoch auch andere Faktoren berücksichtigt werden wie etwa die Auswirkungen des Modells auf diverse Gruppen und die Accuracy des Modells insgesamt.

Welcher Fairness-Kennwert verwendet werden soll, hängt vom jeweiligen Kontext und der jeweiligen Anwendung von ML-Modellen ab. Jeder Kennwert hat bestimmte Stärken und Schwächen, und je nach den Zielen des Modells und den potenziellen Quellen für Verzerrungen ist ein Kennwert besser geeignet als ein anderer. Wenn beispielsweise ein Modell verwendet wird, bei dem False-Positive-Raten schwerwiegende Folgen haben können, kann mit der Option Equalized odds ratio möglicherweise besser sichergestellt werden, dass verschiedene Gruppen durch False-Positive-Raten nicht unverhältnismäßig benachteiligt werden.

Zudem kann das Fairness-Modell sowohl bei binären Klassifizierungsproblemen als auch bei Mehrklassen-Klassifizierungsproblemen verwendet werden. Welcher Typ von Klassifizierungsproblem berechnet wird, richtet sich nach der Anzahl der Einzelwerte in der Zielvariablen und dem Datentyp des Ziels.

Wenn die Zielvariable nur 2 Einzelwerte enthält, führt das Werkzeug eine binäre Klassifizierung durch. Wenn die Anzahl der Einzelwerte zwischen 2 und 20 (einschließlich) beträgt, führt das Werkzeug für die Datentypen "Integer", "Float" und "String" eine Mehrklassen-Klassifizierung durch. Bei mehr als 20 Einzelwerten führt das Werkzeug für die Datentypen "Integer" und "Float" eine Mehrklassen-Klassifizierung durch. Bei mehr als 20 Einzelwerten führt das Werkzeug für die Datentypen "Integer" und "Float" eine Regressionsanalyse für das Dataset durch.

Fairness-Kennwerte für Regressionsmodelle

Ziel der Regression ist die Vorhersage kontinuierlicher numerischer Werte auf der Grundlage von Eingabe-Features. Bei der Regression wird die Beziehung zwischen unabhängigen Variablen (Eingabe-Features) und abhängigen Variablen (Ausgabewerten) modelliert. Regressionsmodelle lernen anhand von beschrifteten Trainingsdaten, um die zugrunde liegende Funktion zu schätzen, die den bereitgestellten Eingaben und Ausgaben am besten entsprechen. Zu den Regressionsproblemen gehören die Vorhersage von Immobilienpreisen und Börsentrends, Temperaturvorhersagen und Umsatzprognosen. Im Rahmen der Fairness-Bewertung bei Regressionsproblemen verwenden Sie den Kennwert Group loss ratio für den Parameter Fairness-Kennwert.

Mit dem Kennwert Group loss ratio wird die Fairness bewertet, indem die Verluste oder Fehler von Modellvorhersagen in diversen Gruppen oder Untergruppen untersucht werden. Damit wird das Verhältnis des durchschnittlichen Verlusts oder Fehlers zwischen einer Untergruppe und einer anderen berechnet und ein relatives Maß für die Disparität bei den Verlusten zwischen verschiedenen Gruppen bereitgestellt. Der Wert 1 bedeutet, dass die Verluste zwischen Gruppen gleich sind, und Werte größer oder kleiner als 1 geben relative Disparitäten an. Wenn Verzerrungen in Modellvorhersagen durch diese Kennwerte erkannt werden, können entsprechende Maßnahmen ergriffen werden, um Fairness-Probleme bei AutoML-Trainingsprozessen zu beseitigen.

Weiterentwicklung eines ML-Modells zu einem gerechten Modell

Der Prozess der Weiterentwicklung eines ML-Modells zu einem gerechten Modell beginnt ähnlich wie das Training eines Regressions- oder Klassifizierungsmodells mit dem Werkzeug Mit AutoML trainieren. Gehen Sie wie folgt vor, um ein ML-Modell zu optimieren und gerecht zu gestalten:

1. Trainieren Sie mit dem Werkzeug Mit AutoML trainieren ein ML-Grundmodell.
2. Nachdem Sie das Grundmodell trainiert haben, ermitteln Sie alle sensiblen Features, die zu Ungerechtigkeiten führen können. Entnehmen Sie dem Ausgabebericht des trainierten Grundmodells, welche signifikanten Features (SHAP-Wichtigkeit) die größten Auswirkungen auf die Modellausgaben haben. Wenn eines dieser ermittelten sensiblen Features auch in der Liste der signifikanten Features aufgeführt ist, sollte es für die weitere Bewertung als sensibles Feature betrachtet werden. Dadurch wird sichergestellt, dass das sensible Feature einen erheblichen Beitrag zu Modellvorhersagen leistet. Wenn bestimmte sensible Features weniger wichtig sind und weniger zu den Modellausgaben beitragen, können sie von der Fairness-Bewertung ausgeschlossen werden.

   

3. Nachdem Sie sensible Features ermittelt und ggf. benachteiligte Gruppen ausgewählt haben, geben Sie für den Parameter Fairness-Kennwert einen für den jeweiligen Problemtyp (Klassifizierung oder Regression) geeigneten Wert an.
4. Trainieren Sie das Modell mit einem angegebenen Wert für den Parameter Attribute sensibler Features.

   Das Werkzeug gibt daraufhin ein optimiertes ML-Modell aus. Das Werkzeug mit der besten Performance liegt im DLPK-Format vor und kann mit dem Werkzeug Mit AutoML vorhersagen verwendet werden.

5. Bewerten Sie die Fairness des Modells.

   Bei der Reduzierung von Verzerrungen wird eine Rastersuche durchgeführt, um das fairste Modell ausschließlich anhand von benutzerdefinierten Fairness-Kennwerten zu ermitteln. AutoML wählt das Modell aus, dessen Fairness-Kennwert über dem Schwellenwert liegt und das den niedrigsten Logloss-Wert aufweist. Logloss, auch als logarithmischer Verlust, logistischer Verlust und Kreuzentropie-Verlust bezeichnet, gibt an, wie nahe eine Vorhersagewahrscheinlichkeit am tatsächlichen oder entsprechenden True-Wert liegt. Wenn kein Modell einen Fairness-Kennwert aufweist, der über dem Schwellenwert liegt, speichert AutoML das Modell mit dem niedrigsten Logloss-Wert als bestes Modell. In diesem Fall wird im Bericht angegeben, dass das Werkzeug kein faires Modell ermittelt hat.

6. Wenn Sie nach dem Ausführen des Werkzeugs einen umfassenden Analysebericht zur Modell-Fairness erhalten möchten, klicken Sie auf die Option Details anzeigen am unteren Rand des Bereichs Geoverarbeitung und auf der Registerkarte Parameter auf Ausgabebericht.

Interpretation des Fairness-Berichts

In den folgenden Abschnitten wird beschrieben, wie der Fairness-Bericht interpretiert wird.

Klassifizierungsmodelle

In den folgenden Abschnitten wird beschrieben wie der mit dem Werkzeug Mit AutoML trainieren generierten HTML-Ausgabebericht für Klassifizierungsmodelle interpretiert wird.

AutoML-Bestenliste

Auf der Hauptseite des Berichts wird die AutoML-Bestenliste angezeigt. Sie enthält die Kennwerttabelle, verschiedene Performance-Diagramme und ein Spearman-Korrelationsdiagramm für die Modelle.

• Kennwerttabelle: Hier werden mit dem Dataset trainierte Modelle mit Modellname, Modelltyp, Kennwert und Trainingszeit in Sekunden sowie das beste Modell angezeigt. Diese Informationen werden auch in den Ergebnissen des Werkzeugs angezeigt. Dort wird das beste Modell in der ersten Spalte angegeben.
• Performance-Diagramm: Der Bericht enthält verschiedene Performance-Diagramme. Diese Diagramme liefern Informationen zur Modell-Performance im Hinblick auf verschiedene Kennwerte. Zudem sind Variationen unter den ausgewerteten Modellen hervorgehoben.
  • AutoML-Performance-Diagramm: Dieses Diagramm zeigt, wie der Auswertungsklassifizierungskennwert (Logloss) bei einzelnen Modellen zwischen unterschiedlichen Iterationen variiert. Das Iterationsdiagramm liefert Informationen zur Konsistenz des Modells bei unterschiedlichen Ausführungen des Modells.

    

  • AutoML-Performance-Boxplot-Diagramm: Dieses Boxplot-Diagramm stellt die Variation der Modell-Performance dar. Bei dem Diagramm handelt es sich um eine grafische Repräsentation der Verteilung der Logloss-Werte in den Iterationen für verschiedene von AutoML ausgewertete Modelle. Das Boxplot-Diagramme enthält die folgenden Komponenten:
    • Medianwert: Die Linie in der Box stellt den Logloss-Medianwert für dieses Modell dar.
    • Box: Die Box liefert Informationen dazu, wie weit die Logloss-Werte um den jeweiligen Medianwert verteilt sind.
    • Whiskers: Die Whiskers geben die kleinsten und größten Logloss-Werte für mehrere Iterationen eines Modells an.
    • Ausreißer: Wenn Ausreißer vorhanden sind, werden einzelne Punkte außerhalb der Whiskers als Ausreißer betrachtet. Hierbei handelt es sich um Datenpunkte mit ungewöhnlich hohen oder niedrigen Logloss-Werten im Vergleich zu anderen Werten.

    Das folgende Diagramm zeigt, dass das beste Modell das XGBoost-Modell mit dem niedrigsten Logloss-Wert ist. Das Diagramm zeigt auch die vergleichsweise weite Variation der Logloss-Werte des Random-Trees-Modells.

    

  • AutoML-Performance-Diagramm und Fairness-Kennwert-Diagramm im Vergleich: Diese Diagramme werden in der Klassifizierung auch als Logloss- bzw. Fairness-Kennwert-Diagramme bezeichnet. Diese Diagramme spielen insbesondere bei der Bewertung der Fairness eine wichtige Rolle. Mit den Diagrammen wird die Fairness eines Modells bewertet, indem korreliert wird, inwiefern die Modell-Performance (Logloss) ausgewählten Fairness-Kennwerten entspricht. Das folgende Diagramm zeigt beispielsweise, welche Beziehung zwischen Logloss-Wert und DPR-Wert (Demographic parity ratio) für ein sensibles Feature wie etwa das Geschlecht besteht. Die X-Achse stellt Logloss-Werte dar, wobei niedrigere Werte für eine bessere Modell-Performance stehen. Die Y-Achse stellt den DPR-Wert dar, der in der Regel als Verhältnis oder Prozentsatz angegeben wird. Bei einem fairen Modell sollte der DPR-Wert größer als 0,8 sein. Der grüne Bereich in diesen Diagrammen zeigt, dass XGBoost diesem Kriterium für das geschlechtersensible Feature entspricht, und hebt mögliche Kompromisse zwischen Accuracy und Fairness hervor.

    

  • Spearman-Korrelationsdiagramm: Dieses Diagramm wird für alle bewerteten Modelle erstellt. Modelle, zwischen denen eine engere Beziehung besteht, sind in dunkleren Blautönen dargestellt.

Ausgabeberichte

Wenn Sie ausführliche Informationen zum besten Modell (oder zu einem anderen Modell) anzeigen möchten, klicken Sie auf den Namen des Modells, das in der Kennwerttabelle des Modells als bestes Modell angegeben ist. Wenn Sie auf den Namen klicken, wird eine dedizierte Berichtsseite mit umfassenden und ausführlichen Informationen zum jeweiligen Modell angezeigt. Diese Berichtsseite enthält eine ausführliche Analyse der Performance, der Kennwerte, der Feature-Wichtigkeit und anderer Details des Modells. Der Bericht gibt Aufschluss darüber, warum das Modell als bestes Modell ermittelt wurde, und liefert Informationen zu den Stärken und Schwächen des Modells.

Die Modellseite enthält den Modellnamen, Modellparameter, optimierte Kennwerte, Trainingszeit und vieles mehr. Die Tabelle Kennwertdetails enthält die Ergebnisse der Bewertungskennwerte sowie die entsprechenden Schwellenwerte. Diese Kennwerte zeigen, wie gut das Modell bei den verschiedenen Aspekten abschneidet. Zudem können Sie sich anhand der Visualisierungen und Diagramme einen Überblick über die Performance-Eigenschaften des Modells verschaffen. Dazu gehören eine Konfusionsmatrixtabelle und ein Konfusionsmatrixdiagramm, Fairness-Kennwerte für alle sensiblen Features und Zielklassen, Auswahlraten und False-Raten für sensible Features, Lernkurven, das Diagramm einer normalisierten Konfusionsmatrix, die ROC-Kurve (Receiver Operating Characteristic), die PR-Kurve (Precision-Recall), ein Plot zur SHAP-Wichtigkeit und Plots zur SHAP-Abhängigkeit.

Im folgenden Beispiel ist die Tabelle Kennwertdetails mit verschiedenen Bewertungskennwerten mit Ergebnissen und Schwellenwerten dargestellt:

Im folgenden Beispiel ist die Tabelle Konfusionsmatrix für ein Klassifizierungsmodell dargestellt:

Im folgenden Beispiel ist eine Tabelle mit Fairness-Kennwerten für die sensiblen Gruppen dargestellt. Diese Tabelle ist bei der Fairness-Bewertung der Vorhersagen des besten Modells wichtig. Die Tabelle bietet einen umfassenden Überblick über die Bewertungskennwerte für ein bestimmtes sensibles Feature wie das Geschlecht.

Die Spalten in der Tabelle Fairness-Kennwerte für die sensiblen Gruppen können wie folgt interpretiert werden:

• Stichproben: Die Anzahl der Stichproben oder Datenpunkte in den einzelnen sensiblen Gruppen und im Dataset insgesamt, die ausgewertet werden.
• Accuracy: Der Teil der richtigen Vorhersagen, die vom Modell für die jeweilige sensible Klasse getroffen werden, sowie die Vorhersagen insgesamt. Dieser Wert stellt das Verhältnis zwischen richtigen Vorhersagen und der Gesamtzahl der Vorhersagen dar. Ein Wert von 0,8548 für die Accuracy insgesamt bedeutet beispielsweise, dass etwa 85,48 Prozent der Stichproben im Datenset vom Modell richtig vorhergesagt wurden.
• Auswahlrate: Der Teil der Stichproben aus einer bestimmten sensiblen Gruppe, der vom Modell ausgewählt oder als positiv vorhergesagt wurde. Für die Gruppe der Männer bedeutet beispielsweise eine Auswahlrate von 0,1896, dass etwa 18,96 Prozent der männlichen Stichproben vom Modell als positive Ergebnisse vorhergesagt wurden.
• True-Positive-Rate (Sensitivität): Dieser Kennwert gibt an, wie gut positive Fälle vom Modell richtig vorhergesagt werden. Er stellt das Verhältnis zwischen True Positives und der Gesamtzahl der tatsächlich positiven Ergebnisse in einer bestimmten sensiblen Gruppe oder im gesamten Dataset dar. Wenn der Wert für "True-Positive-Rate (Sensitivität)" für die Gruppe der Frauen beispielsweise 0,8087 beträgt, bedeutet das, dass etwa 80,87 Prozent der positiven Ergebnisse unter den Frauen vom Modell richtig erkannt wurden.
• False-Negative-Rate: Dieser Kennwert ergänzt die True-Positive-Rate und berechnet die Anzahl der positiven Fälle, die vom Modell in einer bestimmten sensiblen Gruppe oder im gesamten Dataset fälschlicherweise als negativ vorhergesagt wurden. Dieser Wert ergibt sich, wenn das Modell ein negatives Ergebnis vorhersagt, obwohl das tatsächliche Ergebnis positiv hätte ausfallen müssen. Mit FNR = 1–TPR kann er auch aus der True-Positive-Rate berechnet werden. Für die Gruppe der Frauen würde sich beispielsweise eine False-Negative-Rate von (1–0,8087) = 0,1913 ergeben, was bedeutet, dass etwa 19,13 Prozent der tatsächlich positiven Ergebnisse für Frauen vom Modell fälschlicherweise als negativ klassifiziert wurden.
• False-Positive-Rate: Dieser Kennwert berechnet die Anzahl der tatsächlich negativen Fälle, die vom Modell in einer bestimmten sensiblen Gruppe oder im gesamten Dataset fälschlicherweise als positiv vorhergesagt wurden. Dieser Wert ergibt sich, wenn das Modell ein positives Ergebnis vorhersagt, obwohl das tatsächliche Ergebnis negativ hätte ausfallen müssen. Ein Wert von 0,056 für die False-Positive-Rate im gesamten Dataset bedeutet beispielsweise, dass etwa 5,6 Prozent der tatsächlich negativen Ergebnisse fälschlicherweise als positiv vorhergesagt wurden. Die False-Positive-Rate für die Gruppe der Männer beträgt 0,0408, was bedeutet, dass etwa 4,08 Prozent der tatsächlich negativen Fälle in der Gruppe der Männer vom Modell fälschlicherweise als positiv vorhergesagt wurden.
• True-Negative-Rate (Spezifität): Dieser Kennwert ergänzt die False-Positive-Rate und berechnet den Teil der tatsächlich negativen Fälle, die vom Modell richtigerweise als negativ vorhergesagt wurden. Er stellt das Verhältnis zwischen True Negatives und der Gesamtzahl der tatsächlich negativen Ergebnisse in einer bestimmten sensiblen Gruppe oder im gesamten Dataset dar. Für die Gruppe der Männer wird die True-Negative-Rate beispielsweise mit 0,9592 berechnet, was bedeutet, dass das Modell etwa 95,92 Prozent der negativen Ergebnisse bei Männern richtig vorhergesagt hat.

Durch die Analyse dieser Spalten in Bezug auf verschiedene Gruppen in einem sensiblen Feature können Sie sich anhand verschiedener Bewertungskennwerte zum Thema Fairness einen Überblick über mögliche Disparitäten oder Verzerrungen im Hinblick auf die Performance des besten Modells verschaffen.

Die folgende Tabelle mit Fairness-Kennwerten zeigt, wie das beste Modell Verzerrungen so reduziert, dass Sie die Effektivität beim Erzielen gerechterer Ergebnisse bewerten können. Die Tabelle gibt Aufschluss darüber, inwieweit das Modell Verzerrungen in Bezug auf sensible Features angeht und reduziert. Die Ergebnisse des Kennwertes zeigen die vom besten Modell erzielte Verzerrungsreduzierung auf.

Die Kennwerte können wie folgt interpretiert werden:

• Demographic parity difference: Die Differenz zwischen den Auswahlraten für die Geschlechter beträgt 0,0291. Ein niedrigerer Wert steht für eine geringere Disparität bei den Auswahlraten. In diesem Fall beträgt die Differenz zwischen den Auswahlraten der positiven Ergebnisse zwischen den verschiedenen Geschlechtern 2,91 Prozent und liegt damit unter dem zulässigen Grenzwert von 25 Prozent. Das deutet auf eine geringere potenzielle Verzerrung oder eine weniger ungleiche Behandlung aufgrund des Geschlechts bei den Vorhersagen des Modells hin, was auf ein gerechteres Modell für das sensible Feature des Geschlechts hindeutet.
• Demographic parity ratio: Das Verhältnis der Auswahlraten beträgt nach der Verzerrungsreduzierung (nach dem Training mit Fairness-Parametern) 0,8465. Ein Wert, der näher bei 1 liegt, deutet auf ein besseres Gleichgewicht zwischen den Auswahlraten mit positivem Ergebnis zwischen den Geschlechtern hin.
• Equalized odds difference: Die Differenz zwischen False-Positive- und False-Negative-Raten zwischen den beiden Geschlechtern beträgt nach der Verzerrungsreduzierung 0,2795, was nahezu dem zulässigen Grenzwert von 0,25 entspricht. Dies zeigt, dass das Modell gegenüber Disparitäten bei Vorhersagefehlern zwischen Geschlechtern sensibel ist.
• Equalized odds ratio: Dieser Kennwert stellt das Verhältnis zwischen False-Positive- und False-Negative-Raten nach der Verzerrungsreduzierung dar. Bei einem Wert von 0,5119 besteht Verbesserungsbedarf, um eine gleichmäßige Verteilung der Vorhersagefehler zwischen Geschlechtern zu erzielen, da Werte, die näher bei 1 liegen, auf ausgeglichenere Ergebnisse hindeuten.

Vergleich zwischen Modellen mit und ohne Verzerrungsreduzierung

In der Kennwerttabelle der Modelle ist bei Modellnamen anhand des Suffixes __SampleWeighting zu erkennen, dass beim jeweiligen Modell Verzerrungen reduziert wurden. Tabellen ohne das Suffix stellen die Modellversion ohne Verzerrungsreduzierung dar. Die beiden Tabellen ermöglichen einen direkten Vergleich zwischen Modellen mit und ohne Verzerrungsreduzierung in Bezug auf die jeweilige Performance und Fairness. Sie geben Aufschluss darüber, welche Auswirkungen die Anwendung von Techniken zur Reduzierung von Verzerrungen auf Fairness-Kennwerte haben und helfen bei der Bewertung, ob Anstrengungen zur Reduzierung von Verzerrungen wirken. Durch die Betrachtung beider Versionen eines Modells können Sie sich einen besseren Überblick darüber verschaffen, wie Verzerrungen bekämpft wurden, und die Verbesserungen bewerten, die im Hinblick auf das Erzielen gerechterer Ergebnisse vorgenommen wurden.

Auch wenn das endgültige Modell mit Blick auf die Kennwerte nicht vollkommen gerecht ist, so zeigt es doch Verbesserungen in Bezug auf die Kennwerte "Demographic parity difference" und "Demographic parity ratio" bei geschlechtsbezogenen Vorhersagen. Insgesamt wurden durch wirksame Maßnahmen zur Reduzierung von Verzerrungen, die während des Trainings mit Fairness-Parametern implementiert wurden, erhebliche Fortschritte bei der Entwicklung eines gerechteren Modells für geschlechtersensible Vorhersagen erzielt, da Unterschiede verringert und die Ausgewogenheit der Ergebnisse verbessert wurden. Diese Zusammenfassung zeigt, dass das ausgewählte sensible Feature (Geschlecht) durch die Reduzierung von Verzerrungen und die Verbesserung der Fairness im endgültigen Modell angemessen behandelt wurde.

Auch mit dem Diagramm, in dem die Auswahlrate dargestellt ist, die Fairness des Modells bestätigt. In diesem Kontext bezieht sich die Auswahlrate auf den Teil der Stichproben aus einer bestimmten Gruppe, die das Modell als positiv vorhersagt oder denen das Modell ein bestimmtes Ergebnis zuordnet. Sie gibt an, wie oft das Modell ein bestimmtes Ergebnis für eine bestimmte Gruppe im Vergleich zur Gesamtzahl der Stichproben in dieser Gruppe auswählt oder vorhersagt.

Das obige Diagramm zeigt eine Auswahlrate von 0,1896 für die Gruppe der Männer. Das bedeutet, dass für etwa 18,96 Prozent der als männlich erkannten Stichproben vom Modell vorhergesagt wird, dass sie über ein höheres Einkommen verfügen, oder dass sie vom Modell als positives Ergebnis klassifiziert wurden. Für die Gruppe der Frauen ergibt sich eine Auswahlrate von 0,1605, was bedeutet, dass etwa 16,05 Prozent der als weiblich erkannten Stichproben vom Modell in Bezug auf ein höheres Gehalt oder ähnliche Kriterien mit einem positiven Ergebnis vorhergesagt wurden.

Die Auswahlrate gibt an, wie häufig und konsequent das Modell für verschiedene sensible Gruppen positive Vorhersagen trifft. In diesem Fall gibt es zwar eine gewisse Variation zwischen der Gruppe der Männer und der Gruppe der Frauen, jedoch überschreiten beide Raten den durch Fairness-Schwellenwerte festgelegten zulässigen Grenzwert. Diese geringfügigen Unterschiede in Bezug auf die Auswahlraten deutet darauf hin, dass keine signifikanten Verzerrungen oder Ungleichgewichte bei geschlechtsspezifischen Vorhersagen durch das Modell vorliegen. Da beide Raten die Fairness-Schwellenwerte überschreiten und nur eine geringfügige Disparität aufweisen, kann der Schluss gezogen werden, dass die Vorhersagen durch dieses Modell in Bezug auf verschiedene sensible Gruppen keine Verzerrungen aufweisen und gerecht sind.

Im folgenden Diagramm, können die beiden Kennwerte False Negative Rate und False Positive Rate weitere Informationen zur Performance des Modells mit reduzierten Verzerrungen bei der sensiblen Gruppe der Männer bzw. der sensiblen Gruppe der Frauen liefern. Diese Kennwerte sind wichtig für die Bewertung von Verzerrungen und Fairness-Aspekten bei solchen Modellen. Ihre Werte können wie weiter oben in diesem Thema in der Beschreibung der Tabelle "Fairness-Kennwerte für die sensiblen Gruppen" beschrieben, analysiert werden.

Der Vergleich der False-Negative-Raten zwischen der Gruppe der Männer und der Gruppe der Frauen liefert folgende Informationen über die Fairness des Modells:

• Die höhere False-Negative-Rate für die Gruppe der Männer deutet darauf hin, dass das Modell die tatsächlich positiven Ergebnisse von Personen mit höheren Gehältern unter den Männern tendenziell nicht berücksichtigt. Das bedeutet, dass es möglicherweise falsch vorhersagt, dass Männer geringere Gehälter haben als sie tatsächlich haben.
• Umgekehrt bedeutet die niedrigere False-Negative-Rate für die Gruppe der Frauen, dass das Modell positive Ergebnisse für die Gruppe der Frauen besser vorhersagen kann als für die Gruppe der Männer. Es ist weniger wahrscheinlich, dass Frauen fälschlicherweise als Personen eingestuft werden, deren Gehälter niedriger als tatsächlich sind.
• Bei Betrachtung der False-Positive-Raten zeigt sich, dass die Gruppe der Frauen im Vergleich zur Gruppe der Männer eine höhere Rate aufweist. Das bedeutet, dass das Modell eher dazu neigt, positive Ergebnisse für Personen mit höheren Gehältern bei Frauen falsch vorherzusagen, wenn diese tatsächlich geringere Einkommen haben.
• Umgekehrt bedeutet die niedrigere False-Positive-Rate für Männer, dass das Modell bei dieser Geschlechtergruppe besser in der Lage ist, False-Positive-Vorhersagen zu vermeiden. Es macht weniger Fehler bei der Klassifizierung von Männern als Personen mit höheren Gehältern, wenn diese tatsächlich weniger verdienen.

Insgesamt wurden zwar die meisten Verzerrungen bei Vorhersagen durch ähnliche False-Positive- und False-Negative-Raten beseitigt, dennoch gibt es weiterhin je nach Geschlecht einige Verhaltensunterschiede. Diese Unterschiede weisen auf Bereiche hin, in denen weitere Verbesserungen vorgenommen werden können, um eine gerechtere Vorhersage für die verschiedenen Geschlechtergruppen zu erreichen.

Fairness-Kennwerte spielen eine wichtige Rolle bei der Erkennung von Diskrepanzen in den Vorhersageergebnissen zwischen verschiedenen Gruppen, die mit sensiblen Features verknüpft sind. In einigen Fällen ist es vielleicht nicht möglich, während des Trainings Fairness zu erreichen. Dann ist es wichtig, geeignete Strategien zu planen, um auf ein faireres Modell hinzuarbeiten. Zudem sollten beim Vergleich neuer fairer Modelle mit älteren fairen Modellen die Verbesserungen speziell im Hinblick auf die Fairness bewertet und beurteilt werden.

Verbesserung der Fairness eines Modells

Mit den folgenden Maßnahmen kann die Fairness eines Modells verbessert werden:

• Stärkere Einbeziehung von unverzerrten Stichproben: Durch Einbeziehen von diverseren Stichproben in das Dataset kann die Fähigkeit des Modells zum Lernen und Verallgemeinern in verschiedenen Gruppen verbessert werden. Dadurch lassen sich Verzerrungen beseitigen, die in den Trainingsdaten möglicherweise vorhanden sind.
• Aufnahme relevanter Features: Nehmen Sie relevante Features und Faktoren auf, die die Ergebnisse beeinflussen können, da dies zur Erstellung eines gerechteren und genaueren Modells beitragen kann.
• Analyse ungerecht behandelter Stichproben: Überprüfen Sie Vorhersagen und Ergebnisse für ungerecht behandelte Stichproben, insbesondere für solche aus benachteiligten Gruppen. Wenn Sie wissen, warum bestimmte Stichproben ungerecht behandelt werden, können Sie mögliche Ursachen für Verzerrungen oder Diskriminierung im Entscheidungsprozess des Modells aufdecken.

Die Umsetzung dieser Maßnahmen trägt dazu bei, die Fairness im Modell zu verbessern, da Verzerrungen beseitigt, Disparitäten reduziert und eine gerechte Behandlung der verschiedenen Gruppen sichergestellt werden.

Regressionsmodelle

Verwenden Sie für Regressions-Tasks den Kennwert Group loss ratio im Parameter Fairness-Kennwert, und wählen Sie sensible Features mit Gruppen aus, die anfällig für Diskriminierung und Verzerrungen sind. Ähnlich wie beim Klassifizierungsbericht wird auf der Hauptseite des Regressionsberichts eine Bestenliste angezeigt, in der das beste Modell in der ersten Spalte aufgeführt ist.

Unter den verschiedenen Performance-Diagrammen sind die Diagramme zur AutoML-Performance im Vergleich zu sensiblen Features besonders wichtig für die Bewertung der Fairness. Diese Diagramme zeigen, wie die Modell-Performance, die als mittlerer quadratischer Fehler (RMSE, Root Mean Square Error) angegeben wird, für bestimmte sensible Features wie etwa für das Alter mit dem Kennwert Group loss ratio korreliert. Die X-Achse stellt den RMSE dar. Dabei handelt es sich um einen bei Regressions-Tasks häufig verwendeten Performance-Kennwert. RMSE gibt die durchschnittlichen Differenz zwischen den vorhergesagten und den tatsächlichen Werten an. Niedrigere RMSE-Werte weisen auf eine bessere Vorhersage-Performance hin. Die Y-Achse stellt das GLR (Group loss ratio) dar, das Verlustkennwerte (RMSE) für verschiedene Altersuntergruppen mit dem RMSE des Gesamtmodells vergleicht. GLR gibt die Performance des Modells für eine bestimmte Gruppe im Vergleich zur Gesamt-Performance an. Der Wert 1 bedeutet, dass die Verluste zwischen Gruppen gleich sind, und Werte größer oder kleiner als 1 geben relative Disparitäten an. Bei einem fairen Modell sollte der GLR-Wert größer als 0,8 sein. Der grüne Bereich in den folgenden Diagrammen kennzeichnet Modelle, die dieses Kriterium erfüllen und als unverzerrte Modelle gelten. Wenn sich die Modelle jedoch im unteren GLR-Bereich konzentrieren, deutet dies auf mögliche Unterschiede in der Vorhersagegenauigkeit und Fairness in den verschiedenen Gruppen hin. Wenn gerechtere Ergebnisse erzielt werden sollen, müssen Anpassungen vorgenommen werden.

Klicken Sie auf die Option Bestes Modell, um eine modellspezifische Seite zu öffnen. Auf dieser Seite finden Sie im Diagramm Kennwertdetails Informationen zur allgemeinen Performance des besten Modells. Das Diagramm enthält eine Übersicht über die verschiedenen Kennwerte zum Bewerten der Modell-Performance. Das nächste Diagramm auf dieser Seite bezieht sich auf das jeweils ausgewählte sensible Feature, z. B. das Geschlecht. Dieses Diagramm zeigt die unterschiedliche Performance des Modells für die unterschiedlichen sensiblen Gruppen unter Berücksichtigung sowohl der Vorhersagegenauigkeit als auch der Fairness. In der ersten Zeile dieses Diagramms werden die Gesamtkennwerte des Modells angegeben. Sie bieten einen Gesamtüberblick über die Performance des Modells. Die folgenden individuellen Gruppenkennwerte geben die Performance des Modells für jede einzelne Gruppe innerhalb des sensiblen Features an.

	Samples	MAE	MSE	RMSE	R2	MAPE	Spearman
Overall	6105	7,1448	110,228	10,4989	0,270251	0,288477	0,517567
Male	4080	7,27697	114,756	10,7124	0,232757	0,261594	0,465998
Female	2025	6,8785	101,104	10,055	0,225144	0,34264	0,436187

Zu den angegebenen Kennwerten gehören folgende: MAE, MSE, RMSE, R2, MAPE und Spearman-Korrelation für jede Geschlechtergruppe. Diese Kennwerte liefern eine Gesamtbewertung der Performance eines Modells mit Verzerrungsreduzierung. Anhand des Diagramms können Sie bewerten, ob die Vorhersagegenauigkeit und die Performance-Kennwerte eines Modells in verschiedenen Untergruppen basierend auf einem sensiblen Feature wie dem Geschlecht konsistent sind. Zudem können Sie damit Disparitäten erkennen, die weitere Untersuchungen und mögliche Anpassungen erfordern, um Fairness zu gewährleisten. Zudem wird die Modell-Performance im Hinblick auf die Fairness mithilfe von RMSE bewertet. Bei dieser Bewertung werden die Performance-Kennwerte des Modells zwischen verschiedenen Geschlechtergruppen verglichen, wobei insbesondere die begünstigten und die benachteiligten Gruppen untersucht werden. Der Kennwert RMSE wird verwendet, um die Fairness zu bewerten.

RMSE-Differenz: Die RMSE-Differenz ist eine Schlüsselkomponente dieses Fairness-Kennwertes. Sie quantifiziert die absolute Differenz der RMSE-Werte zwischen der Untergruppe der Männer und der Untergruppe der Frauen. In der obigen Tabelle beträgt die Differenz 0,6574. Eine größere RMSE-Differenz weist auf eine größere Disparität der Vorhersagefehler zwischen diesen beiden Gruppen hin, während ein kleinerer Wert auf eine kleinere Diskrepanz der Vorhersagefehler hindeutet. Im Hinblick auf die Fairness bedeutet eine kleinere RMSE-Differenz im Allgemeinen eine kleinere Disparität der Vorhersagefehler zwischen verschiedenen Gruppen, was für das Erreichen von Fairness als positiv angesehen wird. Die Bestimmung eines geeigneten Schwellenwertes oder Bereichs für die RMSE-Differenz als Indikator für Fairness hängt jedoch vom jeweiligen Kontext des Problems ab und erfordert möglicherweise Fachkenntnisse.

RMSE-Verhältnis: Das RMSE-Verhältnis stellt das Verhältnis zwischen dem RMSE-Wert für die benachteiligte Gruppe (male) und dem der begünstigten Gruppe (female) dar. In der obigen Tabelle beträgt das Verhältnis 0,9386. Ein Wert, der näher bei 1 liegt, weist auf eine gleichmäßigere Verteilung der Vorhersagefehler hin, was auf ähnliche Fehlerraten für beide Gruppen schließen lässt. Ein Wert, der signifikant von 1 abweicht, deutet dagegen auf eine höhere Fehlerrate für eine Gruppe im Vergleich zur anderen hin. In diesem Fall deutet ein RMSE-Verhältnis von 0,9386, das näher bei 1 liegt, auf eine gleichmäßigere Verteilung der Vorhersagefehler zwischen der begünstigten (female) und der benachteiligten (male) Gruppe hin. Das bedeutet, dass das Modell in Bezug auf die Vorhersagegenauigkeit für beide Geschlechtergruppen eine ähnliche Performance aufweist. Diese Fairness konnte mithilfe des Kennwertes Group loss ratio bei der Optimierung der Ergebnisse für Regressionsprobleme erzielt werden. Wenn dieser Kennwert berücksichtigt und ein RMSE-Verhältnis von nahezu 1 erreicht wird, deutet dies darauf hin, dass die Vorhersagen des Modells bei vergleichbaren Fehlerraten für die verschiedenen Geschlechtergruppen gerechter sind.

Fazit

Die Gewährleistung von Fairness bei Modellen des maschinellen Lernens ist notwendig, um gerechte Ergebnisse zu erzielen. Durch die sorgfältige Auswahl sensibler Features und Fairness-Kennwerte, die Analyse von Performance-Diagrammen und die Berücksichtigung der Auswirkungen auf verschiedene sensible Gruppen können potenzielle Verzerrungen erkannt und reduziert werden. Durch Maßnahmen wie die Einbeziehung unverzerrter Stichproben, die Untersuchung von Fällen von ungerechter Behandlung sowie die kontinuierliche Bewertung der Modell-Performance im Hinblick auf Fairness-Kennwerte können gerechtere und zuverlässigere Modelle entwickelt werden. Wenn neben der Accuracy auch die Fairness eine wichtige Rolle spielt, können vertrauenswürdige KI-Systeme entwickelt werden, die ethischen Standards entsprechen und die Chancengleichheit für alle Menschen fördern.