Hat die Datendrift in KI-Modellen das Problem mit der Kreditwürdigkeit von Equifax verursacht?

Sie konnten nicht an der Transform 2022 teilnehmen? Sehen Sie sich jetzt alle Summit-Sessions in unserer On-Demand-Bibliothek an! Schau mal hier.

Anfang dieses Jahres, vom 17. März bis 6. April 2022, stieß die Kreditauskunftei Equifax auf ein Problem mit ihren Systemen, das zu falschen Kreditauskünften für Verbraucher führte.

Das Problem wurde von Equifax als "Kodierungsproblem" beschrieben und hat zu rechtlichen Schritten und einer Sammelklage gegen das Unternehmen geführt. Es wurde spekuliert, dass das Problem irgendwie mit den KI-Systemen des Unternehmens zusammenhängt, die bei der Berechnung der Kreditwürdigkeit helfen. Equifax hat auf eine Bitte um Stellungnahme zum VentureBeat-Problem nicht geantwortet.

"Wenn es um Equifax geht, gibt es keinen Mangel an Vorwürfen", sagte Thomas Robinson, Vizepräsident für strategische Partnerschaften und Unternehmensentwicklung bei Domino Data Lab, gegenüber VentureBeat. "Aber aus KI-Perspektive scheint das, was schief gelaufen ist, ein klassisches Problem zu sein, Fehler wurden in den Daten gemacht, die das maschinelle Lernmodell füttern."

Robinson fügte hinzu, dass die Fehler von einer Reihe verschiedener Situationen herrühren können, einschließlich Tags, die nicht korrekt aktualisiert wurden, Daten, die manuell falsch aus der Quelle oder einer ungenauen Datenquelle aufgenommen wurden.

MetaBeat 2022

MetaBeat wird am 4. Oktober in San Francisco, CA, Vordenker zusammenbringen, um darüber zu beraten, wie die Metaverse-Technologie die Art und Weise verändern wird, wie alle Branchen kommunizieren und Geschäfte machen.

Eine weitere von Krishna Gade, Mitbegründer und CEO von Fiddler AI, angesprochene Möglichkeit ist ein Phänomen, das als Datendrift bekannt ist. Gade merkte an, dass sich Berichten zufolge die Kreditwürdigkeit manchmal um 20 Punkte oder mehr in beide Richtungen verschob, genug, um die den Verbrauchern angebotenen Zinssätze zu ändern oder ihre Anträge insgesamt abzulehnen.

Gade erklärte, dass Datendrift als unerwartete und nicht dokumentierte Änderungen in der Struktur, Semantik und Verteilung von Daten in einem Modell definiert werden kann.

Er bemerkte, dass Abweichungen durch Veränderungen in der Welt, Änderungen in der Produktnutzung oder Datenintegritätsprobleme wie Fehler und verminderte Anwendungsleistung verursacht werden können. Probleme mit der Datenintegrität können in jeder Phase der Produktpipeline auftreten. Gade kommentierte, dass beispielsweise ein Fehler im Frontend es einem Benutzer ermöglichen könnte, Daten im falschen Format einzugeben und die Ergebnisse zu verfälschen. Alternativ kann sich ein Fehler im Backend darauf auswirken, wie diese Daten transformiert oder in das Modell geladen werden.

Datendrift ist ebenfalls kein völlig ungewöhnliches Phänomen.

"Wir glauben, dass dies im Fall des Zillow-Vorfalls passiert ist, wo sie die Immobilienpreise nicht genau vorhersagen konnten und am Ende Hunderte von Millionen Dollar investierten", sagte Gade gegenüber VentureBeat.

Gade erklärte, dass es aus seiner Sicht zu Datendriften kommt, weil im maschinellen Lernprozess beim Erstellen von Datensätzen, Trainingsmodellen und der Bewertung von Modellen implizit davon ausgegangen wird, dass die Zukunft dieselbe sein wird wie die Vergangenheit .

"In der Tat suchen ML-Algorithmen in der Vergangenheit nach Mustern, die sich in der Zukunft verallgemeinern könnten", sagte Gade. "Aber die Zukunft unterliegt einem ständigen Wandel, und die Genauigkeit von Produktionsmodellen kann sich im Laufe der Zeit aufgrund von Datendrift verschlechtern."

Gade schlägt vor, dass, wenn eine Organisation eine Datendrift bemerkt, ein guter Ort ist, um mit der Behebung zu beginnen...