ChatGPT findet jetzt Fehler in Datenbanken

ChatGPT hat in den letzten Monaten die Aufmerksamkeit der Öffentlichkeit auf sich gezogen, völlig neue Branchen und Tools geschaffen und unsere Arbeitsweise fast über Nacht verändert. Millionen von Benutzern auf der ganzen Welt haben die KI-Leistung von ChatGPT auf die Probe gestellt, und obwohl die Software nicht ohne Einschränkungen ist, tauchen einige ziemlich erstaunliche Anwendungsfälle auf.

Ein solcher Anwendungsfall ist die Fähigkeit von ChatGPT, Datenbanktests effizienter zu gestalten. Kürzlich haben Mitarbeiter des Open-Source-Linux-Projekts von StarRocks ChatGPT auf Herz und Nieren gegen mehrere beliebte automatisierte Testtools getestet, um zu sehen, welche Vorteile die KI-gestützte Chat-Plattform gegebenenfalls bietet.

> ChatGPT im Vergleich zu beliebten Datenbanktest-Tools

Die Testergebnisse der StarRocks-Community waren beeindruckend. ChatGPT konnte sich gegen andere bestehende und beliebte automatisierte Testtools behaupten, darunter SQLsmith und SQLancer. Die Testergebnisse waren aufschlussreich, und angesichts der Lern- und Anpassungsfähigkeit von ChatGPT ist es wahrscheinlich, dass dies erst der Anfang dessen ist, wozu ChatGPT in der Lage ist, das Testen von Datenbanken zu verbessern. ChatGPT vs. SQLsmith

SQLsmith ist ein automatisiertes Datenbanktesttool, das zufällige SQL-Abfragen basierend auf einem festen Tabellenschema generiert und die Abfragen gegen die Datenbank ausführt, um ihre Leistung und Robustheit zu testen.

ChatGPT ist gut aufgestellt, um die Arbeit von SQLsmith zu ersetzen, und kann auf einfache Weise komplexe und zufällige SQL-Abfragen basierend auf Eingaben in natürlicher Sprache generieren. Es ist zwar noch zu früh, um zu sagen, ob ChatGPT bereit ist, die Notwendigkeit von SQLsmith vollständig zu eliminieren, aber es lohnt sich auf jeden Fall, es für jeden zu evaluieren, der das Tool bereits verwendet.

Die folgende Abbildung ist ein großartiges Beispiel dafür, wie ChatGPT eine komplexe SQL-Abfrage basierend auf Benutzereingaben erstellt:

Abbildung 1: ChatGPT Anfrage erstellen komplex.

ChatGPT: ideal für die Wartung von SQLsmith

Beim Testen von ChatGPT gegen SQLsmith tauchte ein weiterer interessanter Anwendungsfall auf: ChatGPT könnte ideal für die Wartung automatisierter Datenbanktest-Tools sein. Jeder, der diese Tools verwendet hat, erkennt, dass dies ein großes Problem ist. Immer wenn eine neue Funktion, ein neuer Operator oder ein neuer Datentyp hinzugefügt wird, müssen Ingenieure den Quellcode ihrer Tools wie SQLsmith und SQLancer aktualisieren. Es ist sowohl mühsam als auch zeitaufwändig.

Um zu überprüfen, ob ChatGPT diese Aufgabe tatsächlich übernehmen könnte, baten die StarRocks-Entwickler ChatGPT, eine Abfrage mit JSON-Funktionen von StarRocks zu schreiben. Zunächst antwortete ChatGPT, dass StarRocks keine JSON-Funktionen unterstützt, aber nachdem ChatGPT JSON-Dokumente von StarRocks an ChatGPT übergeben hatte, konnte ChatGPT Dokumente lernen und erfolgreich SQL-Abfragen mit JSON-Funktionen von StarRocks generieren.< /p>

Die folgenden Abbildungen zeigen diesen Lernprozess in Aktion:

Abbildung 2: In einigen Fällen ChatGPT muss ein wenig trainiert werden, bevor es einsatzbereit ist.