Bluesky aide à réduire les coûts d'apprentissage automatique grâce à des algorithmes de gouvernance des coûts

Vous n'avez pas pu assister à Transform 2022 ? Découvrez dès maintenant toutes les sessions du sommet dans notre bibliothèque à la demande ! Regardez ici.

L'optimisation des requêtes n'est pas nécessairement nouvelle. La gouvernance des coûts dans le cloud pour identifier et contrôler les dépenses liées aux requêtes n'est pas nouvelle non plus. Ce qui est nouveau, cependant, c'est Bluesky, un fournisseur d'optimisation de charge de travail basé sur le cloud, axé sur Snowflake, qui a été lancé plus tôt ce mois-ci pour aider les organisations à atteindre ces objectifs.

L'un des éléments essentiels de l'approche de l'entreprise est "les algorithmes que nous avons créés nous-mêmes, sur la base de chacune de nos 15 dernières années d'expérience dans le réglage des charges de travail chez Google, Uber, etc.", a déclaré Mingsheng Hong, PDG de Bluesky.

Hong est l'ancien responsable de l'ingénierie des capacités d'exécution d'apprentissage automatique de Google, un rôle dans lequel il a beaucoup travaillé avec TensorFlow. Bluesky a été cofondé par Hong et le CTO Zheng Shao, un ancien ingénieur distingué d'Uber, où il s'est spécialisé dans l'architecture du Big Data et la réduction des coûts.

Les algorithmes référencés par Hong analysent les requêtes à grande échelle, principalement dans les environnements cloud, et déterminent comment optimiser leurs charges de travail, réduisant ainsi leurs coûts. "Les requêtes individuelles ont rarement une valeur commerciale", a observé Hong. "C'est une combinaison d'entre eux qui, ensemble, atteint certains objectifs commerciaux, comme la transformation des données et la fourniture d'informations commerciales."

Événement

MétaBeat 2022

MetaBeat réunira des leaders d'opinion pour donner des conseils sur la manière dont la technologie métaverse transformera la façon dont toutes les industries communiquent et font des affaires le 4 octobre à San Francisco, en Californie.

Inscrivez-vous ici

Ce qui est particulièrement intéressant, c'est que Bluesky combine des approches d'intelligence artificielle (IA) statistique et symbolique pour cette tâche, illustrant concrètement que leur fusion peut influencer l'avenir de l'IA dans l'entreprise.

Gouvernance des coûts des requêtes de machine learning

Bluesky renforce la gouvernance des coûts de plusieurs manières en optimisant le temps et les ressources consacrés à l'interrogation des sources cloud populaires. La solution peut limiter la redondance des requêtes via la matérialisation incrémentielle, une fonction utile pour les requêtes récurrentes par incréments définis, comme toutes les heures, tous les jours ou toutes les semaines.

Selon Hong, lors de l'analyse des chiffres de revenus mensuels, par exemple, cette capacité permet aux systèmes de "matérialiser le calcul précédent et de ne calculer que la partie incrémentielle", ou le delta depuis le dernier calcul. Lorsqu'elle est appliquée à grande échelle, cette fonctionnalité peut économiser une quantité considérable de ressources fiscales et informatiques.

Recommandations de réglage

Bluesky offre une visibilité détaillée sur les modèles de requête et leur consommation. La solution propose une liste continue des modèles de requête les plus coûteux, ainsi que d'autres techniques pour "montrer aux gens combien ils dépensent", a déclaré Hong. "Nous le décomposons en utilisateurs individuels, équipes, projets, centres d'appels, etc., afin que tout le monde sache combien les autres dépensent."

Bluesky intègre des algorithmes qui impliquent des approches d'IA statistiques et non statistiques pour l'attribution des coûts de requête basée sur le profil. Les profils de requête sont basés sur le temps, le processeur et la mémoire requis par des requêtes spécifiques. Les algorithmes utilisent ces informations pour réduire l'utilisation de ces ressources pour les requêtes via des recommandations de réglage pour modifier le code de requête, la disposition des données, etc. "L'optimisation n'est pas seulement le calcul", a noté Hong. "De plus, nous organisons le stockage : les index des tables, la disposition des tables, puis il y a les paramètres d'entrepôt et les paramètres système que nous modifions."

Règles et apprentissage automatique supervisé

De manière significative, les algorithmes fournissant de telles recommandations et analysant les facteurs mentionnés par Hong impliquent des approches basées sur des règles et l'apprentissage automatique. En tant que tels, ils combinent la base classique de représentation des connaissances de l'IA avec sa base statistique. Il existe de nombreux cas d'utilisation d'un tel tandem (appelé neuro-sym ...