ABOUT 2 MONTHS AGO • 11 MIN READ

GCP Architect's Corner ☁️ : Les dernières nouveautés Data - IA (et plus encore) sur Google Cloud Platform

profile

AI values Data. Data values Business.

👋 Hello ! Je suis Vincent, Architecte IA et Lead Data Scientist. J’aide les entreprises à exploiter leurs données et à intégrer des solutions d’intelligence artificielle pour générer de la valeur. Je me suis spécialisé dans la conception de solutions IA, et je conçois des architectures data performantes et évolutives. Besoin de conseils pour vos projets data ou IA ? 🚀 Je suis là pour vous aider à transformer vos idées en solutions concrètes ! Restez au courant de mes dernières actualités via mes newsletters.

Semaine du 2025-03-12 au 2025-03-21

Bref résumé des news 📰 de la semaine

Rattrapage des nouveautés GCP sur quasiment 1 semaine et demie, notamment des mises à jour importantes pour Vertex AI, BigQuery, et Looker. Côté sécurité, Security Command Center s'enrichit de nouvelles fonctionnalités. On note également des améliorations pour Spanner, Cloud Storage et Dataflow.

Bref, cela va être dense ! 🚀

Data et IA 🧠

Vertex AI

Vertex AI Workbench vous permet désormais de chiffrer vos données en cours d'utilisation grâce à Confidential Computing (en Preview). Vous pouvez activer le service Confidential VM lors de la création d'une instance Vertex AI Workbench. Pour commencer, consultez la documentation Créer une instance avec Confidential Computing. De plus, la version M128 de Vertex AI Workbench (instances et notebooks) apporte des mises à jour de packages.

Vertex AI Agent Builder intègre de nouvelles fonctionnalités en Public Preview pour Vertex AI Search. Vous pouvez maintenant générer et afficher des graphiques dans les réponses et les suivis (Generate charts for answers), ainsi que renvoyer des images du corpus dans les réponses et les suivis (Retrieve existing images from the data store).

Generative AI on Vertex AI: Claude Sonnet 3.7 d'Anthropic est GA sur Vertex AI et supporte Provision Throughput. (Claude Sonnet 3.7 model card). Mistral Small 3.1 (25.03) est disponible avec des capacités multimodales. (Mistral Small 3.1 model card). Les outils d'évaluation et de personnalisation du modèle Judge sont disponibles en Preview. (Judge model evaluation). La mise en cache du contexte pour Gemini est GA. (Context caching). ShieldGemma 2 et CogVideoX-2b sont disponibles dans Model Garden.

BigQuery

BigQuery se dote d'un système de contrôle de version avec les repositories et les workspaces (en Preview). Les repositories utilisent Git pour suivre les modifications et gérer les versions de fichiers, tandis que les workspaces permettent d'éditer le code. Vous pouvez connecter un repository directement à BigQuery ou à un fournisseur Git tiers (Connect a third-party).

De plus, vous pouvez désormais créer des modèles distants en BigQuery ML basés sur le modèle Anthropic Claude dans Vertex AI (GA). Utilisez la fonction `ML.GENERATE_TEXT` avec ces modèles pour effectuer des tâches de langage naturel génératif.

Enfin, BigQuery workflows a été renommé BigQuery pipelines (Introduction to BigQuery pipelines). BigQuery permet maintenant aussi d'utiliser la fonction `TYPEOF` pour déterminer le type de données d'une expression (GA), et on peut créer un dataset externe lié à une base de données Spanner(Spanner) (GA).

Looker

Looker intègre plusieurs nouvelles fonctionnalités pour Studio in Looker (en Preview) : la récupération des rapports sauvegardés dans les 30 derniers jours (Recovered reports), l'inclusion des rapports dans la fonction de recherche Looker, la gestion des rapports supprimés dans la corbeille Looker (Trash folder), la possibilité de définir des paramètres régionaux (Locale), et la gestion des connecteurs de sources de données disponibles (Manage data source connectors). De plus, le Chart Config Editor supporte désormais les annotations dynamiques. Une nouvelle fonctionnalité Labs, Fast Dev Mode Transition, améliore les performances du mode développement. Enfin, Looker supportera bientôt l'authentification par paire de clés pour les connexions Snowflake (Key-pair authentication) (disponible début avril 2025).

La fonctionnalité New Database Connection Setup est maintenant généralement disponible et sortie de Labs. Elle met à jour la page Ajouter/Modifier une connexion avec une interface utilisateur modernisée, une validation améliorée, des capacités de test de connexion et un résumé complet de la configuration. La fonctionnalité Content Validator scoping est également généralement disponible. Elle permet aux développeurs de limiter la validation à des projets LookML spécifiques et à un dossier de contenu spécifique (y compris ses sous-dossiers, le cas échéant). Looker se connecte désormais par défaut à votre base de données en utilisant la dernière version du pilote JDBC. L'Open SQL Interface prend désormais en charge Explores qui utilisent le paramètre `conditionally_filters`. Les instances Looker (Google Cloud core) prennent désormais en charge le rôle Looker Admin via IAM.

Si vous n'utilisez pas Looker et que vous voulez savoir à quoi cela ressemble, une démo récente est disponible sur la chaine Youtube Google Cloud :

video preview

Looker Studio

L'éditeur de source de données affiche désormais un aperçu des données dans vos champs (GA). De nombreux connecteurs partenaires ont été ajoutés à la Looker Studio Connector Gallery. Des améliorations ont été apportées au connecteur Looker, notamment la propagation de permissions supplémentaires à Looker Studio Pro (Informations ici). L'enregistrement des événements pour les rapports basés sur Looker a été amélioré (Informations ici).

Gemini Code Assist Standard and Enterprise & Gemini

Les réponses de chat en continu sont disponibles en Public Preview pour IntelliJ et VS Code. Vous pouvez maintenant configurer et utiliser des commandes personnalisées dans le menu de chat en ligne et le menu "ampoule" pour VS Code. La personnalisation du code pour Gemini Code Assist Enterprise est maintenant compatible avec VPC Service Controls. (Configure VPC Service Controls).

Cloud Storage

Offre maintenant le code de double région configurable `DE` pour `europe-west3` (Francfort) et `europe-west10` (Berlin) (Configurable dual-regions). Anywhere Cache pour Cloud Storage est maintenant généralement disponible (GA). (Overview of Anywhere Cache).

Pour ceux qui utilise GCS pour stocker des modèles de Deep Learning, un article est sorti récemment sur l'usage de la fonctionnalité d'espace de noms hiérarchique (HNS) sortie fin d'année dernière, permettant d'optimiser les workloads IA en offrant une organisation des données similaire à un système de fichiers traditionnel. Elle permet des renommages de dossiers atomiques jusqu'à 20 fois plus rapides pour les checkpoints, et améliore les performances avec jusqu'à 8 fois plus de requêtes par seconde pour les lectures et écritures. Cette structure hiérarchique s'intègre naturellement avec les frameworks IA comme TensorFlow et PyTorch, éliminant les goulots d'étranglement de stockage qui limitent l'utilisation des GPU/TPU, comme en témoigne AssemblyAI qui a constaté une amélioration de 15 fois de la vitesse d'entraînement.

Produits Data en vrac... 📦

  • Agent Assist: Offre des extensions Vertex pour "Build your own assist" (BYOA) (en Preview). "Build your own Gen AI Assist" est disponible en Preview.
  • Dataflow: Supporte désormais le lignage de données (Use data lineage in Dataflow) (GA).
  • Dataplex: Disponible dans la région `europe-north2` (Stockholm).
  • Data Catalog: Disponible dans la région `europe-north2` (Stockholm).
  • Datastream: Permet d'utiliser Secret Manager pour stocker les informations d'authentification (Use Secret Manager).
  • Dataproc: Nouvelles versions du runtime Dataproc Serverless for Spark(Dataproc Serverless versions) : 1.1.95, 1.2.39, et 2.2.39.
  • Cloud Data Fusion: La version 6.11.0 est disponible en Preview (Preview) et offre une haute disponibilité avec un temps d'arrêt réduit lors des mises à niveau. Vous pouvez désormais afficher les métriques d'instance et de pipeline dans Cloud Monitoring et dans le tableau de bord fourni par Cloud Data Fusion(Metrics overview). Vous pouvez également afficher les journaux d'instance et de pipeline dans Cloud Logging(View Cloud Data Fusion logs). En cas d'échec d'une exécution de pipeline, vous pouvez récupérer des informations d'erreur détaillées (Retrieve error information).
  • Spanner: Vous pouvez maintenant définir le fuseau horaire par défaut de vos bases de données Spanner(Set the default time zone) (GA). BigQuery peut maintenant effectuer des reverse ETL vers Spanner grâce aux instructions `EXPORT DATA`(Reverse ETL) (GA).
  • Deep Learning VM Images & Containers : La version M128 supprime conda des nouvelles images (sauf TensorFlow) pour améliorer la taille, les performances et la gestion des vulnérabilités. Les images avec conda restent disponibles jusqu'au 30 septembre 2025.
  • Cloud SQL for SQL Server: Supporte le chiffrement transparent des données (TDE). (About transparent data encryption). Vous pouvez utiliser PITR pour restaurer une instance non disponible. (Use PITR).
  • Cloud SQL for MySQL: Vous pouvez utiliser PITR pour restaurer une instance non disponible. (Use PITR).
  • Oracle Database@Google Cloud: Vous pouvez maintenant configurer la reprise après sinistre inter-régions avec Autonomous Data Guard pour les bases de données autonomes. (Cross-region disaster recovery) (GA).
  • Cloud Database Migration Service: Supporte maintenant MySQL version 8.0.41 pour les migrations homogènes MySQL. (Supported databases).
  • AlloyDB: La mise à niveau majeure de version sur place est généralement disponible. (In-place major version upgrade). Vous pouvez utiliser un évaluateur de rappel de requête (Preview) pour trouver le rappel d'une requête vectorielle (Measure vector query recall). La connectivité sortante pour les clusters AlloyDB activés pour Private Service Connect est généralement disponible (Outbound connectivity). Vous pouvez créer automatiquement des CMEK à l'aide de Cloud KMS Autokey (CMEKs with Cloud KMS Autokey).
  • Sensitive Data Protection: Le détecteur d'infoType `CZECHIA_PASSPORT` est disponible dans toutes les régions InfoType detector reference.

Autres produits ☁️

  • Cloud Composer: Après le 15 avril 2025, la fonctionnalité de politique de conservation de la base de données sera activée par défaut dans les nouveaux environnements Cloud Composer 3 ✨. Les contraintes personnalisées avec Organization Policy sont maintenant généralement disponibles (GA).
  • Security Command Center: La section "Risques" de la console SecOps a été mise à jour pour Security Command Center Enterprise, introduisant les fonctionnalités suivantes en Preview : Issues, Security graph, et Chokepoints. Le support pour l'ingestion de logs depuis les files d'attente Amazon SQS et un flux alternatif "CIEM only" ont été ajoutés à CIEM (GA pour Security Command Center Enterprise). (Configure AWS log ingestion). De nouvelles règles Event Threat Detection pour Google Kubernetes Engine sont disponibles en GA. L'évaluation des vulnérabilités Artifact Registry vulnerability assessment est en Preview pour tous les niveaux de Security Command Center.
  • Google Kubernetes Engine: Tous les clusters GKE exportent désormais quatre nouvelles métriques cumulées par défaut sans frais supplémentaires pour la surveillance des pools de nœuds et des ensembles de tâches TPU GKE. Dans la version 1.32.2-gke.1652000 et ultérieures, les nouveaux services LoadBalancer externes utilisent par défaut les backends NEG zonaux. (Create a backend service-based external load balancer). Les métriques JobSet sont automatiquement disponibles sur les nouveaux clusters GKE Standard et Autopilot à partir de la version 1.32.1-gke.1357001 ou ultérieure. (JobSet metrics).
  • SAP on Google Cloud: Les machines virtuelles de la série M4 optimisées pour la mémoire sont désormais certifiées SAP pour les charges de travail SAP HANA scale-up (OLAP et OLTP) et SAP NetWeaver. (M4 memory-optimized VM types for SAP HANA)(M4 memory-optimized VM types for SAP NetWeaver).
  • Resource Manager: Vous pouvez appliquer des tags obligatoires sur les ressources à l'aide de stratégies d'organisation personnalisées (en Preview). (Enforcing mandatory tags). Les stratégies d'organisation personnalisées sont maintenant généralement disponibles pour Cloud Composer. (Create custom organization policy constraints).
  • Places SDK for Android : L'UI Kit pour les détails de lieu est maintenant disponible en tant que fonctionnalité expérimentale. Places UI Kit: Place Details (Experimental). La version 4.2.0 du Places SDK pour Android est disponible. (Release Notes).
  • Places SDK for iOS and Swift SDK for iOS : Nouvelles versions disponibles (9.4.0 et 0.5.0 respectivement) sans changement fonctionnel. (Release Notes iOS)(Release Notes Swift).
  • Migrate to Virtual Machines: Supporte expérimentalement la migration des instances de VM exécutant Amazon Linux 2 vers Rocky Linux 8.
  • Managed Cloud Service Mesh: Supporte maintenant le dual-stack, étendant la capacité IPv6 à Envoy (proxy) et gRPC (proxyless). (Configure IPv6 dual-stack). Vous pouvez maintenant utiliser des contraintes personnalisées avec Organization Policy. Des changements importants ont été apportés à la façon dont vous recevrez les notifications de modernisation à venir pour le plan de contrôle `ISTIOD`. (Managed control plane modernization). Le déploiement de la version 1.20 du Cloud Service Mesh géré sur le canal rapide est terminé.
  • Mainframe Assessment Tool: La version 2.1.0 est disponible (GA) (GA) et inclut de nouvelles fonctionnalités comme la catégorisation des tâches et des programmes dans des domaines d'évaluation, des résumés de tâches JCL améliorés, des spécifications améliorées pour HLASM et Easytrieve, et l'option d'exporter des rapports pour un sous-ensemble filtré de programmes et de tâches.
  • Google Workspace Events API: Le point de terminaison `v1beta` sera mis hors service pour les événements Google Chat et Google Meet le 30 avril 2025. Utilisez le point de terminaison `v1`.
  • Google SecOps SOAR & SIEM : La release 6.3.38 est en GA. (Release 6.3.38). Amélioration du thème pour la plateforme SOAR. Nouvelles fonctionnalités : pause/reprise des SLA de cas (Pause and resume a case SLA), haute disponibilité des agents distants (Deploy high availability) (en Preview) et notifications de temps d'arrêt des agents distants. Statistiques et agrégations dans la recherche UDM à l'aide de YARA-L 2.0. (Statistics and aggregations). De nombreuses documentations de parseurs sont maintenant disponibles.
  • Google Meet & Chat API: Même information que pour Google Workspace Events API.
  • Google Distributed Cloud (software only) for bare metal & VMware: Nouvelles versions disponibles (1.31.300-gke.81 et 1.30.700-gke.56) avec des corrections de vulnérabilités et d'autres améliorations. (Downloads bare metal)(Downloads VMware).
  • Google Cloud VMware Engine: Intégration avec Google Cloud Essential Contacts pour les notifications par e-mail. (Overview of VMware Engine monitoring).
  • Dialogflow: CMEK est maintenant GA pour Dialogflow CX (Conversational Agents). (CMEK).
  • Cloud Monitoring: La documentation pour les canaux de notification Slack supporte maintenant Markdown. (Annotate notifications). Vous pouvez maintenant voir les modifications apportées à un tableau de bord en consultant l'historique des versions. (View dashboard version history).
  • Cloud Logging: Les libellés d'application App Hub sont maintenant attachés à vos entrées de journal. (Log Fields pane). Vous pouvez maintenant utiliser l'API Observability pour définir la portée de journal par défaut (Public Preview). (Create and manage log scopes).
  • Cloud Load Balancing: Information sur la nouvelle méthode de vérification des certificats gérés par Google : Multi-Perspective Issuance Corroboration. (Multi-perspective domain validation).
  • Cloud Asset Inventory: Nouveaux types de ressources disponibles via plusieurs méthodes, dont Storage Transfer Service et GKE On-Prem API. (ExportAssets).
  • App Engine (standard and flexible environments): Container Registry est maintenant arrêté. Utilisez Artifact Registry. (Migrate to Artifact Registry).
  • Apigee X: Pour les organisations Apigee configurées sans appairage VPC, vous pouvez maintenant configurer Apigee pour résoudre vos domaines privés. (Connecting with private DNS peering zones). Support GA pour l'appairage DNS pour les organisations Apigee sans appairage VPC. Nouvelle version d'Apigee (1-15-0-apigee-1) disponible. (Connecting with private DNS peering zones).
  • Apigee UI: Nouvelles versions disponibles. (Connecting with private DNS peering zones).
  • AI Hypercomputer: La machine virtuelle A4 optimisée pour les accélérateurs est maintenant généralement disponible. (A4 machine type). Mises à jour de la pile logicielle, notamment de nouvelles images Docker pour les clusters A4 GKE. (AI Hypercomputer images).
  • Compute Engine : Les machines virtuelles A4 optimisées pour les accélérateurs sont maintenant généralement disponibles. (A4 VMs). La page "Créer une instance" de la console Google Cloud dispose d'un volet "Protection des données". (Configuration options). Les machines virtuelles M4 optimisées pour la mémoire sont maintenant généralement disponibles. (M4 VMs).
  • Cloud-based maps styling: Ajout d'une option d'onglet d'importation JSON à la création de style. (Learn more).
  • Cloud Service Mesh: Supporte maintenant le dual-stack, étendant la capacité IPv6 à Envoy (proxy) et gRPC (proxyless). (Configure IPv6 dual-stack). Vous pouvez maintenant utiliser des contraintes personnalisées avec Organization Policy.
  • Container Optimized OS: Support ajouté pour le pilote GPU NVIDIA 570.124.06 et les appareils iRDMA. cos-gpu-installer mis à jour vers v2.4.8.

A savoir... 🧐

Correctifs, mises à jour de librairies, et changements mineurs ont eu lieu cette semaine. On notera notamment des correctifs pour Looker (problèmes d'affichage, de téléchargement, de filtres, etc.), Container Optimized OS (plusieurs correctifs de sécurité), Google Kubernetes Engine (mises à jour de version), Mainframe Assessment Tool, Cloud Data Fusion, et Cloud Composer.

Une mise à jour de l'API Cloud Monitoring permet maintenant d'activer et de désactiver les uptime-checks.

Des mises à jour des librairies clients ont été publiées pour Pub/Sub, Dataflow, Cloud Storage et Bigtable. Enfin, l'API Text-to-Speech Chirp 3 HD n'est disponible que dans certaines régions.

N'oubliez pas que Container Registry est maintenant arrêté ⚰️.

Et voilà pour les news + le rattrapage ! Restez à l'écoute pour les prochaines nouveautés 😉

AI values Data. Data values Business.

👋 Hello ! Je suis Vincent, Architecte IA et Lead Data Scientist. J’aide les entreprises à exploiter leurs données et à intégrer des solutions d’intelligence artificielle pour générer de la valeur. Je me suis spécialisé dans la conception de solutions IA, et je conçois des architectures data performantes et évolutives. Besoin de conseils pour vos projets data ou IA ? 🚀 Je suis là pour vous aider à transformer vos idées en solutions concrètes ! Restez au courant de mes dernières actualités via mes newsletters.