Semaine du 24 mai 2025 au 30 mai 2025

Cette semaine, BigQuery continue son marathon d'innovations avec les transferts événementiels depuis Cloud Storage et l'arrivée en GA de Spark dans ses notebooks. Gemini Code Assist devient encore plus malin pour gérer le contexte de vos prompts. Dataproc Serverless pour Spark runtime 2.3 est officiellement en disponibilité générale, et le nouveau moteur Lightning Engine sort en preview. Pour finir, Apigee X s'offre les services de Gemini pour pimenter le développement d'API. C'est parti pour le détail ! 🚀

Data et IA 🧠

Avant d'entrer dans le vif du sujet, je voulais vous partager un article récent qui expose la manière dont Google présente ce qu'ils appellent leur open lakehouse. En bref : Google unifie la gestion des données au format ouvert (Iceberg notamment) et y intègre fortement l'IA pour améliorer performance et facilité d'usage.

Les points clés sont :

• BigLake gère nativement les données au format ouvert comme Apache Iceberg.
• BigQuery (analytique) et AlloyDB (opérationnel) fonctionnent ensemble sur ces données.
• Performances accrues pour BigQuery SQL et Apache Spark.
• Dataplex Universal Catalog offre une gouvernance unifiée et une découverte des données enrichies par l'IA.
• Nouveaux outils et notebooks dopés à l'IA (Gemini) pour les développeurs.

BigQuery

Encore une semaine chargée pour notre data warehouse préféré :

• Les transferts de données événementiels depuis Cloud Storage vers BigQuery sont maintenant en disponibilité générale (GA). Plus besoin d'attendre, vos données arrivent dès qu'elles sont prêtes ! 💨
• Bonne nouvelle pour les utilisateurs de dbt et Python 🐍 : vous pouvez maintenant utiliser l'adaptateur dbt-bigquery pour exécuter du code Python défini dans les DataFrames BigQuery. Cette fonctionnalité est en Preview.
• La gestion des autorisations se simplifie : utilisez vos identifiants utilisateur Google Account pour autoriser la création, la planification et l'exécution de pipelines, ainsi que la planification de notebooks et de préparations de données. C'est en Preview, plus d'infos ici.
• L'indexation des métadonnées de colonnes est désormais en GA pour les tables BigQuery natives et les tables externes. De quoi accélérer vos requêtes sur les métadonnées. ⚡
• C'est officiel : la création d'une session Spark serverless et l'exécution de code PySpark dans un notebook BigQuery sont en disponibilité générale (GA). ✨
• Le partage de données en streaming Pub/Sub via BigQuery sharing (Analytics Hub) est maintenant en GA, avec un support étendu des bibliothèques clientes et des métriques d'usage pour les fournisseurs.
• Pour les petites requêtes rapides (tableaux de bord, exploration), BigQuery propose un mode optionnel de création de jobs en GA. Il optimise automatiquement les requêtes éligibles et utilise un cache pour améliorer la latence.

Gemini & Gemini Code Assist

L'IA sauce Google continue de s'améliorer pour nous faciliter la vie de développeur : pour Gemini Code Assist Standard and Enterprise (et donc Gemini), vous pouvez maintenant gérer les fichiers et dossiers inclus dans le contexte via le "Context Drawer". Plus de contrôle sur ce que Gemini "voit" pour répondre à vos prompts, c'est toujours bon à prendre. On peut visualiser et retirer des éléments du contexte, comme dans l'image d'exemple ci-dessous :

Dataproc

Du nouveau pour le traitement de données distribué :

• ​Spark sur BigQuery est en disponibilité générale. Cela vous permet de créer une session Spark serverless directement dans un notebook BigQuery Studio. Simplissime pour créer, exécuter et tester des jobs Spark.
• Dataproc Serverless pour Spark, versions de runtime 2.3, est en disponibilité générale (GA). Au menu : Spark 3.5.1, BigQuery Spark Connector 0.42.3, Cloud Storage Connector 3.1.2, Java 17, Python 3.11, R 4.3, et Scala 2.13.
• De nouvelles versions de runtime Dataproc Serverless pour Spark sont disponibles : 1.1.105, 1.2.49, 2.2.49, et 2.3.0.

Autre grosse nouveauté, le lancement de Lightning Engine pour Apache Spark (private preview), promettant des performances et une efficacité accrues. Google Cloud a annoncé le 31 mai dernier son lancement en avant-première : conçu pour surmonter les défis de performance et de coûts souvent rencontrés avec Spark à grande échelle, Lightning Engine vise à améliorer significativement la vitesse d'exécution des requêtes, les entrées/sorties de données (I/O) et l'utilisation des ressources.

En bref, ce nouveau moteur :

• Optimise intelligemment les requêtes Spark avec un planificateur avancé.
• Exécute les tâches plus rapidement grâce à un moteur natif (basé sur Apache Gluten et Velox) optimisé pour le matériel Google.
• Réduit les données échangées (shuffle) entre les étapes de calcul.
• Accélère la lecture des fichiers (ex: Parquet) avec des techniques de préchargement et de cache.
• Améliore l'accès aux données via des connecteurs optimisés pour Google Cloud Storage et BigQuery (ex: transfert direct au format Apache Arrow).

A suivre !

Apigee X

Quand la gestion d'API rencontre l'IA générative :

• ​Gemini Code Assist débarque en GA dans Apigee pour le développement d'API ! Directement depuis VS Code, vous pouvez utiliser des prompts en langage naturel pour designer, créer, itérer et gérer vos spécifications OpenAPI. Cela inclut la génération de specs OpenAPI, l'itération via chat, le test avec des mock servers, la publication sur API Hub et même la détection de duplicatas d'endpoints. Un vrai coup de boost pour le cycle de vie de vos APIs ! Pour en savoir plus, consultez le tutoriel et la doc de configuration.

Colab Enterprise Notebooks

Des nouveautés pour les data scientists utilisant Colab Enterprise :

• Python 3.11 est maintenant disponible dans Colab Enterprise ! Les runtimes et templates existants resteront sur Python 3.10.
• Lors de la création d'un template de runtime, vous pouvez maintenant le configurer pour utiliser la dernière version de Python disponible ou spécifier une version. L'option "Latest" signifie que vos runtimes utiliseront automatiquement les nouvelles versions de Python dès leur introduction. Pour les templates par défaut existants, il faudra soit les supprimer pour qu'ils se recréent avec "Latest", soit modifier la version via l'API REST (un peu bof ça quand même 😒).

Cloud Trace pour l'IA Générative

Tracez vos applications d'IA générative comme un pro 🕵️‍♂️ : découvrez comment instrumenter vos applications d'IA générative en utilisant OpenTelemetry et le framework LangGraph. Cela permet de collecter des informations sur les actions de votre agent IA. Vous pouvez visualiser ces événements dans le Trace Explorer. Un guide pratique pour instrumenter un agent LangGraph ReAct avec OpenTelemetry est également disponible.

Contact Center AI Insights

Des analyses plus intelligentes pour vos centres de contact : Contact Center AI Insights propose désormais une "analyse fusionnée" (merged analysis), qui affiche les résultats précédents de chaque type d'analyse à côté de votre résultat d'analyse le plus récent. Pratique pour éviter de relancer plusieurs fois les mêmes analyses.

Google Agentspace 🤖

L'assistant intelligent pour l'entreprise s'améliore : pour Google Agentspace Enterprise, lors de la création d'un événement Outlook Calendar, l'assistant peut désormais suggérer des horaires de réunion en fonction de la disponibilité des participants. Demandez simplement à l'assistant de planifier une réunion et les créneaux appropriés apparaîtront.

Produits Data en vrac... 📦

• Spanner: la copie efficace des backups incrémentiels est maintenant activée. Spanner optimise la copie en évitant les redondances si des backups plus anciens existent déjà sur l'instance de destination, économisant stockage et coûts réseau.
• Datastream: Datastream supporte maintenant MongoDB comme source ! Cette fonctionnalité est en Preview. 🍃
• Dataform: Vous pouvez maintenant utiliser le mode "strict act-as" pour ajouter une vérification de sécurité supplémentaire pour certaines actions utilisateur dans Dataform. C'est en Preview.
• Cloud SQL for SQL Server: Le recommandeur de mémoire serveur maximale est disponible. Il vous aide à optimiser l'allocation mémoire pour éviter les problèmes de performance.
• Bigtable: Vous pouvez maintenant supprimer des vues matérialisées logiques et continues directement depuis la console Google Cloud. Plus d'infos sur la suppression de vues logiques ou la suppression de vues matérialisées continues.
• AlloyDB & AlloyDB Omni: Vous pouvez désormais démarrer, arrêter et redémarrer vos instances primaires et vos pools de lecture AlloyDB via la console Google Cloud et gcloud CLI (GA).L'opérateur AlloyDB Omni Kubernetes version 1.4.1 est en GA. Il inclut des corrections de bugs, notamment pour outrepasser les paramètres de réplication (comme wal_keep_size - nécessite la version de base de données 15.7.1+), le support des noms de DBCluster jusqu'à 63 caractères, et d'autres améliorations de stabilité. Plus de détails sur la réplication inter-centres de données.

Autres produits ☁️

• Virtual Private Cloud: Vous pouvez assigner des adresses IPv6 BYOIP (Bring Your Own IP) à la plage d'adresses externes d'un sous-réseau. Ces plages peuvent être utilisées par les instances VM. Cette fonctionnalité est en disponibilité générale.
• Places Swift SDK for iOS: La version 10.0.0 du Google Places Swift SDK for iOS est disponible, passant de la v5.x à la v10 pour s'aligner avec Places SDKs for iOS. Le Places Swift SDK for iOS est passé de Preview à GA. Le Place Details UI Kit est maintenant en GA.
• Places SDK for iOS: La version 10.0.0 du Places SDK for iOS est disponible. Le Places Swift SDK for iOS (mentionné ici aussi, probablement pour la compatibilité/écosystème) est passé de Preview à GA.
• Places SDK for Android :Le Place Details UI Kit est maintenant en GA. Le widget Place Autocomplete est maintenant disponible pour Autocomplete (New). La version 4.3.1 du Places SDK for Android est disponible.
• NetApp Volumes: Le niveau de service Flex supporte maintenant la fonctionnalité d'auto-tiering en Preview (uniquement pour les pools zonaux Flex à performance personnalisée). Plus d'infos sur la gestion de l'auto-tiering. La fonctionnalité de coffres-forts de sauvegarde inter-régions est en GA.
• Identity and Access Management (IAM): Workforce Identity Federation supporte la journalisation d'audit détaillée (GA), utile pour le dépannage des problèmes de mappage d'attributs.
• Google SecOps SOAR: La Release 6.3.46 est disponible pour toutes les régions. La fonctionnalité d'équilibrage de charge d'environnement est disponible, offrant une meilleure stabilité et un partage équitable des ressources dans les environnements multi-tenants. Plus d'infos sur la gestion de l'équilibrage de charge d'environnement. La Release 6.3.47 est en cours de déploiement progressif. Détails ici.
• Google SecOps SIEM & Google SecOps: Nouveaux flux basés sur le Storage Transfer Service (STS) sont en Preview. Cela concerne GOOGLE_CLOUD_STORAGE_V2, GOOGLE_CLOUD_STORAGE_EVENT_DRIVEN, AMAZON_S3_V2, AMAZON_SQS_V2, AZURE_BLOBSTORE_V2. Voir la configuration par type de source.
• Google Kubernetes Engine (GKE): En version 1.32.2-gke.1297000 et ultérieures, vous pouvez exécuter des charges de travail GPU sur des nœuds GKE confidentiels avec le type de machine A3 High et des GPU NVIDIA H100 (Preview). Plus d'infos sur le chiffrement des données GPU en cours d'utilisation. En version 1.32.2-gke.1297000 et ultérieures, vous pouvez utiliser les technologies Confidential Computing Intel TDX et AMD SEV-SNP avec les nœuds GKE confidentiels (GA). Plus d'infos sur le chiffrement des données des charges de travail en cours d'utilisation.
• Google Cloud Contact Center as a Service (CCaaS):
  • La version 3.35 est sortie. Les calendriers de déploiement varient.
  • L'intégration QM inclut désormais les événements de session de chat. Voir Intégration QM, SIPREC et WFM.
  • Nouvelle configuration d'e-mail d'expéditeur pour les e-mails de réponse automatique (adresse "no-reply"). Voir configurer un compte e-mail sortant uniquement et configurer un e-mail de réponse automatique.
  • Possibilité de supprimer les lignes d'objet des e-mails lors de la suppression des données d'interaction.
  • Vous pouvez maintenant inclure des images dans les e-mails sortants (agents et réponses automatiques). Voir adaptateur e-mail agent et configurer un e-mail de réponse automatique.
• Filestore: Vous pouvez maintenant utiliser le driver CSI Filestore pour créer des instances Filestore avec le protocole NFSv4.1 depuis GKE, pour les niveaux de service zonaux, régionaux et entreprise.
• Container Optimized OS:Support des outils NVIDIA MFT Tools sur COS. Injection du périphérique de caractères du canal IMEX pour les GPU GB200.
• Compute Engine: Les types de machines A3 Ultra optimisées pour les accélérateurs sont disponibles dans de nouvelles régions et zones (Mumbai, Delhi, St. Ghislain, Eemshaven, Council Bluffs, Moncks Corner, Ashburn, The Dalles, Dallas). Liste complète ici.
• Cloud Run: Plusieurs régions bénéficient d'une réactivité améliorée pour les applications sensibles à la latence pour les URL de service Cloud Run.
• Cloud Logging commence à appliquer les nouveaux quotas régionaux basés sur le volume, remplaçant le quota global unique pour les appels d'écriture d'entrées de journal. Plus d'infos sur les quotas et limites de l'API Logging.
• Cloud Build: Vous pouvez maintenant créer des déclencheurs de build qui construisent à partir de dépôts connectés à Developer Connect.
• Apigee X (Autres fonctionnalités): En preview publique : le processeur d'extension Apigee supporte le traitement du corps des requêtes et des réponses lors de la création d'une extension de service de load balancer. Voir Démarrer avec le processeur d'extension Apigee.
• Apigee UI: Le calendrier d'arrêt de l'interface utilisateur classique d'Apigee a été annoncé le 29 mai.
• Apigee Integrated Portal: en GA, l'interface utilisateur d'administration du portail développeur intégré Apigee est dans la console Google Cloud. Vue d'ensemble de la publication.
• Apigee Advanced API Security: Support étendu des régions d'exécution pour inclure africa-south1 (Johannesburg). Liste des régions supportées.

A savoir... 🧐

Quelques ajustements et informations importantes cette semaine :

• Security Command Center améliore son support pour la résidence des données dans l'UE et aux États-Unis (GA).
• Policy Controller est disponible en version 1.20.3.
• Pour le Places SDK for iOS, le Place Details UI Kit est désormais en GA.
• Google Cloud Contact Center as a Service a bénéficié d'une série de correctifs améliorant notamment l'intégration CRM HubSpot, la gestion des contacts, l'authentification pour les CRM personnalisés, et divers aspects de l'expérience agent et de reporting.
• Le Google Cloud Architecture Center a enrichi ses recommandations d'optimisation des coûts pour l'IA et le ML.
• Container Optimized OS a reçu des correctifs de sécurité (KCTF-b3bf8f6, CVE-2025-46836, CVE-20250-3198), des mises à jour de versions (COS-6.6.87, COS-6.1.134, etc.) et des ajustements de sysctl.
• Des mises à jour de bibliothèques clientes sont disponibles pour Cloud Logging (Java 3.22.4), Bigtable (Python 2.31.0) avec support des vues autorisées et protection contre la suppression pour les vues logiques, et BigQuery (Java 2.50.1 et Python 3.33.0 avec support pour la réservation de jobs).
• Enfin, notez bien : ⚠️ l'interface utilisateur classique d'Apigee (Apigee Classic UI) sera désactivée le 29 août 2025. Préparez votre migration vers la nouvelle UI dans la console Google Cloud !

​

Et voilà pour cette semaine bien remplie ! On se retrouve la semaine prochaine pour d'autres aventures dans l'univers GCP. D'ici là, à vos architectures ! 😉