La transformation de vertex AI #
Cette mise à jour majeure a été annoncée lors de l’événement Google Next à Las Vegas. Un des points forts est l’introduction de Gemini 1.5 Pro, qui est capable de prendre en charge jusqu’à un million de tokens en fenêtre contextuelle.
La capacité de Gemini 1.5 Pro à traiter les flux audio, y compris la parole et le son des vidéos, est une caractéristique impressionnante. Cette fonctionnalité permet aux utilisateurs d’analyser et d’obtenir des informations sur le texte, les images, les vidéos et le son de manière multimodale. De plus, ce modèle Pro offre la transcription, facilitant la recherche de contenu audio et vidéo.
Arrivée de imagen 2 et Codegemma #
Le LLM Imagen 2 du catalogue Google Cloud a également évolué. Il propose désormais des capacités d’édition de photos, la possibilité de créer des vidéos de 4 secondes ou des « images en direct » à partir de commandes textuelles. En outre, Google Cloud a introduit CodeGemma, un modèle léger de la famille propriétaire Gemma, parmi les mises à jour LLM de Vertex AI.
Google a également pris des mesures pour aider les entreprises à obtenir des réponses plus précises de leurs modèles de base. Les équipes peuvent désormais utiliser des LLM dans Google Search et leurs propres données via Vertex AI. Selon Google, l’ancrage dans Google Search peut améliorer significativement la précision des réponses.
Amélioration des capacités MLops dans vertex AI #
Google Cloud a étendu les capacités MLops de Vertex AI pour mieux accompagner les entreprises dans leurs tâches d’apprentissage machine. L’une des fonctionnalités étendues, Prompt Management, aide les équipes à expérimenter des invites, à migrer des invites et à suivre les paramètres. Cette fonctionnalité permet également aux entreprises de comparer les itérations d’invites côte à côte pour évaluer l’impact de petits changements sur les résultats.
L’extension des fonctionnalités comprend également des outils d’évaluation, dont un actuellement en preview pour évaluer les performances du modèle lors de l’itération de la conception de l’invite. De plus, Google Cloud a étendu la résidence des données stockées au repos pour les API Gemini, Imagen et Embeddings de Vertex AI à 11 nouveaux pays, dont l’Australie, le Brésil et la Finlande.
Introduction de l’agent builder pour vertex AI #
Pour rivaliser avec des concurrents tels que Microsoft et AWS, Google Cloud a lancé une offre d’agent builder basée sur l’IA générative, Vertex AI Agent Builder. Cette offre no-code, qui combine Vertex AI Search et le portefeuille de produits Conversation de la firme, propose une gamme d’outils pour construire plus rapidement des chatbots étayés par les LLM Gemini.
Le Agent Builder propose également une recherche vectorielle pour construire des systèmes RAG basés sur des embeddings personnalisés. De plus, il offre la possibilité de mouliner les résultats du modèle dans Google Search pour améliorer encore les réponses. Les outils inclus dans l’offre no-code comprennent les extensions, les fonctions et les connecteurs de données de Vertex AI.
Voici une liste des principales améliorations apportées à Vertex AI :
- Enrichissement du portefeuille de LLM avec l’introduction de Gemini 1.5 Pro
- Capacité de traiter les flux audio, y compris la parole et le son des vidéos
- Évolution du LLM Imagen 2 avec des capacités d’édition de photos
- Introduction de CodeGemma, un modèle léger de la famille propriétaire Gemma
- Extension des capacités MLops de Vertex AI
- Lancement d’une offre d’agent builder basée sur l’IA générative, Vertex AI Agent Builder
