Améliorations significatives pour Vertex AI #
L’ajout le plus notable est Gemini 1.5 Pro. Il prend en charge jusqu’à un million de tokens dans une fenêtre de contexte, ce qui pourrait éliminer le besoin d’affiner les modèles ou d’utiliser le RAG (retrieval augmented Generation) pour corriger les réponses du modèle.
Gemini 1.5 Pro peut également traiter les flux audio, y compris la parole et le son des vidéos. Cela permet aux utilisateurs de bénéficier d’une analyse multimodale et d’obtenir des informations sur le texte, les images, les vidéos et le son. Il offre également un support pour la transcription, qui peut être utilisé pour rechercher du contenu audio et vidéo.
Les nouveautés de Imagen 2 et l’arrivée de Codegemma #
Imagen 2, un autre LLM de Google Cloud, a également été amélioré. Il propose maintenant des capacités d’édition de photos, la possibilité de créer des vidéos de 4 secondes et des « images en direct » à partir de commandes textuelles. CodeGemma, un modèle léger de la famille propriétaire Gemma, est également une nouvelle addition aux mises à jour LLM de Vertex AI.
Google a également annoncé qu’il permettrait aux équipes d’utiliser des LLM dans Google Search ainsi que leurs propres données via Vertex AI. Cette initiative vise à aider les entreprises à obtenir des réponses plus précises de leurs modèles de base, qui peuvent rapidement devenir obsolètes et ne pas inclure les informations dont les modèles ont besoin pour les cas d’utilisation de l’entreprise.
Expansion des capacités MLops dans Vertex AI #
Google Cloud a également étendu les capacités MLops de Vertex AI pour aider les entreprises dans leurs tâches d’apprentissage machine. Une fonctionnalité étendue, appelée Prompt Management, aide les équipes à expérimenter des invites, à les migrer et à les suivre, ainsi qu’à suivre les paramètres.
D’autres outils d’évaluation ont également été ajoutés, dont un actuellement en preview pour évaluer les performances du modèle lors de la conception de l’invite. De plus, Google Cloud a étendu la résidence des données stockées au repos pour les API Gemini, Imagen et Embeddings de Vertex AI à 11 nouveaux pays.
Introduction d’un agent builder pour Vertex AI #
Google Cloud a lancé une offre d’agent builder basée sur l’IA générative pour rivaliser avec des concurrents tels que Microsoft et AWS. Vertex AI Agent Builder, une offre no-code, combine Vertex AI Search et le portefeuille de produits Conversation de Google pour proposer une gamme d’outils pour construire plus rapidement des chatbots étayés par les LLM Gemini.
L’offre comprend également des extensions, des fonctions et des connecteurs de données pour Vertex AI. Les extensions Vertex AI sont des modules préconstruits pour connecter un LLM à une API ou un outil spécifique. Les fonctions Vertex AI aident les développeurs à décrire un ensemble de fonctions ou d’API et à faire en sorte que Gemini sélectionne intelligemment la bonne API ou fonction à appeler, ainsi que les paramètres API appropriés.
- Les nouvelles fonctionnalités de Vertex AI incluent le support des flux audio et la transcription
- Imagen 2 offre maintenant des capacités d’édition de photos
- Introduction d’un agent builder pour faciliter la création de chatbots
