Post de Bigdatahebdo

L'info IT de la semaine #4 📰 Tu as raté l'évènement annuel de Snowflake à Paris ? Aujourd'hui, Logic@l Conseils revient sur cette info IT qui a marqué la semaine ! 🚀 #ESN #Lille #Paris #Bruxelles #IA #Snowflake

Snowflake nous facilite la vie avec une nouvelle fonctionnalité de 𝐥𝐢𝐧𝐞𝐚𝐠𝐞 ! 🤩⁣ ⁣ Ce mercredi est apparue une nouvelle fonctionnalité qui permet de visualiser 𝐥𝐚 𝐠é𝐧é𝐚𝐥𝐨𝐠𝐢𝐞 𝐝’𝐮𝐧 𝐨𝐛𝐣𝐞𝐭 (table, vue, etc) et comprendre en un coup d’œil de quels objets il dépend.⁣ ⁣ Vous pouvez aussi récupérer ces infos par un appel de la fonction 𝘴𝘯𝘰𝘸𝘧𝘭𝘢𝘬𝘦.𝘤𝘰𝘳𝘦.𝘨𝘦𝘵_𝘭𝘪𝘯𝘦𝘢𝘨𝘦(). Et double bonne nouvelle, ça marche aussi pour les modèles ML que vous entrainez dans snowflake.  Par exemple, 𝘮𝘰𝘥𝘦𝘭_𝘷𝘦𝘳𝘴𝘪𝘰𝘯.𝘭𝘪𝘯𝘦𝘢𝘨𝘦(𝘥𝘪𝘳𝘦𝘤𝘵𝘪𝘰𝘯="𝘶𝘱𝘴𝘵𝘳𝘦𝘢𝘮") vous dira à partir de quelles données le modèle s’est entraîné.⁣ ⁣ Et c’est disponible en preview dans toutes les régions de snowflake à partir de l’édition Enterprise. On peut naviguer par niveau (jusqu’à 5 niveaux par défaut).⁣ ⁣ Tout cela est encore assez jeune, on peut reprocher encore quelques manques (mauvaise reconnaissance des tables temporaires par exemple), mais ça va clairement dans le bon sens. ⁣ ⁣ 𝐄𝐧 𝐜𝐨𝐧𝐜𝐥𝐮𝐬𝐢𝐨𝐧, 𝐣𝐞 𝐧𝐞 𝐩𝐞𝐧𝐬𝐞 𝐩𝐚𝐬 𝐪𝐮𝐞 ç𝐚 𝐯𝐢𝐞𝐧𝐝𝐫𝐚 𝐫𝐞𝐦𝐩𝐥𝐚𝐜𝐞𝐫 𝐭𝐨𝐮𝐭 𝐝𝐞 𝐬𝐮𝐢𝐭𝐞 𝐝𝐞𝐬 𝐬𝐨𝐥𝐮𝐭𝐢𝐨𝐧𝐬 𝐬𝐩é𝐜𝐢𝐚𝐥𝐢𝐬é𝐞𝐬 𝐞𝐧 𝐠𝐨𝐮𝐯𝐞𝐫𝐧𝐚𝐧𝐜𝐞, 𝐦𝐚𝐢𝐬 ç𝐚 𝐩𝐞𝐫𝐦𝐞𝐭𝐭𝐫𝐚 𝐚𝐮𝐱 𝐝é𝐯𝐞𝐥𝐨𝐩𝐩𝐞𝐮𝐫𝐬 𝐞𝐭 𝐚𝐧𝐚𝐥𝐲𝐬𝐭𝐞𝐬 𝐝𝐞 𝐜𝐨𝐦𝐩𝐫𝐞𝐧𝐝𝐫𝐞 𝐩𝐥𝐮𝐬 𝐫𝐚𝐩𝐢𝐝𝐞𝐦𝐞𝐧𝐭 𝐥𝐞𝐬 𝐦𝐨𝐝è𝐥𝐞𝐬 𝐝𝐞 𝐝𝐨𝐧𝐧é𝐞𝐬. A vous de jouer avec et dites-moi ce que vous en pensez ! 🕹️ #snowflake_advocate #data_superhero

#SnowflakeSummit #Keynote #Day2 - Le résumé en 🇫🇷  [Part 4️⃣] Terminons sur la troisième grande ambition de Snowflake! 3️⃣ Accélérer l’IA des entreprises Première bonne nouvelle: les #Notebooks Snowflake sont désormais en PuPr*, et les #ContainersRuntimes entrent en PrPr* pour provisionner des Notebooks Snowflake utilisant des GPUs ⚡ et des frameworks de deep learning 🧠 comme #PyTorch. #InlineCopilot va faire gagner les Data Scientists en fluidité et productivité en les aidant à corriger et optimiser leurs requêtes. Et pour tous les utilisateurs Snowflake, #Copilot 👮♂️ 👮♀ est désormais disponible en GA dans Snowsight. Autre bonne nouvelle pour les Data Scientists: ils peuvent désormais utiliser directement leur code 🐼 #Pandas pour l’exploration et la préparation des features grâce à la #SnowparkPandasAPI (PuPr*): celui-ci s’exécutera dans Snowflake de façon parallélisée. Le #ModelRegistry (GA) 📓 de Snowflake permet de gérer en toute sécurité les modèles et leurs métadonnées, quelle que soit l’origine du modèle, et ce de façon parfaitement intégrée avec #SnowparkML Modeling (GA) et le #FeatureStore. Et pour ce qui est des features rendant le Machine Learning plus accessible? #CortexSearch 🔎 (bientôt en PuPr*) révolutionne l'accès à la donnée non-structurée. Service complètement managé, il gère l'ensemble du processus d'embedding et de récupération des données, avec une précision maximale grâce à une approche hybride (recherche sémantique et lexicale). Cortex #Finetuning (PuPr*) permet désormais de customiser des #LLMs pour une tâche spécifique sous la forme d’un service entièrement géré. Appelez la fonction FINETUNE() en lui précisant simplement le modèle que vous souhaitez finetuner et les données d’entraînement et de validation, et le tour est joué ✅ ! *PrPr signifie Private Preview et PuPr Public Preview. Ce sont les phases de mise sur le marché d’une nouvelle fonctionnalité Snowflake avant qu’elle passe GA c’est-à-dire Generally Available.

Snowflake, la data plateforme dont tout le monde parle... 👀 Et que Jade Le Van vulgarise à la perfection sur le Podcast DataGen de Robin Conquet (qu'on ne présente plus 😅). Au menu: 🐣 La genèse de Snowflake : une plateforme Analytics et #IA dans le #Cloud 🚀 Pourquoi elle est adoptée massivement (simplicité & rapidité pour activer la donnée) 🤖 Les fonctionnalités IA et nos convictions chez Snowflake (abstraire la complexité, faciliter l’usage de petits modèles plus efficients) 🔥 Les “rivalités” sur le marché, nos nouvelles fonctionnalités d’ingestion, le format #Iceberg. Laurent DELIA Cecile Margnac Cécil Bove Thomas Gourand 🇫🇷 Inès POGGI Pierre Brouant Marine Vermeulen Nathalie Azoulay Jean-Philippe ISSALY

🎙️ Plongez dans l’univers de la data et de l’IA avec Jade Le Van sur le podcast DataGen, animé par Robin Conquet ! Programme: ❄️ L’histoire de Snowflake, devenue une plateforme incontournable pour l’Analytics et l’IA dans le Cloud. ❄️ Pourquoi les organisations l’adoptent massivement : simplicité, rapidité et activation de la donnée. ❄️ Nos convictions sur l’IA : abstraction de la complexité, focus sur l’efficacité des petits modèles. ❄️ Les évolutions du marché, nos innovations sur l’ingestion et le format Iceberg.

🗣️ Présentation suivante : Suite à l'engouement du module Snowflake, ce dernier évolue et devient compatible Hyvä en plus de s'offrir une nouvelle feature !!! 🤯 Il est désormais possible de sélectionner une "fête"!qui va injecter un preset d'icônes ! Pour découvrir le projet, retrouvez le dépôt GIT ici : ➡️ https://lnkd.in/dCqfMQzu

Les dataframes Pandas 🐼 sont des éléments indispensables, utilisés par des milliers de data engineers et data scientists, notamment dans Snowflake, afin de préparer, transformer et extraire des informations, à partir de différentes sources de données. Bien que très utilisées, les dataframes Pandas souffrent d'une limitation majeure ; leur incapacité à traiter des volumes massifs, tels que ceux de nos clients, dans la mesure où leur traitement n'est pas distribué. Grâce au rachat de Ponder, et de sa librairie Modin, en fin d'année dernière par Snowflake, vous disposez désormais de toute la puissance des dataframes Pandas sans cette contrainte ; tous vos traitements sont désormais distribués sur l'ensemble des noeuds disponibles de votre warehouse. Démonstration en moins de 30" avec ce Quickstart : https://lnkd.in/enAFrnAA

Petit résumé de notre semaine "agrégation" et des choix de nos experts Snowflake #aggregation #indexing #snowflake

[NOUVEAU PROJET] Parle-moi de ta big data 🗂️ Type de projet : Création d’une plateforme collaborative sous Docusaurus 🎯 Objectif : Une plateforme de documentation et reliée à GitHub pour collecter les retours d’expérience des utilisateurs de la solution Starlake 💡 Compétences : #developpement, #webdesign 💛 On a aimé : être à fond dans les codes de la tech !    👉 Tout savoir : https://lnkd.in/g9iqXzDK

𝐓𝐚𝐛𝐥𝐞𝐬 𝐃𝐲𝐧𝐚𝐦𝐢𝐪𝐮𝐞𝐬 𝐝𝐞 𝐒𝐧𝐨𝐰𝐟𝐥𝐚𝐤𝐞: 𝐠𝐚𝐦𝐞 𝐜𝐡𝐚𝐧𝐠𝐞𝐫 𝐩𝐨𝐮𝐫 𝐥𝐚 𝐁𝐈 𝐀𝐠𝐢𝐥𝐞? 👉 La semaine dernière chez Indexima on a causé AGREGATION car elle nous obsède depuis plusieurs années en soulevant de nombreuses questions en raison de sa complexité et de son apparente contradiction. Insight 1️⃣: sans l'agrégation, la BI devient lente et/ou coûteuse. Insight 2️⃣: Pour relever les défis de la granularité, de la complexité de la modélisation et du biais d'analyse, une agrégation automatique est nécessaire pour trouver un équilibre entre rapidité et qualité. Insight 3️⃣: Les tables dynamiques de Snowflake offrent la meilleure solution pour optimiser les performances des requêtes complexes en réduisant la quantité de données à traiter. Chez Indexima, Autopilot automatise nous avons choisi les tables dynamiques de Snowflake pour répondre aux enjeux de performance et de flexibilité.