DATANOSCO

Merci aux 500+ premiers abonnés ! Et déjà plus de 12 épisodes du #datasommelier ! S1E1 👉 Apache #Iceberg, vers un nouveau standard du stockage de la donnée ? avec Victor Coustenoble https://lnkd.in/eDXaW8Ua S1E2 👉 Découverte de The Apache Software Foundation Foundation, avec JB Onofré https://lnkd.in/esbzkhRC S1E3 👉 #FinOps, halte au gaspillage ... où les bonnes pratiques à mettre en place pour optimiser les coûts d'une plateforme data, avec Matthieu Rousseau et Ismael Goulani https://lnkd.in/eWrZvS6z S1E4 👉 Un #Lakehouse dans un cloud français, économiquement abordable et basé sur des composants #opensource interchangeables, c'est possible ? avec Vincent HEUSCHLING https://lnkd.in/evUk-qhh S1E5 👉 Talaxie, le fork Talend Open Studio. L'initiative de Jean Cazaux https://lnkd.in/ekpAxC2T S1E6 👉 De PowerMart à #IDMC, en passant par #PowerCenter, Christophe FOURNEL retrace les 30 dernières années d'Informatica https://lnkd.in/es-5-iH9 S1E7 👉 Le retour des 'Data Platforms'. Interview de Eric Mattern https://lnkd.in/evZ47CMP S1E8 👉 Le projet #Icehouse avec Victor Coustenoble, une plateforme #Lakehouse intégralement gérée, qui combine le moteur de requête #opensource #Trino et Apache Iceberg. https://lnkd.in/eTWmnUk3 S1E9 👉 Retour sur la conférence #Subsurface, organisée par Dremio qui s'est déroulée les 2 et 3 mai 2024 à New York. Charly Clairmont en profite pour nous rappeler ce qu'est Dremio et ses différents cas d'usages. https://lnkd.in/eYWGSyh2 S1E10 👉 La gouvernance de données, c'est d'abord une question organisationnelle ! Daniel MALOT nous parle de son expérience terrain et décrit les étapes nécessaires pour mener à bien un projet de gouvernance en nous faisant découvrir quelques aspects de sa solution META ANALYSIS. https://lnkd.in/eeP7HQw7 S1E11 👉 Pierre Villard retrace l'histoire de la solution Apache NiFi, véritable gateway universelle permettant le développement de pipelines de mouvements de données, aussi bien en mode batch qu'en streaming. https://lnkd.in/e-daVV7n S1E12 👉 Le streaming, une nouvelle façon de penser l'architecture des applications et d'améliorer les usages de la data ! Fred CECILIA constate que le #streaming s'impose naturellement lorsqu'on a vainement essayé d'optimiser les batch existants https://lnkd.in/edM24ybU S1E14 👉 Alexandre Guillemine de chez Foodles nous détaille toutes les étapes de son projet de migration de #PostgreSQL vers Snowflake ! https://lnkd.in/edA9M3qd S1E15 👉 Amphi, un ETL #opensource pour faire du RAG, développé par Thibaut Gourdel ! https://lnkd.in/eQuTgZ6q S1E16 👉 Cloudera, de l'ère Bigdata à l'ère de l'IA, interview de Denis FRAVAL https://lnkd.in/efgh4b6E S1E17 👉 DCP, la Data Platform ClickOps Self Service, avec le témoignage d'EDF. Interview de Frederic Collin et Edouard Rousseaux https://lnkd.in/gKuDQAHG

Valoriser et entretenir son patrimoine de données. Entre hommes et données, il existe un lien profond, tout comme entre les hommes et leurs histoires. À une époque où les données dominent, n'oublions pas qu'il est essentiel d'invoquer les sages de l'ancienne école – les linguistes, les philosophes, et les experts en gouvernance – pour structurer et nommer ce qui nous entoure. Découvrez pourquoi notre approche humaine reste au cœur de la gestion des données. Mais surtout, ne tolérez pas le désordre et la confusion qui naissent de ce "mal nommer les objets".

Je redécouvre cet article sur un sujet qui m'a toujours été cher et qui a même été au coeur de mon activité pendant un temps le knowlege management. C'est peut être, d'ailleurs, lorsque je n'ai plus eu à travailler sur le sujet que je me suis rendu compte, en tant que personne devant mobiliser les savoirs pour faire avancer les choses, à quel point l'absence d'une pratique KM bien établie était pénalisante dans de nombreux domaines. Donc un article qui revisite 30 ans de pratique du KM et dont j'attendais la réponse à une question "où en est on aujourd'hui et a-t-on fait des progrès". En résumé... Le KM est apparu il y a trois décennies avec des ouvrages comme The Knowledge-Creating Company de Nonaka et Takeuchi et Working Knowledge de Davenport et Prusak. L'idée ? Capturer et partager l'expertise organisationnelle pour mieux innover et rester compétitif. Contrairement aux données ou informations, la vraie connaissance est intangible, souvent non documentée, et réside dans les esprits des collaborateurs. À ce jour, la plupart des entreprises peinent encore à identifier et exploiter pleinement leur savoir collectif, un défi accentué par des départs massifs comme ceux observés pendant la "Grande Démission". Il a connu trois étapes : 1: Années 90 : Focus technologique – grandes bases de données, mais désillusion rapide. 2: Années 2000 : Accent sur les personnes – émergence des communautés de pratique (CoPs). 3: Depuis 2018 : Adoption de la norme ISO 30401 et rôle croissant de l’IA comme facilitateur. Les tendances d'avenir sont l'IA, la rétention des connaissances, et le partage inter-fonctionnel. Mais attention à ne pas surévaluer la technologie : la clé reste l'humain. Comme le disait Lew Platt (HP) : « Si seulement HP savait ce que HP sait… ».... C'est d'ailleurs ce qui tendrait à me faire douter le plus que cela fonctionne mieux dans l'avenir qu'aujourd'hui. D'un côté, de par ma pratique, je vois bien comment l'IA aurait pu à un moment servir de catalyseur, de facilitateur, aurait peu aider à passer à l'échelle pour que le KM ne soit pas qu'un truc à l'usage des convaincus. Mais à un moment il reste le frein principal la connaissance n'est nulle part ailleurs que dans la tête des gens et faute de pouvoir l'extraire de force il faut un déclencheur pour qu'ils la partagent et là je ne vois pas comment la technologie seule peut y parvenir à moins qu'elle n'aille d'elle-même chercher où cette connaissance a pu être exprimée outils de collaboration, outils métier...mais cela pose des questions de privacy. Vous en pensez quoi ? #km #knowledgemanagement #IA

Demystifying AI Agents: Your One-Stop FAQ! Yesterday, I posted my podcast. Today, I am sharing my Medium blog, a comprehensive FAQ to understanding AI agents! In this blog, we'll tackle everything you need to know, including: 1️⃣ What exactly are AI agents, and how do they work? 2️⃣ What are the different types of AI agents? 3️⃣ What is an agent development lifecycle? 4️⃣ How do you build your own AI agent? 5️⃣ What are the key components of an AI agent architecture? 6️⃣ What are AI agent frameworks, and how can they help you? 7️⃣ Plus, we'll explore valuable lessons learned and common pitfalls to avoid! https://lnkd.in/gtQCkVXC Thanks #AI #AIagents #machinelearning #artificialintelligence #LLM #chatbots #AIassistant #copilot

Merci Stéphane pour l'invitation. Replay 👇

Budgets, risques, relations avec les métiers... : 8 réalités à laquelle se heurtera la #DSI en 2025 #IT

📊 À l'heure du prompting, de la GenAI 🤖 et de l'information en temps réel 🌐, quelle place pour la data visualisation ? Dans un monde où les modèles génératifs et l’IA transforment notre manière de consommer et de produire de l’information, la data visualisation reste un pilier fondamental pour comprendre et donner du sens aux données. Elle ne se contente pas de suivre l'évolution technologique, elle s'adapte et innove pour continuer à rendre l'information accessible et impactante. ✨ Un voyage dans l’histoire de la data visualisation, siècle après siècle : 📜 XVIIIe siècle : William Playfair Considéré comme le père de la data visualisation, William Playfair (1759–1823) est l’inventeur des graphiques à barres 📊, des graphiques linéaires 📈 et du camembert 🥧. Dans son célèbre ouvrage "The Commercial and Political Atlas", il montre comment les graphiques peuvent raconter des histoires puissantes sur les balances commerciales et la croissance économique. 📖 XIXe siècle : Charles Joseph Minard L’ingénieur français Charles Minard (1781–1870) est célèbre pour sa carte de la campagne de Russie de Napoléon 🎖️❄️. Ce chef-d'œuvre combine plusieurs dimensions de données (taille des troupes, température, distance) en une seule visualisation saisissante. C'est un exemple emblématique de la puissance des visuels pour transmettre des histoires complexes. 📘 XXe siècle : Edward Tufte Souvent surnommé le "Leonardo da Vinci de la Data Visualisation", Edward Tufte (né en 1942) a redéfini les standards de la visualisation avec ses ouvrages comme The Visual Display of Quantitative Information. L’un de ses principes fondamentaux est d’éliminer le "chartjunk" pour se concentrer sur la clarté et la précision. Son soutien à des visualisations riches en détails, comme les sparklines, a influencé de nombreux professionnels. 🌟 XXIe siècle (nouvelle génération) : Nadieh Bremer Nadieh Bremer est une data designer qui fusionne art et science pour créer des visualisations captivantes et innovantes 🎨. Son projet "Data Sketches", en collaboration avec Shirley Wu, explore les limites créatives de la data visualisation interactive. Avec ses créations élégantes et narratives, elle incarne une nouvelle génération qui mêle storytelling et technologie. 🚀 Et aujourd’hui ? Alors que les données explosent 📈, la data visualisation reste plus que jamais essentielle pour donner du sens à ce flux d’information et inspirer des décisions éclairées. 🤔 Et vous, quelles sont vos inspirations en matière de data visualisation ? ➡️ Êtes-vous fasciné par les chefs-d'œuvre historiques comme ceux de Playfair ou Minard ? ➡️ Ou préférez-vous expérimenter avec des visualisations modernes et interactives à la Nadieh Bremer ? #DataVisualisation #Datastorytelling 📜 #WilliamPlayfair 📊 #CharlesMinard 📖 #EdwardTufte 📘 #StephenFew 💡 #NadiehBremer 🌟 #GENAI 🤖

REPLAY - dbt en Live ! démo, prise en main, Q&A (copy) dbt en Live (replay du meetup DCube Modern Data Stack France du 3 décembre 2024) ! Animé par Céline Vicente, Julien FOURRE, Wilson Ruzindana Ngabo qui démontrent les fonctionnalités principales de l’outil, des cas d’usage concrets, des retours d’expériences et de mise en œuvre. 👉 Au programme : ● Contexte data/cloud de la transformation de données ● Concepts d’utilisation de dbt (comparaison avec procédures stockées) ● Avantages de l’outil (linéage, documentation, invite de commande, surcouche python,...) ● Type de matérialisation (tables, views, incremental,…) ● Documentation (format web) ● Snapshot (historisation) ● Test ● Macro/package (surcouche python) ● Seed (chargement csv) ● Architecture mise en place avec dbt

Plateforme Composable Open Source #7 : Platform Management Terminons notre exploration d'une plateforme de données composable open-source ! Aujourd'hui, focus sur les outils de gestion de plateforme, essentiels pour maintenir et optimiser vos opérations data. Pourquoi est-ce important ? Les outils de gestion de plateforme sont cruciaux pour : - Assurer la qualité et la gouvernance des données - Automatiser et orchestrer les workflows - Garantir la conformité et la sécurité - Optimiser l'impact environnemental Nous avons identifié 6 catégories principales d'outils : - Qualité des données : Great Expectations, Deequ, Elementary, Soda Core - Gouvernance : Datahub, Open Metadata, Amundsen, Apache Atlas, Marquez, Magda, Spline - Workflow Manager : Apache Airflow, Dagster Labs, Prefect, Argo Workflows, Kestra, Apache Dolphinscheduler, Luigi, Mage.ai - Automation : n8n, Zapier - Green IT : Cloud Carbon Footprint, Code Carbon, Green Analysis Tools, SCI - Conformité & Sécurité : ARX, Amnesia Ces outils se distinguent par leurs cas d'usage : - Les outils de qualité des données pour garantir la fiabilité - Les solutions de gouvernance pour la traçabilité et la documentation - Les gestionnaires de workflow pour l'orchestration des pipelines - L'automatisation pour simplifier les processus - Le Green IT pour réduire l'impact environnemental - La conformité pour protéger les données sensibles Avez-vous déjà utilisé ces outils ? Quelles sont vos expériences ? Quels sont vos favoris ? Vous pouvez retrouver l'ensemble des éléments sur la page GitHub en commentaire. Y a-t-il d'autres solutions open-source que vous recommanderiez ? Partagez vos insights dans les commentaires ! #OpenSource #Composable #DataQuality #DataGovernance #Workflow #Automation #GreenIT #DataSecurity #DataOps #DataManagement

CDP ? Qu'est-ce qu'une Customer Data Platform ? On le découvre avec Oussama Ghanmi qui a développé DinMo (Data In Motion), une Customer Data Platform (CDP) qui se différencie des solutions traditionnelles en s'intégrant directement aux modèles des systèmes sources comme Snowflake, Databricks ou BigQuery. DinMo fournit aux équipes marketing un accès facile et autonome à des informations enrichies pour une meilleure segmentation et personnalisation "clients". L'approche est modulaire et collaborative tout en offrant des fonctionnalités d'enrichissement, de segmentation, et d'activation omnicanal. Le modèle économique vise à rendre cette technologie accessible à des entreprises de toutes tailles. L'émergence des Data Warehouses et Data Lakes a conduit à un changement de paradigme dans le domaine des CDP. ● Les entreprises internalisent de plus en plus la gestion de leurs données, en utilisant des outils comme Snowflake ou Databricks pour centraliser et réconcilier les données. ● Les plateformes CDP de nouvelle génération s'intègrent directement à ces Data Warehouses, évitant ainsi la duplication des données et les problèmes de gouvernance. DinMo est un exemple de plateforme CDP qui s'inscrit dans cette nouvelle approche "composable". ● Intégration native aux data warehouses comme Snowflake ou Databricks ● Prise en compte des données directement à la source, en s'adaptant au modèle de données existant du client. DinMo facilite la collaboration entre les équipes data et les équipes métiers. L'équipe data prépare et expose les données dans le Data Warehouse, tandis que DinMo fournit aux équipes métiers une interface intuitive pour segmenter et activer ces données. Cela permet aux équipes marketing d'être autonomes et d'accéder rapidement aux informations dont elles ont besoin pour personnaliser l'expérience client. En résumé, la valeur ajoutée unique des plateformes CDP réside dans leur capacité à activer les données clients, en connectant les données aux équipes métiers et en permettant une communication omnicanale plus personnalisée et efficace. Les plateformes CDP de nouvelle génération s'intègrent de manière transparente aux data warehouses existants, permettant aux entreprises de tirer pleinement parti de leurs investissements en matière de données