Beitrag von QAware GmbH

The 59th The IT Press Tour will take place in Valletta, Malta, in a few days. Topics will be about IT infrastructure, cloud, networking, security, data management, big data, analytics and storage and of course AI as it is everywhere. We'll meet 6 innovative companies, among them: - DIGIFILM CORPORATION, a emerging player in long term data preservation, - EasyVirt, a specialist in the efficiency of physical and virtual servers, - Indexima, a reference in fast BI and Analytics, - Manticore Search, key actor for information search, - ProxySQL, the fast enabler for MySQL and PostgreSQL, - and Scalytics, the fast growing company in AI federation. #MultiCloud #SecondaryStorage #Archiving #LongTermStorage #DeepArchive #Archiflix #GreentIT #Sustainability #ESG #RSE #Virtualization #VMware #Snowflake #AI #ML #BigData #Search #Indexing #VectorSearch #Analytics #OpenSource #Cache #Performance #SQL #DBOps #MySQL #PostgreSQL #ETL #Connect #GreenIT #Sustainability #ESG #RSE #Virtualization #VMware #ITPT The IT Press Tour

Microsoft Fabric vs. Databricks – Teil 4 Wer orchestriert und rechnet schneller? Bei der Datenintegration und -transformation sind neben der Geschwindigkeit selbstverständlich weitere Faktoren von entscheidender Bedeutung. Dazu zählen die Art und Weise der Anbindung von Datenquellen an die jeweilige Plattform sowie die dafür geltenden Bedingungen. Damit setzten wir unsere große Serie fort und gehen dabei in unserem heutige Beitrag auf die folgenden Aspekte der beiden Plattformen näher ein: - Datenintegration & Transformation - Datenkonnektoren - ETL-Prozesse Beide Plattformen glänzen mit leistungsstarken Funktionen – jedoch mit unterschiedlichen Schwerpunkten. Aber welche Plattform bietet bspw. die besseren Lösungen für Datenpipelines? Ein Überblick: 𝗗𝗮𝘁𝗮𝗯𝗿𝗶𝗰𝗸𝘀: Die Plattform bietet erweiterte ETL-Funktionen und setzt auf die Delta-Lake-Architektur, die schnelle, verlässliche und skalierbare Datenpipelines ermöglicht. 𝗠𝗶𝗰𝗿𝗼𝘀𝗼𝗳𝘁 𝗙𝗮𝗯𝗿𝗶𝗰: Hier steht eine grafische, benutzerfreundliche Oberfläche im Mittelpunkt, die das Erstellen robuster Datenpipelines ohne tiefgehende Programmierkenntnisse vereinfacht. Doch Achtung: Databricks reagiert mit dem neuen Feature LakeFlowConnect, welches sich zur Zeit noch im "Private Preview" befindet, und möchte mit diesem Feature ebenfalls eine Lösung im Low Code Segment anbieten. Alle wichtigen Details haben wir für Sie in einer Slideshow direkt im Anhang zusammengefasst – hier erfahren Sie unter anderem mehr zu: - Delta Live Tables - Fabric Data Factory - Den verfügbaren Datenkonnektoren - Dem neuen Feature LakeFlow Connect - Den jeweiligen Vor- und Nachteilen zur Datenintegration Haben Sie Fragen oder bereits Erfahrungen mit einer der beiden Plattformen gemacht? Teilen Sie diese gerne in den Kommentaren mit uns! — PS: Nächste Woche befassen wir uns mit der Königsdisziplin, den KI und Machine Learning Fähigkeiten. _______________ 🔸Über uns: Wir sind Datasolut, spezialisiert auf maßgeschneiderte KI-Lösungen und die Umsetzung von Lakehouse-Architekturen in der Cloud. Wenn Sie mehr über diese Themen erfahren möchten, freuen wir uns über Ihre Kontaktaufnahme.

💡 Discover how Microsoft DiskANN enhances vector search in #AzureCosmosDB. Learn more about its architecture and performance in the new whitepaper: https://lnkd.in/ec8DFTKH

🚀 Machen Sie den nächsten Schritt in Ihrer IT-Karriere mit Elasticsearch! Möchten Sie Ihre IT-Kenntnisse erweitern und echten Mehrwert für Ihr Unternehmen schaffen? Mit unserem Elasticsearch-Kurs tauchen Sie tief in die Welt der Datenanalyse und Suche ein – praxisnah und zukunftsorientiert. Schwerpunkte der Schulung: • Einführung in Elasticsearch • Optimierung und Skalierbarkeit • Echtzeit-Analysen für Big Data 💡 Bringen Sie Ihre Datenanalysen auf das nächste Level! 👉 Alle Infos und die Anmeldung finden Sie im ersten Kommentar. #Elasticsearch #BigData #SECURIX #ITTraining #DataAnalysis Elastic

🚀Unser neuester Artikel zur Datenbank-Landschaft 2024 ist jetzt im DEV-Insider verfügbar! 🌐 Taucht ein in die neuesten Erkenntnisse und Trends zur Verwaltung von Datenbanken und erfahrt, wie ihr eure Strategien anpassen könnt, um den aktuellen Herausforderungen zu begegnen. #DatabaseManagement #DevOps #TechTrends #Redgate #DEVInsider

Ceph: 20 Years of Cutting-Edge Storage at the Edge https://lnkd.in/gfTxqiYr SUWON, South Korea — Dan van der Ster, CTO of CLYSO and Ceph Executive Council member, said in an OpenInfra Summit Asia keynote speech that as of 2023, “82% of open infrastructure users reported that they’re using Ceph” for data storage. In the beginning, though, Ceph was a University of California, Santa Cruz — Go Banana Slugs! — student project by Sage Weil, who started the project as part of his Ph.D. research. While Ceph started as a 40,000-line C++ implementation of the Ceph File System (CephFS), it has since evolved into a comprehensive storage solution used by organizations worldwide. From the start, however, Ceph was marked by significant support from key institutions. From 2003 to 2007, Lawrence Livermore National Laboratory, Sandia, and Los Alamos National Laboratories backed Weil’s initial work. The object then was to create a horizontally scalable object-based file system for high-performance computing (HPC) workloads at data center scale. Intelligence to the Edge To do this, Weil took a novel approach. Instead of focusing on managing a large array of “dumb” disks, the idea was to push as much of the intelligence to the edges as possible. In addition, the design emphasized building consistent, reliable storage with no single point of failure. These ideas made Ceph different from other storage approaches of its day, such as Lustre, Google File System (GFS) and Parallel Virtual File System (PFVS). This includes the following features: Distributed object storage: Ceph was designed from the ground up as a distributed object storage system, Reliable Autonomic Distributed Object Store (RADOS), rather than a traditional file system. This allowed it to scale to much larger capacities across multiple nodes. Decoupled data and metadata: Ceph separated the management of file metadata from the storage of file data itself. This improved scalability by allowing metadata and data operations to be handled independently. Dynamic distributed metadata management: Ceph used a novel approach called Dynamic Subtree Partitioning (DSP) to adaptively distribute metadata management across servers. This allowed it to scale metadata performance as the system grew. CRUSH algorithm: Ceph introduced the Controlled Replication Under Scalable Hashing (CRUSH) algorithm to deterministically place data across the cluster. This eliminated the need for centralized data allocation tables. Intelligent distributed object storage: Ceph delegated tasks like data migration, replication, failure detection and recovery to the storage nodes themselves, allowing the system to be more autonomous and scalable. Unified storage: Ceph aimed to provide object, block and file storage interfaces from a single platform rather than separate systems for each. Then, between 2007 and 2011, DreamHost, a web hosting company co-founded by Weil, became a crucial supporter of Ceph’s...

I got this line from a CIO in 2019. He meant that they had bought a new server—one server—and it was sitting in a mostly empty rack in a data science manager’s office. It was on a closed network (consumer grade router wired into each team member’s office) that couldn’t be accessed remotely “for security reasons.” Punchline: There was no data on it yet and they hadn’t gotten approval to migrate any datasets. It was a basic install of Redhat with empty MySQL and MongoDB instances. 1% of businesses are ready for AI, while 99%, including some of the biggest companies in the world, are still trying to understand data and the cloud. What should we do? Start with business value. Each technical transformation must have a value-centric justification. Connect infrastructure to the data and AI product roadmap. Develop infrastructure while building and delivering products. Each phase must deliver value, and the product roadmap has initiatives that turn each technology investment into business impacts. It makes the connection clear. If the business wants this revenue and these cost savings, we must invest in these tools. If you’re told, “No, just make do with what we have,” show which initiatives are no longer feasible, either because they cost too much or take too long to be delivered without the infrastructure to support them. Connect investments with the high returns data and AI initiatives can deliver, and you’ll be able to justify a G-650 instead of working on a Dell Ductapeon server. #DataEngineering #DataScience #ProductManagement

🚀 Neue Horizonte in der API-Entwicklung! 🚀 Entdeckt mit uns "GraphQL-Wegweiser: Durchbruch in der API-Entwicklung" – euer ultimativer Kurs, um die Geheimnisse von GraphQL zu entdecken und zu meistern! 🌟 Warum sich begrenzen, wenn es um Datenabfragen geht? Mit GraphQL könnt ihr genau die Daten anfordern, die ihr benötigt - nicht mehr und nicht weniger. Von den Grundlagen bis zu fortgeschrittenen Techniken, wir decken alles ab: Schemadefinition, Resolver, Mutationen, und tiefe Tauchgänge in komplexe Abfragen. 💡 Egal, ob ihr eure Datenbank mit MongoDB oder SQL verbindet, oder wie ihr eure Daten aktualisieren und abfragen wollt – wir haben die Antworten. Dieser Kurs wird nicht nur euer Wissen erweitern, sondern auch eure Fähigkeiten, innovative API-Lösungen zu entwickeln, auf das nächste Level heben. 🎓 Bereit, die Zukunft der API-Entwicklung zu gestalten? Schließt euch uns an und seid Teil der Revolution. #GraphQL #APIEntwicklung #TechInnovation 🌐✨ Lasst uns die Datenabfrage revolutionieren – zusammen! https://lnkd.in/e-eBtrxf

🔍 Entfesseln Sie das Potenzial Ihrer Daten – mit Elasticsearch und SECURIX! Lernen Sie, grosse Datenmengen in Sekundenschnelle zu durchsuchen und wertvolle Einblicke zu gewinnen. In unserer Schulung erfahren Sie, wie Sie Elasticsearch in Ihrer IT-Infrastruktur implementieren und optimal nutzen. Was Sie lernen: • Effektive Datensuche mit Elasticsearch • Arbeiten mit Aggregationen und Volltextsuche • Skalierung und Anpassung an unternehmensweite Anforderungen Profitieren Sie von unserer Expertise und melden Sie sich noch heute an! 👉 Weitere Informationen und Anmeldung: siehe ersten Kommentar. #Datenanalyse #Elasticsearch #SECURIX #ITInfrastruktur #SearchOptimierung #Datenmanagement

🌐 Scale your vector similarity search! The DiskANN algorithm in #AzureCosmosDB offers high-performance and scalable solutions for your data needs. Check out the whitepaper: https://lnkd.in/eqfK_59U