Microsoft Fabric: Dijital Dönüşümde Gücünüzü Artıran Yenilikçi Çözüm
Microsoft Fabric, Microsoft’un veri entegrasyonu ve analitik platformudur. Veri mühendisliği, veri yönetimi, veri analizi ve iş zekâsı işlevlerini bir araya getirir. Microsoft Fabric, tüm bu işlevleri tek bir entegre platformda sunarak veri işlemlerini daha verimli ve ölçeklenebilir hale getirmeyi amaçlar. Günümüzün veri odaklı dünyasında, işletmeler veriyi tek bir yerden sağlanan ve güvence altına alınan platformlarda yönetme ihtiyacını hissetmişlerdir. Buna istinaden Microsoft, Kasım 2023’te Fabric adını verdiği veri taşımadan veri bilimine, gerçek zamanlı analize ve iş zekasına kadar her şeyi kapsayan ürününü kullanıcılara sundu.
Microsoft Fabric Nedir?
Microsoft Fabric, Microsoft’un veri entegrasyonu ve analitik platformudur. Veri mühendisliği, veri yönetimi, veri analizi ve iş zekâsı işlevlerini bir araya getirir. Microsoft Fabric, tüm bu işlevleri tek bir entegre platformda sunarak veri işlemlerini daha verimli ve ölçeklenebilir hale getirmeyi amaçlar. Bu platform basitliği amaçlayarak Azure üzerindeki servislerini bir çatı altında toplayan bir SaaS (Software as a Service) yapısıdır. Böylelikle, veri mühendisi, analisti ya da bilimcisi artık ortak çalışmalar yürütebilecek.
Fabric, Microsoft’un üç ana veri analizi ürünü olan Power BI, Azure Data Factory ve Azure Synapse‘ i barındırmaktadır. (Şekil 1)
Şekil 1. Microsoft Fabric Bileşenleri
Microsoft Fabric Bileşenleri
Veri Mühendisliği (Data Engineering)
Kullanıcıların büyük hacimli verilerle başa çıkmasını sağlamak amacıyla Microsoft Fabric, veri mühendislerine özel olarak tasarlanmış, kapsamlı bir altyapı ve sistem seti sunar.
Veri Bilimi (Data Science)
Microsoft Fabric, kullanıcılara veri zenginleştirme ve iş içgörüleri elde etme amacıyla uçtan uca veri bilimi iş akışlarını başarıyla gerçekleştirmelerine olanak tanıyan bir veri bilimi deneyimi sunmaktadır. Veri bilimi sürecinin her aşamasında, veri keşfi, hazırlığı, temizleme işlemlerinden denemelere, modelleme, model puanlama ve tahminleme faaliyetlerine kadar geniş bir yelpazedeki etkinlikleri başarıyla tamamlayabilirsiniz. Bu süreç, elde edilen içgörülerin BI raporlarına entegre edilmesine kadar uzanmaktadır.
Veri Ambarı (Data Warehouse)
Kullanıcılar sanal veri ambarları oluşturarak veritabanları arasında sorgular ile istediği veriyi görüntüleyebilir. OneLake, Azure Data Lake Depolama veya tek bir sınır içindeki ve yinelenen veri içermeyen başka bir bulut satıcısı depolaması bu ambarların veri kaynağı olabilir. Büyük veriler için Apache Spark ile birleştirilmiş SQL teknolojisini kullanılarak sorgulama yapılabilir. SQL sorgusuna alternatif olarak kod içermeyen bir yol sunan Visual Query düzenleyicisi kullanılabilir. (Şekil 2) Bunlara ek olarak, herhangi bir kullanıcı müdahalesi olmadan kullanım gereksinimleri arttıkça bunlar ölçeklendirebilir veya ihtiyaç duyulmadığında ölçek küçültülebilir.
Şekil 2. Visual Query Örneği
Data Factory
Data Factory, Azure Data Factory ve Microsoft Power Query’ nin en iyi özelliklerini bir araya getirir. SSIS (SQL Server Integration Services)’ın Azure versiyonu olarak bilinen Data Factory ile veri taşıma ve veri dönüştürme işlemleri yapılarak karmaşık veri entegrasyonları ve ETL senaryoları yapılabilir. Burada dataflow ile veri dönüştürme ve data pipeline ile veri kopyalama gibi bir veya birden fazla aktivite yönetimi yapılabilir.
Şekil 3. Data Pipeline Örneği
Gerçek Zamanlı Analiz (Real Time Analytics)
Kullandığımız uygulamalar, IoT cihazları ve yüksek düzeyde işlemsel sistemler sonucunda büyük ölçekli veriler oluşur. Bu verilerin ETL’ini veri ambarına aktaran ve ETL’ i belirli saatlerde çalıştıran sistem işe yaramayabilir. Bu nedenle, kaynak sistemde meydana gelen değişiklikleri, olay işleme ve API gibi mekanizmalar aracılığıyla toplayan bir sistem olan veri akış sistemleri oluşturulur. Microsoft Fabric, veri akışı için gerçek zamanlı analitiklere sahiptir. Bu platformda Eventstream ile birden fazla kaynaklardan veri alınarak ilgili hedeflere (Lakehouse, KQL Database, Custom App) aktarılır. KQL Sorgu Seti ile sorgular hazırlanabilir, kaydedilebilir ve paylaşılabilir. En son olarak Power BI ile gerçek zamanlı raporlar-dashboardlar oluşturulabilir.
Fabric Copilot
İşletim sistemlerinde ve programlarda kullanılan Microsoft Copilot, kullanıcıların çağırdığı uygulama bağlamında çeşitli görevleri hızlı ve akıllıca yerine getiren bir yapay zeka asistanıdır. Kullanıcılar Copilot ile akıllı kod tamamlama, rutin görevleri otomatikleştirme, data pipeline ve dataflow oluşturma, makine öğrenimi modelleri oluşturma veya veri görselleştirme için konuşma dilini kullanabilir. Böylelikle daha hızlı ve daha kolay sonuçlar alınabilir. Microsoft Fabric Copilot kullanılarak istenilen tablolar arasında ilişki kurulmuş ve ihtiyaca göre filtreleme, gruplama, yeni tablo oluşturma gibi işler yapılmıştır.
Sonuç olarak, Microsoft Fabric, tek bir platformda tüm deneyimleri birleştirerek, kuruluşlara veri analitiği alanında eksiksiz bir çözüm sunar, bu da iş süreçlerini daha etkili ve verimli hale getirir.
KAYNAK:
https://erwindekreuk.com/2023/05/introduction-to-real-time-analytics-in-microsoft-fabric/
https://atlan.com/microsoft-fabric/#what-is-microsoft-fabric
https://ilhamidemirci.medium.com/microsoft-fabric-101-540b067df7dc
https://learn.microsoft.com/en-us/fabric/get-started/microsoft-fabric-overview
https://blog.enterprisedna.co/what-is-microsoft-fabric/
Yazar: Ecem Tunç, GTech Senior DWH&BI Manager
