Veri Uygulayıcıları İçin Neden Önemlidir – veritabanimimari.com

NicoElNino / Shutterstock.com

Hızla gelişen veri ortamında, veri uygulayıcıları çok sayıda kavram ve mimariyle karşı karşıyadır. Veri ağı, verilere merkezi olmayan bir yaklaşımı ve verilerin iş alanlarının mülkiyeti altında seçilmiş, yeniden kullanılabilir veri ürünleri olarak sunulmasını savunur. Bu arada, “Rewired” yazarlarına göre veri yapısı, “veri kaynaklarını gerekli veri hareketi olmadan veri dokusuna bağlamak için sanallaştırma yoluyla büyük ölçüde hızlandırılmış ve daha ucuz entegrasyon vaadi” sunuyor.

Bunlar arasında, modern veri yığını (MDS), kuruluşlara veri yönetimi ve kullanımının karmaşıklıkları konusunda rehberlik eden bir yol gösterici olarak öne çıkıyor. Bu sadece başka bir moda kelime değil; Verilerden stratejik bir varlık olarak yararlanma konusunda ciddi olan herkes için önemli bir referans mimarisidir. Bu makalede, modern veri yığını düşüncesinin kökenlerini, modern bir veri yığınının neler sağladığını, neleri kaçırdığına dair gözlemleri, CIO’ların ne kazanmayı umduğunu, GenAI’yi eklemenin önemini ve mimariyi güncellemek için neyin gerekli olduğunu paylaşacağım. günümüzün veri çağı.

Modern Veri Yığınının Doğuşu

“Modern veri yığını” terimi, bulut veri ambarlarının (CDW’ler) ön plana çıkmasıyla ortaya çıktı. FiveTran’ın kurucularının öncülük ettiği bu süreç, eski ayıklama, dönüştürme, yükleme (ETL) süreçlerinden Çıkarma, Yükleme, Dönüştürme (ELT) işlemlerine geçiş anlamına geliyordu. Ancak özünde depolama ve işleme hizmetlerinin birbirinden ayrılmasını yansıtıyordu. Bu paradigma, veri operasyonlarının yeniden tasarlanmasını, yeni veri yönetimi stratejilerini ve yüksek düzeyde ekosistem birlikte çalışabilirliğini gerektirdi. Andreessen Horowitz’in “Modern Veri Altyapısı için Yükselen Mimariler” konulu etkili çalışması, boşlukları eksiksiz bir referans mimarisiyle kapatmayı amaçladı.

Modern Veri Yığınının Temelleri

MDS, sürekli genişleyen bir veri ortamında farklı hizmetlere olan ihtiyacın farkına vararak platformlar arasında veri akışını ve yönetimini düzenler. Bu yalnızca verileri yönetmekle ilgili değil; keşfi, yönetimi, gözlemlenebilirliği kolaylaştırmak ve veri güvenliğinin ve yetkilerin genel olarak uygulanmasını sağlamakla ilgilidir. Ancak sınırlamaları da yok değil.

Sınırlamalara İlişkin Gözlemler

Kapsamlı yapısına rağmen MDS’nin daha fazla geliştirilmesi gereken alanları vardır:

  • Veri keşfi: Veri keşfi, veri kataloglarından çok daha fazlasıdır. Verilerin keşfedilmesini, bu verinin kökeninin keşfedilmesini ve hassas verilerin keşfedilmesini içermesi gerekir.
  • Veri yönetimi bağımsız bir işlev değildir:
    Veri keşfi ve sözlükler, veri gözlemlenebilirliği, veri kökeni, yetkiler ve güvenlik için veri yönetişimi gereklidir.
  • Politika ve kontrol entegrasyonu: Verileri etkili bir şekilde yönetmek ve ölçmek için politikaların kontrollere sorunsuz bir şekilde bağlanması gerekir.
  • Yönetin ve ölçün: Yönetme ve Ölçme, DataOps/Sürekli İyileştirme Düşüncesinin temel bir öğesidir. Bir hedef olarak kuruluşların iyileştirme için dönemleri dönemler halinde ölçmeleri gerekir. Metrikler, oluşturulan veri yöneticileri, keşfedilen veri varlıkları, tanımlanan veri politikaları ve oluşturulan veri erişim kontrolleri gibi öğeleri içerir.
  • Üretken Yapay Zeka (GenAI): MDS’nin GenAI’yi ve onun model yönetimi ve güvenliğindeki benzersiz zorluklarını tam olarak benimsemesi gerekiyor.

Modern Veri Yığını için CIO ve CDO Vizyonu

CIO’lar ve CDO’lar, verileri stratejik bir düzeye yükseltmeyi, erişilebilirliği artırmayı ve dijital dönüşüm yoluyla iş sonuçlarını yönlendirmeyi amaçlıyor. Teknik borç karmaşasını ortadan kaldırmayı, veri silolarını parçalamayı ve sağlam bir veri kültürünü geliştirmeyi amaçlıyorlar. Constellation Research’ün Başkan Yardımcısı ve baş analisti Dion Hinchcliffe, bu vizyonu özetlemekte ve tüm bulutlarda veri dokusunu yönetmeye yönelik sistematik bir yaklaşımı savunmaktadır. Şunları söylüyor: “Veri liderlerinin, yalnızca gerektiğinde yerel varyasyonun ortaya çıkacağı, tüm bulutlarda bir veri dokusunu sistematik olarak oluşturup yönetecek bir yola ihtiyacı var.”

MDS’nin Üretken Yapay Zeka Çağına Uyarlanması

Güncel kalabilmek için MDS’nin gelişmesi gerekir. Bu içerir:

  • Kalıcı hizmetlerin iyileştirilmesi: Yığın içindeki kalıcı hizmetlerin rolünün ve işleyişinin açıklığa kavuşturulması.
  • Ölçüm ve izlemenin birleştirilmesi:
    Veri işleme performansını sürekli olarak izlemek ve ölçmek için katmanlar ekleme.
  • Genişleyen fonksiyon açıklamaları:
    GenAI hususlarını karşılamak için her işlev düzeyinde gerekli eylemlerin ayrıntılandırılması.
  • LLM ve AI araçlarını entegre etme: Dil modellerini, istemleri ve sohbet robotlarını veri yığınının ayrılmaz bileşenleri olarak dahil etme.

Sonuç: Bütünsel Yaklaşım

MDS yalnızca bir kılavuz değildir; kuruluşlara, verileri stratejik operasyonlarının ön saflarında konumlandırma yetkisi veren bir çerçevedir. Çok tartışılan veri dokusunun katmanlarını özetliyor ve GenAI’yi dahil ederek günümüzün veri zorluklarını karşılamaya hazır, kapsamlı bir çözüm haline geliyor. Veri uygulayıcıları olarak MDS’yi benimsemeli ve sürekli olarak uyarlamalı, dijital dünyamızın dinamik doğasını yansıtmasını sağlamalıyız. Ancak o zaman veri varlıklarımızın tüm potansiyelini ortaya çıkarabilir ve üretken yapay zekanın da dahil olduğu inovasyonu teşvik edebiliriz.

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir