İçerik
- Yeni Nesil Veri Mimarisi Nedir?
- Yeni Nesil Mimari Konusunda Hadoop'tan Beklentiler
- Yeni Nesil Veri Mimarisine Hadoop Hangi Değerleri Ekleyebilir?
- Kurumsal Veri Mimarisi Olarak Geliştirilmiş Performans
- Hadoop ve Diğer Teknolojiler Arasındaki Fark
- Sonuç
Kaynak: Romeo1232 / Dreamstime.com
Paket servisi:
Hadoop, çok miktarda veriyi kullanabilmesi nedeniyle yeni nesil veri mimarisinde kilit bir rol oynayacaktır.
Hadoop’un hizmet programı, sektörden daha fazlasını talep etmeye başladığında büyük veri işlemenin ve analitiklerin ötesine geçmeye başlıyor. Hadoop, orijinal veri gücünü korurken, kurumsal veri mimarisi ile ilgili çeşitli gereksinimlere düzenli olarak hizmet vermektedir. Hadoop'un neler yapabildiğini ve şu anda ne yaptığını gösteren liste oldukça uzundur. Hadoop şimdi daha önce geleneksel teknolojilerden beklenen bir işlem olan çok sayıda işlemsel iş yükünü işleyebiliyor. İleride, Hadoop için gelecekte pek çok imkan var. Örneğin, SQL tabanlı işlem sistemleri bir Hadoop SQL motoru kullanabilir ve Hadoop da birçok RDBMS özelliği ekler. Hadoop'un kurumsal mimari yetenekleriyle veri işleme ve analitik yeteneklerin bir melezi haline geldiğini söyleyebilirsiniz.
Yeni Nesil Veri Mimarisi Nedir?
Basitçe söylemek gerekirse, yeni nesil veri mimarisi, gelişmiş bir veri mimarisi biçimidir. Veri modelleri, veri politikaları, verilerin nasıl toplandığını, depolandığını, düzenlendiğini, analiz edildiğini veya işlendiğini, entegre edildiğini, kullanıldığını ve dağıtıldığını düzenleyen kurallar ve standartlar dahil olmak üzere her şey yeni nesil veri mimarisi altında gelişti.
Daha önceki veri mimarisi ve yeni nesil veri mimarisi arasındaki temel fark, ikincisinin gerçek zamanlı olarak büyük veri olarak da bilinen muazzam miktarda veri toplama, saklama ve işleme yeteneğidir. Mimari, tüm bu karmaşık görevleri gizlilik, güvenlik ve veri yönetimi standartlarından ödün vermeden yerine getirir.
Yeni nesil veri mimarisi birçok zorlukla karşı karşıya. Büyük verilerin hacmini, hızını ve çeşitliliğini idare etmek kolay değildir. Buna, sistem iş yükünü optimize etme, performansları geliştirme, hız ve doğruluğu ve maliyet azaltma gereksinimlerini ekleyin. Söylemeye gerek yok, önceki veri mimarisi bu tür talepleri yönetmek zorunda değildi.
Dolayısıyla, CIO'lar ve bilgi mimarları, hedeflerine ulaşmalarına yardımcı olacak bir çözüm bulmak istiyor. Operasyonel Hadoop bu bağlamda bir süredir odaklanmıştır. Aşağıdaki bölümlerde operasyonel Hadoop'un problemleri nasıl çözebileceği tartışılacaktır.
Yeni Nesil Mimari Konusunda Hadoop'tan Beklentiler
Şirketler daha iyi sonuçlar elde etmek için baskı altında ve etkileri teknolojiler üzerindeki beklentileri azaltıyor. Dolayısıyla, Hadoop'un artık yalnızca verileri işlemesi beklenmiyor. CIO'lar ve CTO'lar Hadoop'tan daha fazlasını istiyor. Aşağıda verilen Hadoop'tan beklentilerin bir listesi. Aslında, Hadoop zaten bu beklentilerin bir kaçını gerçekleştiriyor.
Hadoop'un SQL tabanlı işlem sistemleriyle çalışması ve oluşturma, okuma, güncelleme ve silme yeteneklerine sahip olması bekleniyor. İşlem sistemleri, SQL motorunu kullanıyor olacak. Sistemler ayrıca tam Taşınabilir İşletim Sistemi Arabirimi (POSIX) uyumluluğuna ve yüksek işlem hacimlerini işleme kapasitesine sahip olacak.
Hadoop'un yedekleme, hataya dayanıklılık, kurtarma ve olağanüstü durum kurtarma gibi özellikleri desteklemesi bekleniyor. Hadoop'un RDBMS özelliklerine sahip bir sisteme dönüşmesi için mevcut BT araçlarıyla uyumlu olması gerekir.
Hadoop zaten bazı gelişmelerden de anlaşılacağı gibi beklentileri yerine getirmek için çalışıyor. Hadoop, YARN tarafından sağlanan kaynak yönetimi desteğine dayalı olarak gerçek zamanlı analiz ve hızlı yanıtlar sağlayabilir. YARN, kaynak yöneticisi olmasının yanı sıra, büyük veri uygulamaları için büyük ölçekli ve dağıtılmış bir işletim sistemidir. Apache Spark, Apache Spark, Apache Hive, Drill ve MapR-FS (yüksek performanslı bir HDFS değişimi) gibi hafıza içi mimarileri dağıtımı gibi diğer gelişmelerin, çeşitli tam veritabanı yetenekleri sunmak için çalıştığı bilinmektedir. yedekleme, olağanüstü durum kurtarma, hataya dayanıklılık vb. (YARN hakkında daha fazlası için bkz. Hadoop 2.0 (YARN) Çerçevesinin Avantajları Nelerdir?)
Yeni Nesil Veri Mimarisine Hadoop Hangi Değerleri Ekleyebilir?
Operasyonel Hadoop'un yeni nesil veri mimarisine ekleyebileceği değerler iki açıdan görülebilir: biri yukarıda açıklanan beklentileri yerine getirip getirmediğini ve ikincisi ek bir şey yapıp yapmadığını. Aşağıda verilenler, operasyonel Hadoop'un getirebileceği belirgin değerlerdir.
Hadoop artık HDFS aracılığıyla platformunda verilerin daha fazla ölçeklenebilirliğini ve yönetilebilirliğini sağlayabiliyor. Veri işletim sistemi, Hadoop’un YARN uygulamaları aracılığıyla etkinleştirildi. Bu strateji veri mimarisinde temel düzeyde bir değişimi temsil ediyor. Artık Hadoop, işlem odaklı veritabanları, grafik veritabanları ve doküman veritabanları gibi çeşitli veri türlerini depolayabilir ve bu verilere YARN uygulamaları aracılığıyla erişilebilir. Verileri çoğaltmanıza veya başka konumlara taşımanıza gerek yoktur.
Kurumsal Veri Mimarisi Olarak Geliştirilmiş Performans
Operasyonel Hadoop, kurumsal veri mimarisinin temel sistemi olma yolunda ilerliyor. Hadoop kurumsal veri mimarisine daha fazla girdikçe, veri siloları da aralarındaki çizgiler ortadan kalktıkça ortadan kaldırılacak. Hemen her açıdan hızlı bir gelişme olacak. Daha verimli dosya formatları, daha iyi SQL motoru performansı, geliştirilmiş dosya sistemleri ve kurumsal uygulamaların gereksinimlerini karşılayacak sağlamlık biçiminde iyileştirmeler yapılacaktır.
Hadoop ve Diğer Teknolojiler Arasındaki Fark
Geçmişte, Hadoop ve veri kurumsal teknolojileri arasındaki temel fark, Hadoop'un büyük veri işleme, raporlama ve analitik yetenekleri idi. Artık operasyonel Hadoop, kurumsal veri mimarisinin bir parçası haline geldikçe, varlıklar arasındaki fark gittikçe bulanıklaşıyor. Bu nedenle, operasyonel Hadoop mevcut kurumsal veri mimarisine üstün bir alternatif olarak ortaya çıkmaktadır.
Sonuç
Beklentiler ve gelişmeler göz önüne alındığında, Hadoop bir süredir sektörün odağında olacak. Ancak Hadoop'a fazla odaklanmamak ve diğer teknolojileri görmezden gelmek anlamlıdır. Bunun nedeni, diğer teknolojilerin aynı parametrelerde ilerleme kaydetmesi ve hatta Hadoop'u ele geçirmesi olabilir. Piyasada bir tekele sahip olmak asla iyi değildir. Hadoop'tan başka teknolojilerin üreticilerinin daha iyi ürünler sunmak ve hatta Hadoop'un performansını iyileştirmesine yardımcı olacak eklentiler sunmak için motive olmaları iyi bir şey.