İçerik
- Apache Spark Nedir?
- Spark, Hadoop'ta Neden Bu Kadar Önemli?
- Sparks Eşsiz Özellikler Nedir?
- Spark, Hadoop İçin Neden Yedek Değil?
- Şirketler Spark ve Hadoop Hakkında Ne Düşünüyor?
- Pratik Uygulamalar
- Sonuç
Kaynak: Snake3d / Dreamstime.com
Paket servisi:
Apache Spark, sürünen (ve bazı şekillerde, aşan) büyük verileri işlemek için açık kaynaklı bir araçtır.
Apache Hadoop uzun süredir büyük veri uygulamalarının temeli olmuştur ve büyük veri ile ilgili tüm teklifler için temel veri platformu olarak kabul edilir. Ancak, bellek içi veritabanı ve hesaplama, daha hızlı performans ve hızlı sonuçlar nedeniyle popülerlik kazanıyor. Apache Spark, hızlı işleme sağlamak için (Hadoop'tan neredeyse 100 kat daha hızlı) bellek içi yetenekleri kullanan yeni bir çerçevedir. Bu nedenle, Spark ürünü giderek daha büyük bir veri dünyasında ve daha hızlı işleme için kullanılıyor.
Apache Spark Nedir?
Apache Spark, büyük hacimli verileri (büyük veriler) hızlı ve basit bir şekilde işlemek için açık kaynaklı bir çerçevedir. Büyük verilere dayalı analitik uygulamalar için uygundur. Spark, bağımsız veya bulutta bir Hadoop ortamıyla kullanılabilir. Kaliforniya Üniversitesi'nde geliştirildi ve daha sonra Apache Software Foundation'a teklif edildi. Bu nedenle, açık kaynak topluluğuna aittir ve amatör geliştiricilerin kolaylıkla çalışmasını sağlayan çok uygun maliyetli olabilir. (Açık kaynak Hadoops hakkında daha fazla bilgi için, bkz. Açık Kaynak'ın Apache Hadoop Ekosistemi Üzerindeki Etkisi Nedir?)
Spark'ın temel amacı, geliştiricilere merkezli bir veri yapısı etrafında çalışan bir uygulama çerçevesi sunmasıdır. Spark ayrıca son derece güçlüdür ve çok büyük miktardaki verileri kısa sürede hızlıca işleyebilme yeteneğine sahiptir, bu nedenle son derece iyi performans sunar.Bu, en yakın rakibi Hadoop olduğu söylenenden çok daha hızlı olmasını sağlar.
Spark, Hadoop'ta Neden Bu Kadar Önemli?
Apache Spark'ın her zaman Hadoop'u birçok özelliğe boğduğu biliniyor ve bu da neden bu kadar önemli olduğunu açıklıyor. Bunun başlıca nedenlerinden biri işlem hızını dikkate almak olacaktır. Aslında, daha önce de belirtildiği gibi Spark, aynı miktarda veri için Hadoop’un MapReduce’undan 100 kat daha hızlı işlem sunuyor. Ayrıca Hadoop'a kıyasla çok daha az kaynak kullanır, böylece maliyet etkindir.
Spark'ın üstünlük sağladığı bir diğer önemli husus, bir kaynak yöneticisi ile uyumluluk açısındandır. Apache Spark'ın Hadoop ile çalıştığı biliniyor, tıpkı MapReduce'un yaptığı gibi, ikincisi şu anda sadece Hadoop ile uyumlu. Ancak Apache Spark'a gelince, YARN veya Mesos gibi diğer kaynak yöneticileri ile çalışabilir. Veri bilim adamları, bunu sıklıkla Spark'ın gerçekten Hadoop'u geride bıraktığı en büyük alanlardan biri olarak belirtiyorlar.
Kullanım kolaylığı söz konusu olduğunda, Spark yine Hadoop'tan çok daha iyi olur. Spark, Scala, Java ve Python gibi birçok dilde API'lere sahiptir. Kullanıcı tanımlı fonksiyonlar yazmak oldukça basittir. Ayrıca, komutları çalıştırmak için etkileşimli bir moda sahiptir. Öte yandan Hadoop, Java dilinde yazılmıştır ve sürece yardımcı olabilecek araçları olmasına rağmen, programlanması oldukça zor olduğu ününü kazanmıştır. (Spark hakkında daha fazla bilgi için, bkz. Apache Spark, Hızlı Uygulama Geliştirmeye Nasıl Yardımcı Olur.)
Sparks Eşsiz Özellikler Nedir?
Apache Spark, veri işleme alanındaki rakiplerinden birçoğunu gerçekten ayıran benzersiz özelliklere sahiptir. Bunlardan bazıları aşağıda kısaca belirtilmiştir.
Hiç kimse yazılım kalitesiyle ilgilenmediğinde programlama becerilerinizi geliştiremezsiniz.
Spark ayrıca, makine öğrenmesi algoritmaları sayesinde gerekli bilgiyi çekirdeğine yükleyebiliyor. Bu, son derece hızlı olmasını sağlar.
Apache Spark, grafikler ve hatta doğada grafik olan bilgileri işleme yeteneği ile birlikte gelir, böylece kolay analiz çok hassas bir şekilde gerçekleştirilir.
Apache Spark, yapılandırılmış makine öğrenmesi için tasarlanmış bir çerçeve olan MLib'e sahiptir. Ayrıca uygulamada Hadoop'tan daha hızlıdır. MLib ayrıca birkaçını isimlendirmek için istatistiksel okuma, veri örnekleme ve öncül test etme gibi birçok problemi çözme yeteneğine de sahiptir.
Spark, Hadoop İçin Neden Yedek Değil?
Spark'ın Hadoop'un ellerini sıktığı bazı yönleri olmasına rağmen, henüz Hadoop'un yerini alamamasının birkaç nedeni var.
İlk olarak, Hadoop, Spark'a kıyasla daha büyük bir araç seti sunar. Ayrıca, sektörde tanınan birkaç uygulamaya sahiptir. Apache Spark, yine de, etki alanında hala genç ve Hadoop ile başa çıkmak için biraz zamana ihtiyacı olacak.
Hadoop’un MapReduce’u, tam teşekküllü operasyonlar yürütmek konusunda bazı endüstri standartlarını belirledi. Öte yandan, Spark'ın tamamen güvenilir bir şekilde çalışmaya hazır olmadığına hala inanılıyor. Genellikle, Spark'ı kullanan kuruluşların, gereksinimlerine göre hazırlanmak için ince ayar yapmaları gerekir.
Spark'tan daha uzun süredir var olan Hadoop’un MapReduce'u da yapılandırmak daha kolay. Yine de Spark için durum böyle değil, pürüzlü yamaları test etmemiş tamamen yeni bir platform sunuyor.
Şirketler Spark ve Hadoop Hakkında Ne Düşünüyor?
Birçok şirket, veri işleme ihtiyaçları için Spark'ı kullanmaya başlamıştır, ancak hikaye burada bitmiyor. Elbette onu şaşırtıcı bir veri işleme platformu haline getiren birçok güçlü yönü var. Bununla birlikte, düzeltilmesi gereken dezavantajların adil payıyla da geliyor.
Apache Spark'ın burada kalacağı ve hatta veri işleme ihtiyaçlarının geleceği olduğuna dair bir endüstri anlayışıdır. Ancak, potansiyelini tam anlamıyla kullanmasını sağlayacak çok sayıda geliştirme çalışması ve cilalaması yapılması gerekiyor.
Pratik Uygulamalar
Apache Spark, veri işleme gereksinimlerine uyan çok sayıda şirket tarafından kullanılıyor ve hala kullanılıyor. En başarılı uygulamalardan biri, ticari işbirlikleri için uygun mağazalar seçmek isteyen Shopify tarafından gerçekleştirildi. Ancak, veri deposu, müşterilerinin sattığı ürünleri anlamak istediğinde zaman aşımına uğradı. Spark'ın yardımıyla, şirket birkaç milyon veri kaydını işleyebildi ve ardından birkaç dakika içinde 67 milyon kaydı işleyebildi. Ayrıca hangi mağazaların uygun olduğunu belirledi.
Spark'ı kullanarak Pinterest gelişen trendleri belirleyebiliyor ve ardından kullanıcıların davranışlarını anlamak için kullanıyor. Bu ayrıca, Pinterest topluluğunda daha iyi değer elde edilmesini sağlar. Spark, ziyaretçilere önerilerini hızlandırmak için dünyanın en büyük seyahat bilgi sitelerinden biri olan TripAdvisor tarafından da kullanılıyor.
Sonuç
Apache Spark’ın yeteneklerini, şu anda bile ve masaya getirdiği benzersiz özelliklerden şüphe edemezsiniz. İşlem gücü ve hızı, uyumluluğu ile birlikte gelecekte gelecek olan şeylerin tonunu belirler. Ancak, tam potansiyelini gerçekten gerçekleştirebilmek için geliştirmesi gereken çeşitli alanlara da sahiptir. Hadoop hala şu anki kuralın kuralları olsa da, Apache Spark'ın geleceği parlak bir geleceğe sahip ve çoğu kişi tarafından veri işleme gereksinimleri için gelecek platform olarak kabul ediliyor.