İçerik
- Büyük Veri Sorularına Cevap Aramak
- Hadoop girin
- Büyük Veri, Büyük Sorunlar
- Geleceğin Büyük Veriler İçin Neleri Beklettiği
- Büyük Veri Sınır
Paket servisi:
Bu kadar çok sektörün veri sorunlarına çözümden fayda sağlayacağı gerçeği, büyük veri geleceği hakkında çok şey söylüyor - ve belki de bizim.
2000'lerin başında, veriler konusunda yeniliğe büyük ihtiyaç olduğu açıktı. Firmaların verilerini kullanarak neler yapabileceği konusundaki sınırlamalar, yöneticileri sinirlendiriyor ve verimi inanılmaz derecede azalttı. Birçok şirket büyük miktarda bilgi depoladı, ancak basitçe bunları avantajları için yönetemedi, analiz etmedi veya manipüle edemedi. Büyük veri sınırına yol açan bu artan baskı.2003 yılında Google, binlerce arama sunucusu hakkında kısa bir süre içinde arama sorguları hakkında bilgileri işlemesini ve analiz etmesini sağlayan bir veri uygulaması olan MapReduce'u yarattı. Hem ölçeklenebilir hem de uyarlanabilir program, Google'ın birkaç dakika içinde binlerce veri görevi gerçekleştirmesine olanak sağladı; bu, verimliliği artırdı ve verilerle neler yapılabileceğine ilişkin algılanan sınırları yeniden tanımladı. Neredeyse 10 yıl sonra, büyük veri bilişim teknolojisinin merkezi prensibi haline geldi. Geniş kapsamlı kapsamı ve yeteneği, işyerinde veri yönetimini temelden değiştirdi. Ancak bu evrimi tetikleyen şey nedir ve büyük veri geleceği tam olarak nasıl etkileyecek? Asla sormayacağınızı düşündük. (Büyük verilerle ilgili bazı arka plan okumaları için, Büyük Verilere bakın: Nasıl Karar Verilir, Nasıl Çekilir ve İş Kararları Verilir.)
Büyük Veri Sorularına Cevap Aramak
MapReduce'un güzelliği oldukça karmaşık görevleri basitleştirmesiydi. İletişim makineler arasında yönetilebilir, sistem arızaları giderilebilir ve girdi verileri otomatik olarak düzenlenebilir, bu da artık yüksek teknik becerilere ihtiyaç duymayan bireyler tarafından denetlenebilecek bir süreçtir. Veri işlemeyi yalnızca mümkün değil, aynı zamanda ulaşılabilir hale getirerek, Google veri yönetiminde kültürel bir değişime neden oldu. Binlerce büyük firmanın verileri için MapReduce kullanması çok uzun sürmedi.Ancak bir sorun vardı: MapReduce bir programlama modeliydi. Veri işlemenin temellerini kolaylaştırırken, mevcut veri eksikliklerinin cevabı kendisi değildi; sadece doğru yönde çok ihtiyaç duyulan bir adımdı. Kurumlar hala benzersiz veri ihtiyaçlarını karşılayabilecek ve veri yönetiminin temel gerekliliklerinin ötesine geçebilecek bir sisteme ihtiyaç duyuyorlardı. Kısacası, teknolojinin gelişmesi gerekiyordu.
Hadoop girin
Doug Cutting de dahil olmak üzere birçok programcı tarafından oluşturulan açık kaynaklı bir çerçeve yazılımı olan Hadoop'a girin. MapReduce'un temel ve geniş olduğu yerlerde, Hadoop ferahlatıcı bir özgüllük sağladı. Şirketler, veri gereksinimlerini başka hiçbir yazılımın yapamayacağı şekilde ele alan kendi özel uygulamalarını tasarlayabilir ve genellikle diğer dosya sistemleriyle uyumludur. Yetenekli programcılara sahip bir firma, daha önce erişilemez görünen verilerle benzersiz işler başarabilecek bir dosya sistemi tasarlayabilir. Muhtemelen en iyi yanı, geliştiricilerin üzerinde durulabilecek ve mükemmelleştirilebilecek uygulamaları ve programları birbirleriyle paylaşmalarıydı.Böyle önemli bir kaynağı demokratikleştirerek, Hadoop bir trend haline geldi. Ne de olsa, birçok büyük şirket, özellikle arama motoru şirketleri, onlarca yıldır ihtiyaç duyduklarını hissettiler! Yahoo gibi arama motoru devleri, Web arama sorgularında kullanılan verileri üreten büyük Hadoop uygulamalarının uygulandığını duyurmadan çok uzun sürmedi. Bir dalga gibi görünen birkaç önde gelen şirket, Amazon, Fox, Apple, eBay ve FourSquare de dahil olmak üzere devasa veritabanları için bu teknolojinin kabul edildiğini açıkladı. Hadoop veri işleme için yeni standardı belirledi.
Büyük Veri, Büyük Sorunlar
Veri teknolojisindeki gelişmeler, şirketlerin verileri ele alma şeklini yeniden şekillendirmiş olsa da, birçok yönetici hala gerekli tüm görevler için kendilerini tamamlanmamış buluyor. Temmuz 2012'de Oracle, şirketlerin yüzde 36'sının verileri yönetmek ve analiz etmek için BT'ye güvendiğini, yüzde 29'unun sistemlerinin şirketlerinin ihtiyaçlarını karşılayacak yeterliliğe sahip olmadığını düşündüğünü ortaya koyan 300'den fazla C düzeyindeki yöneticiden oluşan bir anket yayınladı. . Muhtemelen, çalışmanın en çarpıcı bulgusu, ankete katılanların yüzde 93'ünün, toplanan verileri kullanamayarak firmalarının gelirlerinin yüzde 14'ünü kaybettiğine inanıyor olmasıdır. Daha iyi ürünler üretmek ve daha fazla işçi istihdam etmek için harcanabilecek gelir. Şirketlerin karlı kalmak için uğraştıkları bir zamanda, şirketlerin daha karlı hale gelebilmesi için verilerin iyileştirilmesi bir zorunluluktur. Anket, büyük verilerin ticaret üzerindeki etkisinin çoktan geçtiğine inanmasa da, sahip olduğu büyüme ve gelişme fırsatlarının henüz tam olarak gerçekleşmemiş olduğunu gösteriyor.Geleceğin Büyük Veriler İçin Neleri Beklettiği
İyi haber şu ki, Hadoop ve MapReduce diğer birçok veri yönetimi aracına ilham verdi. Birçok yeni şirket, Hadoop'ta çalışan, ancak çok çeşitli analitik işlevler ve daha kolay sistem entegrasyonu sunan kapsamlı veri platformları yaratıyor. Kurumların veri kaygılarını gidermek için büyük miktarda kaynak harcadıkları ve veri firmalarının finansal başarısı bunun kanıtı olduğu anlaşılıyor. 2010 yılında, veri firmaları perakende satışlarda yaklaşık 3,2 milyar dolar kazandılar. Birçok uzman, bu sayının yalnızca 2015 yılına kadar 17 milyar dolar artacağını tahmin ediyor. Bu, en büyük teknoloji şirketlerinden bazılarında kaybedilmemiş bir gerçektir. Hem IBM hem de Oracle, geçtiğimiz aylarda veri firmaları edinmek için milyarlarca dolar harcadı. Diğer birçok şirket, önümüzdeki yıllarda rekabetçi bir pazar payı için rekabet etmeye devam ettiklerinde benzer hareketlerde bulunacaktır.Büyük Veri Sınır
Toplanan veri miktarı katlanarak artmaya devam ediyor, bu da bazıları endişeli, bazıları da heyecanlı. Sonunda, veri analizi yoluyla dünyamızla ilgili yeni şeyler öğrenirken, insanların daha üretken ve uyarlayıcı olmaya devam edeceği yönündedir. Dezavantajı, birçoğunun hepsini düzgün bir şekilde saklayamayacağımızdan korktuğu kadar büyük miktarda veri bulunması, ihtiyacı olan herkes tarafından kullanılabilecek şekilde daha az doğru şekilde yönetilmesidir.Bununla birlikte, büyük verilerdeki gelişmeler, verilerle ilgili acil sorunlara çözümler için eşi görülmemiş fırsatlar sağlayabilir. Örneğin, uzmanlar, büyük verilerin verimlilik ve kaliteye önem verilerek doğru şekilde uygulanması halinde, yalnızca sağlık harcamalarında yılda yaklaşık 300 milyar dolar tasarruf potansiyeli olacağını ileri sürmüşlerdir; perakendeciler işletme marjlarını iyileştirebilecek, kamu sektörü daha iyi hizmetler sunacak ve büyük şirketler milyarlarca tasarruf sağlayacak. Ve böylece, veri sorunlarımızı çözmenin sadece şirket toplantı salonlarında değil her yerde gerekli olduğu görülüyor. Hangi gelecek büyük veri hakkında iyi şeyler söylüyor - ve belki de bizim.