İçerik
Kaynak: Nmedia / Dreamstime.com
Paket servisi:
Büyük veri her yerde büyük bir iştir, ancak bu teknolojiyi en fazla kullanan birkaç özel alan vardır.
Bu makaleye başladığımda, farklı türde büyük veri platformlarını listelemeyi planlıyordum. Ancak, tüm farklı büyük veri tekliflerini - ilişkisel-ilişkisel-olmayan, SQL ile NoSQL ve veri tabanı ile veri tabanı - arasında bir dereceye kadar sıralamaya girmeye çalıştıktan üç gün sonra, bu karışıklığı önlemeye karar verdim.
Yaralanmaya hakaret eklemek için makalenin bir parçası olarak "büyük veri" terimini kullanan kişiyi tanıtmayı umuyordum. Ama bunu bile yapamam. Üzerinde anlaşılan bir cevap yok. Aslında, başlangıçta büyük verilerle kimin ortaya çıktığını araştıran eksiksiz bir araştırma projesi var. Bunun yerine, büyük verilerin kullanıldığı anahtar yollardan bazılarına göz atacağım. Bu çok daha önemli. Ve düşündüğünüzden daha ilginç ve şaşırtıcı.
Nasıl oldu
Geleneksel veri madenciliğini kullanan analistler yıllardır verileri manipüle ediyorlar. Bu aynı analistler artık işletmeler, özel kuruluşlar ve devlet kurumları tarafından kaydedilen verilerin miktarı ve çeşitliliği ile başa çıkmakta zorlanıyorlar.
Veri madenciliğinde bir sonraki evrimsel adım olan büyük verileri girin. Günümüz dijital dünyasında yaratılan büyük veritabanlarını ve sayısız veri türünü işlemek için büyük veriler tasarlanmıştır. Eğer "kitlesel" Google’ı ve topladığı tüm verileri düşünüyorsa, oyunda olursunuz. Sizi şaşırtan şey, Google’ın dünyanın en büyük veritabanlarının İlk On Listesinde sadece dördüncü olması. Ocak 2014 itibariyle, Dünya İklim Veri Merkezi, listeye 220 terabaytlık veri ekledi ve bazı devlet kurumları tarafından kontrol edilen veri tabanlarının büyüklüğüne dair bir tahmin.
Elbette, büyük veriler ayrıldı, çünkü çok sayıda farklı veriyi manipüle etmeyi ve şaşırtıcı - ve şaşırtıcı derecede ayrıntılı ve kişisel - şeyleri keşfetmeyi mümkün kıldı. İK endüstrisi analisti John Sumser aşağıdaki örneği sağlar:
"Bugün hipotezler yaratıyoruz ve veri topluyoruz. Yarın tersini yapacağız. Sabit, sürekli veri birikimi, soruları oluşturmadan önce verilere bakmamızı sağlayacak. Bu, yaptığımız soruların cevaplarını alacağımız anlamına geliyor. ' Sormayı Bilmiyorum. Gerçek olduğumuzu düşündüğümüz bir sürü şeyi düşünmeyeceğiz. ”Kuşkusuz, bu verilerin, ailesinin öğrenmeden önce genç bir kadının hamileliğini ayırt etme yeteneğini hedefleme gibi, bu verinin kullandığı ürpertici yöntemlerden bazılarını duyduk. Ancak büyük veriler, daha az uğursuz sebepler için de kullanılıyor. İşte en fazla onu kullanan birkaç organizasyon:
Hiç kimse yazılım kalitesiyle ilgilenmediğinde programlama becerilerinizi geliştiremezsiniz.
Büyük verilerin yardımcı olacağı açık bir alan elektronik sağlık kayıtlarının tıbbi kuruluşlar arasında güvenli ve doğru bir şekilde ele alınmasıdır. Doğru kayıtların olması hastalara daha iyi hizmet sunacak ve hataları azaltacaktır. Sağlık hizmetleri, bariz sebeplerden dolayı, hastanın gizliliğine ilişkin devlet düzenlemelerine uymak için büyük verileri daha yavaş bir şekilde uyarlamaktadır.
Daha önce de belirtildiği gibi, sorulmamış sorulara cevap vermek için büyük veriler bilinmektedir. Sağlık alanında bu, başka türlü bulunamayacak yeni bir ilaç veya tedavi bulmak anlamına gelebilir. McKinsey & Company'ye göre, büyük veriler çok uzak olmayan bir gelecekte aşağıdakileri mümkün kılabilir:
- Biyolojik süreçlerin ve ilaçların tahminli modellenmesi daha karmaşık ve yaygın bir hal almaktadır.
- Hastalar, sosyal medya gibi daha fazla bilgi kaynağına dayanarak klinik araştırmalara katılıyorlar.
- Denemeler, güvenlik veya operasyonel sorunları hızlı bir şekilde tanımlamak için gerçek zamanlı olarak izlenir.
- Yararlanması zor olan katı veri siloları yerine, veriler elektronik olarak yakalanır ve farklı birimler arasında kolayca akar.
Büyük Veri, Büyük Fırsat
Bazı belirli alanlarda büyük verilerden yararlanılırken, aşağıdaki alanlarda tüm kuruluşlara fırsat sunar:
Hemen hemen tüm bilgisayar ve ağ aygıtları verileri kaydeder. Hızlı bir şekilde günlüğe kaydedilen veri miktarı düzensizleşiyor. Büyük veri, yöneticilerin ağ etkinliğini izlemesine, sorunları tanılamasına veya Rubin'in bana verdiği örnekte, kötü amaçlı yazılım etkinliğini gösteren belirli ağ trafiği düzenlerini aramasına izin vererek, bu miktarda veriyi kolayca yönetebilir.
Bu makaleyi okuyorsanız, OpenSSL'yi çevreleyen Heartbleed sorununun farkında olduğunuz oldukça güvenli bir bahis. Teknik sorunun yanı sıra, kırılganlığın birkaç yıldır var olduğu endişesi var. Rubin, büyük verilerin ağ yöneticilerinin, veri analistleri ile birlikte çalışarak tüm ağ kayıtlarını kötü niyetli kalp atışları için arayacak bir program oluşturmalarına izin verdiğini belirtti. Bu EFF gönderisi şöyle diyor:
"Kapsamlı paket günlükleri olan herhangi bir şebeke operatörü, genellikle 18 03 02 00 03 01 veya 18 03 01 00 03 01 (veya hatta 18 03 03 00 03 01) bir TCP yükü olan kötü niyetli kalp atışlarını kontrol edebilir."Aşağıdaki örnek, show audit komutundan gelen örnek çıktıdır:
Yönlendirici # gösteri denetimi
* 14 Eylül 18: 37: 31,535:% AUDIT-1-RUN_VERSION: Hash:
24D98B13B87D106E7E6A7E5D1B3CE0AD Kullanıcı:
* 14 Eylül 18: 37: 31,583:% AUDIT-1-RUN_CONFIG: Hash:
4AC2D776AA6FCA8FD7653CEB8969B695 Kullanıcı:
* 14 Eylül 18: 37: 31,595:% AUDIT-1-STARTUP_CONFIG: Hash:
95DD497B1BB61AB33A629124CBFEC0FC Kullanıcı:
* 14 Eylül 18: 37: 32,107:% AUDIT-1-FILESYSTEM: Karma:
330E7111F2B526F0B850C24ED5774EDE Kullanıcı:
* 14 Eylül 18: 37: 32,107:% AUDIT-1-HARDWARE_CONFIG: Hash:
32F66463DDA802CC9171AF6386663D20 Kullanıcı:
Zaman damgalarını izlerseniz, tüm bu girişlerin zaman aralığı bir saniyeden azdı. İki yıl bile olsa, bir gün için bunu tahmin etmek bile istemem!
İzlenecek Bir Şey
İş ilanlarını kontrol ederseniz, büyük veri uzmanları için büyük bir ihtiyaç vardır. Rubin'e bunu sordum. Öğrencilerinin umutları hakkında heyecanlandıklarını söyleyerek kabul etti. Daha sonra, büyük veri platformlarının, özellikle açık kaynak olarak kabul edilenlerin, Linux'un ana akım haline nasıl benzer bir zaman çizelgesi izlediğini fark ettim.
Üniversiteler, büyük veri platformlarının, özellikle de Hadoop'un açık kaynaklı versiyonlarını benimserler; çünkü ücretsizdirler ve öğrenciler kaynak kodunu değiştirebilirler. Böylece tüm bu iş ilanlarını dolduran mezunlar, açık kaynak platformlarla çalışmayı tercih edeceklerdir, çünkü en iyi bildikleri şey budur. İzlemesi ilginç olacak.