İçerik
- Hata Yok, Stres Yok - Hayatınızı Yok Etmeden Hayat Değiştiren Yazılım Yaratma Adım Adım Kılavuzunuz
- İş Aşağı
- Kafka Veri Yönetimini Nasıl Değiştirecek?
Paket servisi:
LinkedIn iş adamları için yaptıklarını bilişim sistemleri için Kafka yapacak: geniş bir alanda bağlantılarını sürdür.
Tutkuyla halen var olmayan bir şeye inanmakla onu yaratırız. Var olmayan şey, yeterince arzulanmadığımız şeydir.~ Franz Kafka
Gereklilik, buluşun annesi olarak kalır. Zeki bir danışmanın bir keresinde bana “Bir organizasyonda olması gereken bir şey varsa, oluyor” dedi. Amacı iki katıydı: 1) bazı insanlar işleri halletmenin bir yolunu bulacaklar; ve 2) üst yönetim veya hatta orta düzey yönetim, işlerin kendi kurumlarında tam olarak nasıl yapıldığından habersiz olabilir.
Bu metaforu tüm veri yönetimi evrenine genişletirsek, şu anda gerçekleşen bir dönüşüm görebiliriz. Büyük verinin ham veri akışı, veri akışı ekseni ile birleştiğinde, tamamen çökmediği takdirde eski sistemlerin kenarlarında yıpranmakta olduğu kadar çok baskı yaratır. Bununla birlikte, şu anda işlerini yapan sayısız profesyonel var ve bu gerçekliğin farkında değiller.
Veri kaynaklı, veri güdümlü işletmelerin ön sıradaki koltukları vardır ve birçok yönden bu değişikliği yönlendirir. Yahoo !, ve LinkedIn gibi güç santrallerinin, şirket bağışlarını açık kaynak olma yolunda açık kaynaklara dönüştürdükleri yönünden nasıl ters çevirdiklerini düşünün: Hadoop, Cassandra ve şimdi Kafka .
Tüm bu değişimin sonuçları nedir? Bugün tanık olan şey, kategorik yeniden sınıflandırma ve veri yönetiminin kendisinin yeniden yapılandırılması. Bu, eski sistemlerin şimdi sökülüp değiştirileceğini söylemek değildir. Herhangi bir endüstri uzmanı size eski sistemlerin toptan olarak çözülmesinin Chicago Cubs'ın Dünya Serisini kazandığı sıklıkta gerçekleştiğini söyleyecektir. Çok nadir bir olay, en azını söylemek.
Gerçek olan şey, eski dünya sistemlerinin her yerine bir süper yapının inşa edilmesi. İnsanları ve yükleri bu nüfus merkezlerine ulaştırmak için tasarlanan ve hizmet ettikleri şehir ve kasabaların üzerinde yükselen eyaletlerarası otoyolların analojisini düşünün ve içindeki herkese ve bunlara herhangi bir şey için çıkış sağlayın. Mevcut yolları yüksek hızlı alternatiflerle güçlendirecek kadar değiştirmezler.
Apache Kafka'nın yaptığı tam da budur: bilgi sistemleri arasında ve bilgi sistemleri arasında veri hareketi için yüksek hızlı yollar sağlar. Karayolu analojisini takip etmek için, hala doğrusal kuyruklar kullanan birçok şirket ya da eski ETL standardı (özü-dönüşüm-yükleme) var; ancak bu yollar düşük hız sınırlarına sahiptir ve birçok çukur vardır; dahası, bakım maliyetleri çoğu zaman aşırı derecede iyidir; tabela zayıf.
Kafka, veri sunumu için gerçek zamanlı, ölçeklenebilir ve dayanıklı olan alternatif bir yöntem sunar. Bu, Kafka'nın yalnızca bir veri hareketi aracı değil, aynı zamanda bir veri çoğaltıcısı olduğu anlamına gelir; ve bir dereceye kadar dağıtılmış bir veritabanı teknolojisi. Analojiyi çok ileri götürmeye dikkat etmeliyiz, çünkü Kafka'nın henüz spor yapmadığı ACID uyumlu veritabanlarının özellikleri var. Yine de, değişim gerçektir.
Bu bilgi ortamı için harika bir haber, çünkü veriler artık ülke ve dünya hakkında hareket etmekte özgür. Bir zamanlar, ETL süreçleri için toplu pencerelere çarpmak gibi acı verici bir kısıtlama olan şey, sisin sıcak güneşin parıltısı altında gökyüzünü temizlemeye yol açtığı gibi şimdi dağılıyor. Verileri bir sistemden diğerine taşıdığınızda sınır çizgisi sorunsuz hale gelir, yeni fırsatların yaşandığı bir çağ başlamıştır.
Hata Yok, Stres Yok - Hayatınızı Yok Etmeden Hayat Değiştiren Yazılım Yaratma Adım Adım Kılavuzunuz
Hiç kimse yazılım kalitesini önemsemediğinde programlama becerilerinizi geliştiremezsiniz.
İnsanlar büyük olasılıkla yeni geleceğe dair veriye giden yolda sürtünmeyi temsil edeceklerdir. Eski alışkanlıklar kolay bırakılmıyor. Bir CIO, kurumsal sistemlerde toptan değişiklik yapma konusunda çok heyecanlanıyor. Rolün meraklı ve üst düzey bir yöneticisine şöyle dedi: "Yalnız olmaya hazır olun." Bu yorumun bir yılı içerisinde danışman olarak görev yaptı. Bu kolay bir yol değil, dikkate değer derecede tuhaf kurumsal veri dünyasını yönetmeye çalışıyor.
İyi haber şu ki, Kafka geleceğe bir adım atıyor. Yüksek güçlü, çok yönlü bir otobüs görevi gördüğünden, eski sistemler ve ileriye dönük meslektaşları arasında köprü oluşturur. Böylece, bu yeni fırsatı açık fikirlerle ve yeterli bütçeyle kucaklayan kuruluşlar, eskisini geride bırakmadan yeni dünyaya adım atabilecekler. Bu ciddi bir iş.
İş Aşağı
Apache Kafka açık kaynak kodlu bir teknoloji olmasına rağmen, herkesin indirmesi ve kullanması ücretsizdir, ancak bu yazılımı LinkedIn için hazırlayanlar, kurumsal kullanım teklifini sertleştirmeye odaklanan Confluent adlı ayrı bir kuruluştan ayrıldı. Cloudera gibi, Hortonworks ve MapR işlerini Apache Hadoop'un açık kaynaklı projesi etrafında kurdular, böylece Confluent Kafka'dan para kazanmaya çalışıyor.
Yakın tarihli InsideAnalysis röportajında Confluent CEO'su ve kurucu ortağı Jay Kreps, LinkedIn'in kaynağını açıkladı:
“Orada birkaç farklı sorunu çözmeye çalışıyorduk. Birincisi, tüm bu farklı veri sistemlerimizde farklı türdeki veriler vardı. Veri tabanlarımız vardı, log dosyalarımız vardı ve sunucular hakkında ölçümler yaptık ve kullanıcıları tıklıyorduk. Tüm bu verilerin etrafta dolaşılması - büyüdüğü gibi - gerçekten çok zordu: Verilerin gücü yalnızca uygulamalara, işlemelere ya da gereken sistemlere ulaşabilmeniz için oradaydı. Bu büyük bir sorundu.
“Yaptığımız diğer sorun, Hadoop'u benimsememizydi ve bu benim de dahil olduğum bir şeydi. Ölçeklendirebileceğimiz ve tüm verilerimizi koyabildiğimiz bu harika çevrimdışı işlem platformum vardı. LinkedIn için tüm verilerimiz gerçek oldu. Sürekli veri üretimi oldu: Her zaman bu uyumsuzluk vardı, işimizin temel kısımlarını verilerimizden kurmaya çalıştık, günde bir kez, belki geceleri koşturan ve ertesi gün sonuçları üreten bir şey arasında, ve bu sürekli veri - kısa etkileşim süreleri - yetişmeniz gereken kısa bir süre. Akademi'de bir süredir etrafta olan bir şey yapabilmek istedik, ancak gerçekten de ana akım olan bir şey yapmak istedik. veri akışlarına girin ve işlendiklerinde değil, oluşturuldukları gibi işleyin. "
İyi. İşte tam olarak Confluent şu anda tüm şekil ve büyüklükteki kurumsal verilerle ne yapmak istiyor. Oyunda fırsat? Greenfield. Açıkçası, kurumsal yazılımın tüm tarihinde, bu teknolojinin adreslenebilir pazarının kesinlikle pastayı çektiği iddia edilebilir. Bu teknolojiden büyük ölçüde faydalanamayacak tek bir büyük kuruluş ve hatta veri ağırlıklı küçük işletme yoktur.
Bu, özellikle bu teknolojinin nörolojik yönü nedeniyle doğrudur; Sadece dahil olan zihinleri değil, Kafka'nın bilgi sistemleri için yaptıklarının niteliği de var. Kafka, bir organizasyondaki verilerin hareketini yönetmek için kullanılabildiğinden, sadece bir trafik polisi olmaktan ziyade operasyonun kendisinin beyni olarak görülebilir. Bu vizyonun ilk aşamalarındaydık, ancak gerçek olduğuna emin olun.
Kafka Veri Yönetimini Nasıl Değiştirecek?
Kafka'nın veri yönetiminin niteliğini nasıl değiştireceğini anlamak için, LinkedIn'in ağları nasıl değiştirdiği hakkında düşünün. Meslektaşları bulmak çok kolaylaştı; insanlarla iletişimde kalmak artık çok kolay. Kafka, LinkedIn'in iş adamları için yaptıklarını bilişim sistemleri için yapacak: onları bu dünyanın en geniş alanlarına bağlı tutun.
Confluent'in ispatı, tarafından geliştirilen para kazanılan ve büyük miktarda risk sermayesi tarafından beslenen, açık kaynaklı teknolojinin yaratıcıları tarafından yönlendirilen, yazılım geliştirme ve kapalı kaynaklı zihniyetin yol açtığı bir hareket olan Yeni İnovasyon olarak adlandırdığımız bir şeyin simgesidir. kuruluşların ve insanların veri oluşturma, toplama, analiz etme ve kaldıraç yapma yöntemlerinde devrim yaratan kar amacı gütmeyen şirketler.
Franz Kafka'dan alıntı yapmak için: "Belli bir noktadan itibaren artık geri dönüş yok. Bu ulaşılması gereken nokta."
Rubikonu geçtik. Artık geri dönüş yok.