Paket servisi: Ev sahibi Rebecca Jozwiak, en iyi endüstri uzmanlarıyla akış analitiğini tartışıyor.
Şu anda giriş yapmadınız. Lütfen videoyu görmek için giriş yapın veya kaydolun.
Rebecca Jozwiak: Bayanlar baylar, merhaba ve 2016 Hot Technologies'e hoş geldiniz! Bugünün adı “Firehose'u Kullanmak: Streaming Analytics'ten İş Değerini Almak”. Bu, Rebecca Jozwiak. Sevgili Eric Kavanagh burada olamadığı zaman web yayını için ikinci sıradayım, bu yüzden bugün sizi bu kadar çok görmek çok güzel.
Bu bölüm diğerlerinden biraz farklı. Sıcak olandan ve tabii ki bu yıl sıcak olan şeylerden bahsettik. Son birkaç yıl sıcaktı. Her zaman yeni şeyler ortaya çıkar. Bugün, akış analitiklerinden söz ediyoruz. Akış analizi, yeni bir tür. Elbette akış, merkez verileri, RFID verileri, bunlar mutlaka yeni değildir. Ancak, veri mimarileri konusunda, onlarca yıldır dinsiz kalan verilere odaklandık. Veritabanları, dosya sistemleri, veri havuzları - tümü çoğunlukla toplu işleme amacıyla. Ancak şimdi akış verilerinden, veri duygularından, bazıları canlı akış olarak adlandırılan değerden değer yaratma kaymasıyla, gerçekten alışmış olduğumuz ve yapması gereken yeteneklere ihtiyaç duydukları dinlenme mimarilerindeki verilere değil, gerçekten akış tabanlı bir mimariye ihtiyaç duyuyorlar. hızlı alım, gerçek zamanlı veya neredeyse gerçek zamanlı işleme tabi tutma. Sadece Nesnelerin İnterneti için değil, Herşeyin İnterneti için de yemek servisi yapabilmelidir.
Tabii ki, ideal olarak, iki mimarın yan yana yaşaması, bir elinin diğerini yıkaması, konuşması güzel olurdu. Günün verileri, haftaların verileri, yılların verileri elbette hala değere sahip olsa da, tarihsel analizler, trend analizi, bugünlerde canlı zekayı yönlendiren canlı veriler ve bu nedenle akış analitiği bu kadar önemli hale geldi.
Bugün bunun hakkında daha fazla konuşuyorum. Veri bilimcimiz Dez Blanchfield, Avustralya'dan arıyor. Şu an onun için sabahın erken saatlerinde. Baş analisti Dr. Robin Bloor bizde. Impetus Technologies'de StreamAnalytix'in ürün müdürü Anand Venugopal'a katıldık. Gerçekten bu alanın akışsal analitik yönüne odaklandılar.
Bununla devam edeceğim ve Dez'e geçeceğim.
Dez Blanchfield: Teşekkür ederim. Buradaki ekranı kontrol etmem ve öne çıkmam gerekiyor.
Rebecca Jozwiak: Hadi bakalım.
Dez Blanchfield: Slaytları kaldırırken, sadece ana konuyu örtmeme izin verin.
Onu oldukça yüksek tutacağım ve yaklaşık 10 dakika tutacağım. Bu çok büyük bir konudur. İki ila üç günü, akış işlemenin ne olduğu ve geliştirmekte olduğumuz mevcut çerçeveler ve bu yüksek hacimli akışlarda analitik yapmanın ne anlama geldiğinin ayrıntılarına dalış yaparak geçirdiğim bir etkinliğe katıldım.
Analitik akışla neyi kastettiğimizi açıklığa kavuşturacağız ve ardından işletme değerinin elde edilip edilemeyeceğine bakacağız, çünkü gerçekten işletmelerin aradığı şey bu. İnsanların kendilerine çok hızlı ve öz bir şekilde açıklamasını istiyorlar, akış analizlerimize bir tür analitik uygulayarak değeri nereden alabilirim?
Akış analizi nedir?
Akışlı analizler, kuruluşlara, işletmeden elde ettikleri yüksek hacimli ve yüksek hızlı verilerden değeri hareket halinde çeşitli biçimlerde elde etmeleri için bir yol sağlar. Buradaki en önemli fark, anabilgisayarın icat edilmesinden bu yana onlarca yıl boyunca durmadan işlediğimiz verilerin analiz ve mercek geliştirme geçmişini uzun bir geçmişe sahip olmamızdır. Son üç ila beş yılda “web ölçeği” dediğimiz büyük paradigma kayması, yalnızca olay korelasyonunu işlemek ve aramakla değil, gerçek zamanlı olarak veya gerçek zamanlı olarak bize gelen veri akışlarına da değiyor. olay tetikler, ancak bu akışlarda gerçekten ayrıntılı, derinlemesine analizler gerçekleştirir. Bu, daha önce yaptığımızın önemli bir kaymasıdır; ya veri toplar, onu bir tür depoya koyar, şimdi geleneksel olarak büyük veritabanları, Hadoop platformu gibi büyük büyük veri çerçeveleri ve toplu mod işleme gerçekleştirme ve elde etme bir çeşit içgörü.
Bunu çok hızlı bir şekilde yapmakta ve malzemelerde çok fazla demir demir denemekte çok başarılı olduk, ancak yine de gerçekten veri topluyoruz, saklıyor ve sonra da inceliyoruz ve bunun hakkında bazı bilgiler veya analizler alıyoruz. Verileri aktarırken bu analizleri gerçekleştirme kayması, büyük verilerin etrafında meydana gelen türler için çok yeni ve heyecan verici bir büyüme alanı olmuştur. Analitik sadece yakalamak, depolamak ve işlemek ve gerçekleştirmek için tamamen farklı bir yaklaşım gerektirir.
Akışta analitik performans sergilemeye odaklanmanın ve odaklanmanın ana itici güçlerinden biri, bilgi size verildiği için, işletmelere bilgi verildiğinden, bu bilgileri daha hızlı ve daha kolay elde etmekten önemli bir iş değeri elde edebilmenizdir. Artık gün sonu işlemesi yapma fikri artık bazı endüstrilerle ilgili değil. Analizleri anında yapabilmek istiyoruz. Günün sonunda, günün sonuna gelip, 24 saatlik bir toplu iş yapmak ve bu öngörüleri elde etmek yerine, ne olduğunu zaten biliyoruz.
Akış analitiği, bu akışa doğrudan girmekle ilgilidir; veri akışları genellikle bize çok, çok hızlı bir şekilde hareket eden çok yüksek hacimli veri ve veri akışları ve karşımıza çıktıkça bu akışlar hakkında içgörü ya da analitikler elde etmenin çoklu akışlarıdır. Bunun istirahatte ortaya çıkmasına ve analitik performans göstermesine izin vermek.
Bahsettiğim gibi, toplu analitik olarak adlandırdığım şeyi onlarca yıl ve yıllarca sürdürdük. Buraya gerçekten harika bir resim koydum. Bu, bir ömür önce RAND Corporation tarafından oluşturulan alaycı bir bilgisayarın önünde duran bir beyefendi resmi ve bir evdeki gibi görünen bir bilgisayarı gördükleri. İlginç olan şey, o zaman bile, tüm bu küçük aramalar kavramına sahip olmaları ve bu aramaların evden gelen ve gerçek zamanlı olarak işlenen ve size neler olduğunu söyleyen bilgileri temsil etmeleri. Basit bir örnek, gerçek zamanlı olarak ne olduğunu görmekte olduğumuzu görebildiğimiz bir barometrik basınç ve sıcaklık kümesidir. Ancak, RAND Corporation bu küçük maketi bir araya getirdiğinde, aslında veri işleme ve analizleri akış biçiminde gerçekleştiği için yapmayı düşünüyorlardı. Neden bilgisayara bir direksiyon taktıklarını tam olarak bilmiyorum ama bu oldukça iyi.
Şirketin buluşundan bu yana, veri toplama ve üzerinde toplu analizler gerçekleştirme görüşümüz vardı. Şimdi büyük değişim ile dediğim gibi, bunu hepimizin bildiği web ölçekli oyuncuların beğenilerinden gördük, hepsi ev markaları ve LinkedIn gibi bu sosyal platformlarda sahip olduğumuz etkileşimli davranışların gerektirdiği toplu iş modunda sadece yakalamak, saklamak ve işlemden geçirmekle kalmaz, aynı zamanda gelen veri akışlarından anında analizleri yakalar ve yönlendirir. Bir şeyi Tweet'lediğim zaman, sadece daha sonra bir şeyleri yakalayıp depolamaları ve yapmaları değil, aynı zamanda derhal akışıma geri koymaları ve beni takip eden diğer insanlarla paylaşmaları gerekir. Bu bir toplu işlem modelidir.
Neden bu rotadan aşağı inelim? Kuruluşlar neden akış analitiği yolunda çaba gösterme zorunluluğunu göz önüne alarak zaman, çaba ve para harcayacaklar? Kurumlar, içinde bulundukları endüstrilerdeki rakiplerinden daha yüksek bir performans kazanması ve bu performans kazancının basit akış analitiği ile hızlı bir şekilde uygulanabilmesi ve halihazırda bulunduğumuz gerçek zamanlı verileri takip ederek başlayabilir. benzer. Orada Google Analytics’in küçük bir ekran görüntüsü var. Bu, muhtemelen uygulamalı tüketici analitiğini ilk aldığımız zamanlardan biri. Böylece insanlar web sitenizi ziyaret ediyor ve bu sayıları alıyorsunuz, web sayfanızın alt kısmında küçük bir JavaScript parçasını web sitenize yerleştirilmiş HTML ile birlikte, bu küçük kodlar gerçek zamanlı olarak Google’a dönüyordu ve web sitenizdeki her sayfadan, web sitenizdeki her nesneden gerçek zamanlı olarak gelen veri akışlarına ilişkin analitik işlemleri gerçekleştirin ve gerçek zamanlı grafiğin, şirin küçük histogramların ve çizginin gösterge tablosundaki bu gerçekten sevimli küçük web sayfasında size geri dönün. Sayfanıza tarihsel olarak vuran kişi sayısını gösteren X grafik, ancak işte şu an kaç tane var.
Ekran görüntüsünde de görebileceğiniz gibi, şu anda 25 yazıyor. Şu anda ekran görüntüsünün olduğu sırada bu 25 kişi o sayfadaydı. Tüketici sınıfı analitik aracı üzerinde oynadığımız ilk gerçek şans bu. Bence pek çok insan gerçekten var. Sadece neler olup bittiğini ve buna nasıl cevap verebileceklerini bilmenin gücünü anladılar. Aviyonik ölçeğini, etrafta uçan uçakları düşündüğümüzde, sadece ABD'de günde 18.700 iç hat uçuşu var. Bir süre önce bir yazı okudum - yaklaşık altı ya da yedi yıl önceydi - bu uçaklar tarafından üretilen veri miktarının eski mühendislik modelinde yaklaşık 200 ila 300 megabayt olduğu. Günümüzdeki uçak tasarımlarında, bu uçaklar uçuş başına yaklaşık 500 gigabayt veri veya yaklaşık yarım terabayt veri üretiyorlar.
Çok hızlı bir şekilde başınızın üstünden matematiği yaptığınızda, yalnızca ABD hava sahasında 24 saatte bir 18700 iç hat uçuşu varsa, tüm modern uçaklar yaklaşık yarım terabayt üretiyorsa, bu 43 ila 44 petabayt veri geliyor ve uçaklar havada iken oluyor. İndikleri zaman oluyorlar ve veri dökümü yapıyorlar. Bu, mağazaya girdiklerinde ve yataklarda, tekerleklerde ve motorların içinde neler olup bittiğine bakmak için mühendislik ekiplerinden tam bir veri dökümü almaları. Bu verilerin bir kısmı gerçek zamanlı olarak işlenmelidir, böylece uçak havada veya havada iken gerçek bir sorun olup olmadığı konusunda kararlar alabilirler. Bunu toplu halde yapamazsınız. Finans, sağlık, üretim ve mühendislik alanlarında gördüğümüz diğer endüstrilerde, veritabanında depolananların aksine, gerçek zamanda neler olup bittiğine dair bu yeni kavrayışla nasıl başarabileceklerini araştırıyorlar. terim.
Ayrıca, bozulabilir bir mal veya bozulabilir bir mal olarak adlandırdığım bir veri olarak başa çıkma kavramı da var - birçok verinin zaman içinde değer kaybettiği. Hareketlilik uygulamaları ve sosyal medya araçlarıyla durum gittikçe daha fazla oluyor. Çünkü insanların ne söylediğini ve şu anki eğiliminde olana cevap vermek istediğiniz şey. Lojistik ve nakliye yiyecekleri ile hayatımızın diğer bölümlerini düşündüğünüz zaman, bu anlamda bozulabilir emtia kavramını anlıyoruz. Ancak, kuruluşunuzdan geçen verileri ve sahip olduğu değeri düşünün. Eğer biri şu anda sizinle bir şeyler yapıyorsa ve onlarla gerçek zamanlı olarak etkileşime geçebiliyorsanız, verilerin yakalanıp Hadoop gibi bir sisteme yerleştirilebilmesi için bir saat beklemek istemez ve ardından bu düğmeye basın, şu anda bununla başa çıkamayacaksınız ve bunu müşterinin talebine derhal yapabilmek isteyeceksiniz. İnsanların size kişiselleştirme sağlayabilecek bu gerçek zamanlı veri akışına sahip olduklarından ve bu kişiselleştirmeyi kişisel deneyiminize göre kullandığınız sisteme göre ayarladıklarından, şimdi çokça göreceğiniz bir terim var. Bu nedenle, örneğin Google Arama aracı gibi bir araca çarptığınızda, örneğin bir sorgu yaparsam ve aynı sorguyu yaparsanız, sürekli olarak aynı verileri alamayız. Aslında ünlü bir deneyim olarak adlandırdığım şeyi elde ediyoruz. Bir kereye mahkum oldum. Bu sistemlerde neler olup bittiğine dair kendi kişisel versiyonumu kendimde topladıkları profillere ve verilere dayanarak alıyorum ve akışta gerçek zamanlı olarak analitik yapabildim.
Verinin bozulabilir bir meta olduğu fikri bu, şu an için gerçek bir şeydir ve zamanla azalan verilerin değeri, bugün ele almamız gereken bir şeydir. Bu dün bir şey değil. Nehirden atlayan bir somonu yakalayan bir ayının bu resmini seviyorum çünkü tam olarak akış analizini gördüğümüzü gerçekten boyar. Bize gelen bu devasa veri nehri, eğer istersen bir ateş hortumu ve ayı derenin ortasında oturuyor. Etrafında olup bitenler hakkında gerçek zamanlı analizler yapacak ve böylece o balığı havada yakalama kabiliyetini geliştirebilecektir. Akıntıya dalmak ve kapmak gibi bir şey değil. Bu şey havada zıplıyor ve bu balığı yakalamak için doğru zamanda doğru yerde olması gerekiyor. Aksi takdirde kahvaltı ya da öğle yemeği alamaz.
Bir kuruluş aynı şeyi verileriyle yapmak ister. Şimdi hareket halinde olan büyük veri hacimlerinden değer elde etmek istiyorlar. Bu veriler ve yüksek hızlı veriler üzerinde analitik yapmak istiyorlar, bu yüzden sadece bize gelen veri miktarı değil, bundan gelme hızı. Örneğin, güvenlik açısından, tüm yönlendiricileriniz, anahtarlarınız, sunucularınız, güvenlik duvarlarınız ve bunlardan gelen tüm olaylar ve yüzlerce cihaz olmasa da, bazı durumlarda bozulabilir verilerdir. Bunu Nesnelerin İnterneti ve endüstriyel İnternette düşündüğümüzde, milyarlarca sensör olmasa da milyonlarca konuştuk ve sonuçta analitik performans gösteren veriler geldiğinde, şimdi karmaşık olayların işlenmesini istiyoruz. daha önce hiç görmediğimiz büyüklük ve hızlarda ve bugün bununla uğraşmak zorundayız. Bununla ilgili araçlar ve sistemler inşa etmek zorundayız. Bu organizasyonlar için gerçek bir meydan okumadır, çünkü bir yandan DIY yapan çok büyük markalara sahibiz, bunu yapabilme kapasitelerine sahip olduklarında, beceri seti ve mühendislik yapabildiklerinde kendin pişiririz. Ancak ortalama bir organizasyon için durum böyle değil. Yetenek setlerine sahip değiller. Bunu bulmak için yatırım yapacak kapasiteye, zamana ve hatta paraya sahip değiller. Hepsi bu gerçek zamanlıya yakın karar verme kavramına yöneliktir.
Karşılaştığım vakaları kullanın ve hayal edebileceğiniz her sektörün geniş yelpazesinde karşımıza çıkıyor, insanlar oturuyor ve dikkat ediyor ve bazı analizleri akış verilerimize nasıl uygularız? Web ölçekli çevrimiçi hizmetler hakkında konuşuyoruz. Geleneksel sosyal medya platformları ve çevrimiçi e-postalama ve perakende satış uygulamaları var - örneğin uygulamalar. Hepsi bize bu gerçek zamanlı ünlü deneyimini yaşatmaya çalışıyor. Ancak teknoloji yığını hizmetleri, telefon hizmetleri, ses ve video gibi konulara daha çok indiğimizde, etrafta dolaşan ve telefonda FaceTime yapan insanları görüyorum. Sadece patlıyor. İnsanları telefonu önlerinde tutmak ve artık kulağına tutmak yerine arkadaşın video yayınıyla konuşmam aklımdan geçiyor. Fakat bunu yapabildiklerini biliyorlar ve adapte oldular ve bu deneyimi sevdiler. Bu uygulamaların ve bunları sağlayan platformların geliştirilmesi, o trafikte ve trafik profillerinde gerçek zamanlı analitik yapmak zorunda kalıyor, böylece o videoyu mükemmel bir şekilde yönlendirmek için basit bir şey yapabiliyorlar. Aldığınız video, iyi bir deneyim kazanmak için yeterli. Bu tür verileri toplu olarak işleyemezsiniz. Gerçek zamanlı video akışını işlevsel bir hizmet yapmaz.
Finansal işlemlerde bir yönetişim zorluğu var. Günün sonuna kadar gelip, özel verileri bir yerde gezdirmekle ilgili yasaları çiğnemiş olduğunuzu bilmek sorun değil. Avustralya'da, gizlilikle ilgili verilerin açık denizde taşınmasının hayır-hayır olduğu durumlarda çok ilginç bir zorluğa sahibiz. PID'imi, özel kişisel kimlik bilgilerimi, denizden alamazsınız. Avustralya'da bunun olmasını engelleyen yasalar var. Özellikle finansal hizmet sağlayıcıları, kesinlikle devlet hizmetleri ve ajansları, bana sunduklarının kıyıları terketmediğinden emin olmak için veri akışları ve talimatlarıyla ilgili gerçek zamanlı analitik yapmak zorundalar. Her şey yerel olarak kalmalı. Gerçek zamanlı yapmalılar. Daha sonra yasayı ihlal edip affedilme talep edemezler. Sahtekarlık tespiti - kredi kartı işlemleriyle ilgili duyduğumuz çok açık bir şey. Ancak, finansal hizmetlerde yaptığımız işlem türleri çok, çok hızlı bir şekilde değiştiğinden, PayPal'ın şu anda ilk kez dolandırıcılık tespitinde, paranın bir şeyden diğerine geçmediği gerçek zamanlı olarak yaptıkları şeyler vardır. sistemler arasında finansal bir işlem. Ebay teklif platformları, dolandırıcılık tespitinde gerçek zamanlı olarak bir akış ofisinde yapılması gerekiyor.
Şu anda akışlardaki akış aktivitesini çıkarma ve dönüştürme işlemini gerçekleştirmeye devam eden bir eğilim var, böylece akışa giden herhangi bir şeyi yakalamak istemiyoruz. Bunu gerçekten yapamayız. İnsanlar her şeyi yakalarsak verinin çok hızlı bir şekilde kırılmayı sevdiğini öğrendiler. Şimdi buradaki püf nokta bu akışlar üzerinde analitik yapmak ve üzerinde ETL yapmak ve sadece ihtiyacınız olanı, potansiyel olarak meta verileri yakalamak ve ardından tahmin edici analitiği sürmek. Bu konuda yaptığımız analitiğe dayalı olarak akışta gördüm.
Enerji ve kamu hizmetleri sağlayıcıları, tüketicilerin talep fiyatlandırması konusundaki bu büyük arzuyu yaşıyorlar. Günün belirli bir saatinde yeşil güç almak istediğime karar verebilirim, çünkü sadece evde yalnızım ve çok fazla cihaz kullanmıyorum. Ancak bir akşam yemeği partim varsa, tüm cihazlarımın açık olmasını isteyebilirim ve ucuz güç satın almak ve teslim edilmesini beklemek istemiyorum, ancak bu gücü elde etmek için daha fazla maliyet ödemeye razıyım. Özellikle kamu hizmetleri ve enerji alanında bu talep fiyatlandırması çoktan gerçekleşti. Örneğin Uber, her gün yapabileceğiniz şeylerin klasik bir örneğidir ve hepsi de talep fiyatlandırmasından kaynaklanmaktadır. Avustralya’da, Yılbaşı’nın yoğun talepleri nedeniyle 10.000 $ ücret alan bazı klasik insan örnekleri var. Eminim bu konuyu ele aldılar ama arabada iken ne kadar ödeme yapmam gerektiğini söyleyen analizler gerçek zamanlı olarak gerçekleştiriliyor.
Nesnelerin İnterneti ve sensör akışları - bu konudaki yüzeyi henüz yeni çizdik ve bunun üzerine gerçekten basit bir konuşma gerçekleştirdik, ancak teknolojinin bununla nasıl başa çıktığı konusunda ilginç bir değişim göreceğiz çünkü sadece binlerce veya on binlerce ama yüz binlerce ve size potansiyel olarak milyarlarca cihaz akıyor, şu anda sahip olduğumuz teknoloji yığınlarının neredeyse hiçbiri bununla başa çıkmak için tasarlanmadı.
Güvenlik ve siber risk gibi oralarda göreceğimiz bazı sıcak konular var. Onlar bizim için çok büyük zorluklar. İnternette North adında, gerçek zamanlı olarak gerçekleşen çeşitli siber saldırıların bir web sayfasında oturup izleyebileceğiniz çok temiz bir araç var. Şuna baktığınızda, “ah bu sevimli küçük bir web sayfası” diye düşünüyorsunuz, ancak oradaki yaklaşık beş dakika sonra, sistemin dünyadaki tüm farklı cihazların tüm farklı akışlarında analitik yaptığı veri hacmini fark ediyorsunuz. Bu onlara besleniyor. Temel olarak, bu kaydın kenarında nasıl bir performans sergilediklerini ve size gerçek zamanlı ve ne tür saldırılara saldıracağınızı söyleyen basit bir ekran sağlamaya başlıyor. Ancak, sadece bu sayfayı izleyerek ve akışları alma, analiz sorgularını işleme koyma işleminin sadece hacmi ve hacmi hakkında bir fikir edinerek, akış analitiklerinin gerçek zamanlı olarak sizin için potansiyel olarak neler yapabileceğinin iyi bir tadına varmanın gerçekten çok küçük bir yolu. onları ve gerçek zamanlı olarak temsil eder.
Seansın geri kalanı için yaptığım sohbeti tüm bu tür şeylere ilginç bir bakış açısıyla hitap edeceğim ve benim açımdan bu DIY’in zorluğudur. bu tür şeyleri inşa etmeye gücü yeten klasik tek boynuzlu atlar. Bu mühendislik ekiplerini kurmak ve veri merkezlerini kurmak için milyarlarca dolarları var. Ancak, akış analizi yapan işlerinde değer elde etmek isteyen kuruluşların% 99,9'u için kullanıma hazır bir hizmet almaları gerekiyor. Kutudan bir ürün satın almaları gerekir ve genellikle bunları uygulayabilmeleri için bazı danışmanlık hizmetlerine ve profesyonel hizmetlere ihtiyaçları vardır ve bu değeri işletmede geri kazanıp, işe geri dönen bir işletme olarak satırlar.
Bununla, size geri vereceğim Rebecca, çünkü şu an detaylı bir şekilde ele alacağımızın olduğuna inanıyorum.
Rebecca Jozwiak: Mükemmel. Çok teşekkürler, Dez. Bu harika bir sunum.
Şimdi topu Robin'e vereceğim. Al onu.
Robin Bloor: Tamam. Dez, akarsu işlemenin nitrit kumluğuna girdiğinden, onu tekrar ele almak bana mantıklı gelmiyordu. Bu yüzden sadece tamamen stratejik bir görüşe gidiyorum.Neler olup bittiğine dair neredeyse çok yüksek bir seviyeden aşağıya bakıyor ve onu konumlandırıyor; çünkü insanlara, özellikle de daha önce çok derinlemesine işlem yapan akarsularla kaplı olmayan insanlara yardım edebileceğini düşünüyorum.
Akış işleme uzun süredir devam ediyor. Biz buna CEP derdik. Ondan önce gerçek zamanlı sistemler vardı. Orijinal süreç kontrol sistemleri aslında bilgi akışını işliyordu - elbette bugünlerde hiçbir şey gitmiyordu. Slaytta gördüğünüz bu grafik; aslında bir çok şeyi işaret ediyor, ama başka bir şeyin üstünde ve ötesinde işaret ediyor - burada farklı renklerde görünen bir çeşit gecikme olduğu. Gerçekte, 1960'larda gelen bilgisayar veya ticari bilgisayar icatından bu yana olan şey, her şeyin daha da hızlı ve hızlı bir şekilde gerçekleştiğidir. Dalgaları seviyorsanız, bunun gerçekte ortaya çıkış şekline bağlıydık, çünkü öyle görünüyordu. Bu aslında ona bağlı. Çünkü bunların tümü Moores yasası tarafından yönlendirildi ve Moores yasası, altı yıllık bir süre boyunca bize yaklaşık on kat daha hızlı bir faktör verecek. Sonra aslında 2013'e vardığımızda her şey bozuldu ve birdenbire hiç görülmemiş bir hızda aniden hızlanmaya başladık. Hızdaki artış ve dolayısıyla her altı yılda bir gecikme süresinde bir azalma faktörü alıyorduk. 2010'dan bu yana geçen altı yıl içinde, en az binde bir çoğumuz var. Bir tane yerine üç büyüklük sırası.
Bu devam eden şeydi ve bu yüzden endüstrinin bir şekilde ya da diğerinde fantastik hızlarda hareket ettiği görülüyor - çünkü öyle. Sadece bu belirli grafiğin anlamından geçerken, yanıt süreleri aslında dikey eksende algoritmik ölçektedir. Gerçek zamanlı, bilgisayar hızından, insanlardan daha hızlıdır. Etkileşimli zamanlar turuncu. Gerçekten, onda biri ile yaklaşık bir saniyelik gecikme süresi istediğiniz bilgisayarla etkileşime giriyorsanız. Yukarıda, gerçekte bilgisayarda ne yaptığınızı düşündüğümüz bir işlem var, ancak bu işlem on beş saniye içinde gerçekleşirse dayanılmaz hale gelir. İnsanlar aslında bilgisayarı beklemeyeceklerdi. Her şey toplu iş yapıldı. Toplu halde yapılan birçok şey şimdi işlem alanına, etkileşimli alana ve hatta gerçek zamanlı alana girmeye başlıyor. Önceden, çok az miktarda veri içeren bir dalgayı, bunun bir kısmını yapabiliriz, ancak şimdi büyük ölçüde ölçeklendirilmiş bir ortam kullanarak çok büyük miktarda veri ile yapabiliriz.
Yani, temel olarak, bunların hepsi gerçekten işlem ve etkileşimli insan tepki süreleri olduğunu söylüyor. Şu an akarsularla yapılan çok fazla şey insanoğlunu şeyler hakkında bilgilendirmektir. Bazıları bundan daha hızlı gidiyor ve bazı şeyleri iyi bilgilendiriyor, bu yüzden gerçek zaman. Sonra sadece bir taş gibi düşerek bir lisans alırız, bu da anlık analitiği mümkün ve tesadüfen oldukça makul hale getirir. Bu sadece hız düşmedi ve üst kısım da çöktü. Muhtemelen tüm bu çeşitli uygulamalar arasında bunların hepsinde en büyük etki, tüm bu tahmine dayalı analitik yapabilirsiniz. Size neden bir dakika içinde söyleyeceğim.
Bu sadece nalburdan. Paralel yazılımın var. 2004'te konuşuyoruz. Ölçeklendirme mimarisi, çok çekirdekli yongalar, bellek artışı, yapılandırılabilir CPU. SSD'ler artık disk döndürmekten çok daha hızlı gidiyor. Dönen disk elveda hemen hemen el sallayabilir. SSD'ler de çok sayıda çekirdek içindedir, bu yüzden yine daha hızlı ve daha hızlı. Yakında ortaya çıkması için, HP’den memristor aldık. Intel ve Micron'dan 3D XPoint'i aldık. Bunların vaadi, yine de hepsinin daha hızlı ve daha hızlı ilerlemesini sağlayacak olmasıdır. Aslında ikisi de temel küçük parçanın tamamını yaratacak olan iki yeni bellek teknolojisini düşündüğünüzde, bireysel devre kartı daha hızlı ilerliyor, bunun sonunu bile göremedik.
Gerçekten bir sonraki olan Streams teknolojisi burada kalıyor. Yeni bir mimari olması gerekecek. Dez, sunumunda birkaç noktada bundan bahsetti. Onlarca yıldır mimariyi veri yığınları ve veri borularının bir kombinasyonu olarak gördük. Yığınları işleme koyma eğilimindeydik ve yığınlar arasındaki verileri aktarma eğilimindeydik. Şimdi veri akışlarının işlenmesini veri yığınlarıyla birleştiren Lambda veri mimarisi olarak adlandırdığımız şeye temelde ilerliyoruz. Aslında geçmiş verilere karşı bir veri akışı veya veri yığını olarak gelen bir olaylar akışını işlerken, Lambda mimarisi ile kastettiğim budur. Bu bebeklik döneminde. Bu resmin sadece bir kısmı. Dez'in de bahsettiği Her Şeyin İnterneti kadar karmaşık bir şey düşünürseniz, aslında akışta ne işlemeniz gerektiğine dair kararlar gibi her türlü veri konumu sorunu olduğunu fark edersiniz.
Burada gerçekten söylediğim şey, toplu işlerken, aslında akışları işlediğimizdir. Her seferinde bir tane yapamadık. Büyük bir yığın olana kadar bekleriz ve sonra hepsini bir kerede işleriz. Akışta akışları işleyebileceğimiz bir duruma geçiyoruz. Akıştaki öğeleri işleyebilirsek, o zaman tuttuğumuz veri yığınları akıştaki verileri işlemek için başvurmamız gereken statik veriler olacaktır.
Bu bizi bu özel şeye götürür. Daha önce biyolojik analojiyle ilgili bir sunumda bundan bahsettim. Düşünmeni istediğim yol şu an insan olduğumuz an. Gerçek zamanlı tahmine dayalı işlem için üç ayrı ağımız var. Bunlara somatik, özerk ve enterik denir. Enterik senin miden. Otonom sinir sistemi, savaş ve uçuşlara bakar. Aslında çevreye hızlı tepkiler sonra bakar. Bedenin hareketinden sonra bakılan somatik. Bunlar gerçek zamanlı sistemler. Bununla ilgili ilginç bir şey - ya da bence ilginç bir şey - birçoğunun hayal edeceğinizden daha tahminde bulunuyor. Sanki yüzünüzden yaklaşık 18 inç etrafındaki bir ekrana bakıyorsunuz. Açıkça görebildiğiniz her şey, vücudunuzun açık bir şekilde görebildiği tek şey aslında 8 × 10'luk bir dikdörtgendir. Bunun dışındaki her şey aslında vücudunuzla ilgili olarak bulanık, ancak zihniniz aslında boşlukları dolduruyor ve bulanıklaştırmıyor. Hiç bir bulanıklık görmüyorsunuz. Açıkça görüyorsun. Zihniniz aslında bu açıklığı görebilmeniz için veri akışının yordayıcı yöntemini yapıyor. Bu biraz garip bir şey ama gerçekte sinir sisteminin nasıl çalıştığını ve etrafta dolaşmayı ve davranış biçimimizi makul bir şekilde - en azından bazılarımız - makul bir şekilde ve her zaman şeylere çarpmamaya bakıyoruz.
Hepsi burada bir dizi sinirsel analitik ölçeği ile yapılıyor. Gerçekleşecek olan şey, kuruluşların aynı türden bir şeye sahip olacağı ve aynı türden bir şey inşa edeceği ve kuruluşun iç akışları dahil olmak üzere akışların işlenmesi olacak - ve bunun içinde gerçekleşen şeyler. onun dışında olan şeyler, aslında yapılması gereken anlık tepkiler elbette insana karar vermesi, hepsini gerçekleştirmesi için besliyor. Gördüğüm kadarıyla gideceğimiz yer burası.
Bunun bir sonucu olan şeylerden biri, akış uygulamasının seviyesinin iyi gitmesidir. Şimdi gördüğümüzden çok daha fazlası olacak. Şu anda, bariz olan şeyleri yapmanın düşük asılı meyvesini topluyoruz.
Her neyse, buradaki sonuç bu. Akış analitiği bir zamanlar bir niştir ancak ana akım haline gelir ve yakında genel olarak kabul edilir.
Bununla, onu Rebecca'ya geri vereceğim.
Rebecca Jozwiak: Çok teşekkürler Robin. Her zamanki gibi harika sunum.
Anand, sırada sen varsın. Zemin senindir.
Anand Venugopal: Fantastik. Teşekkür ederim.
Adım Anand Venugopal ve StreamAnalytix'in Ürün Yöneticisi. Kaliforniya, Los Gatos'tan Impetus Technologies tarafından sunulan bir üründür.
Impetus, büyük işletmeler için büyük bir veri çözümleri sağlayıcısı olarak harika bir geçmişe sahipti. Bu yüzden, bir hizmet şirketi olarak bir dizi akışsal analitik uygulaması yaptık ve birçok ders aldık. Ayrıca son birkaç yıl içinde bir ürün şirketi ve çözüm odaklı şirket olma yönündeki değişime de geçtik ve Stream Analytics, Impetus'u büyük ölçüde ürün odaklı bir şirkete dönüştürmenin sorumluluğunu taşıyor. Impetus'un işletmelere maruz kalmamız sayesinde temizlediği bazı kritik, çok, çok önemli varlıklar var ve StreamAnalytix de onlardan biri.
20 yıldır bu işteyiz ve bizi büyük bir avantaj yapan ürün ve hizmetlerin mükemmel bir karışımı var. Ve StreamAnalytix, ilk beş veya altı akış uygulamasından öğrenilen tüm derslerden doğdu.
Birkaç şeye dokunacağım, ancak analistler Dez ve Robin, genel olarak alanı kaplamada harika bir iş çıkardılar, bu yüzden üst üste binen birçok içeriği atlayacağım. Muhtemelen hızlı gideceğim. Gerçek akış durumlarının yanı sıra, işletmelerde kelimenin tam anlamıyla çok, çok önemli parti işlemlerinin olduğu çok sayıda toplu ivme kullanan çok sayıda toplu ivme görüyoruz. Gördüğünüz gibi, bir olayı algılamanın ve analiz edip davranmanın tüm bu süreci büyük işletmelerde haftalar sürebilir ve hepsi dakikalar, bazen de saniye ve milisaniyelere düşürmeye çalışıyorlar. Bu toplu iş süreçlerinin hepsinden daha hızlı olan herhangi bir şey, işletme edinimi için adaydır ve bu, verinin değerinin yaşıyla birlikte önemli ölçüde azaldığını ortaya koymaktadır. İdeal olarak, ne olacağını tahmin edebiliyorsanız, en yüksek değer budur. Bir sonraki en yüksek değer, gerçekleştiği anda orada olduğu zaman, onu analiz edip yanıt verebilirsiniz. Elbette, değer bundan sonra içinde bulunduğumuz ana kısıtlayıcı BI'yi önemli ölçüde azaltır.
İlginç. Analitik akışların neden yayınlanacağı konusunda çarpıcı bir bilimsel cevap bekleyebilirsiniz. Çoğu durumda, gördüğümüz şey şudur: çünkü artık mümkün ve herkes partinin eski olduğunu biliyor, parti sıkıcı ve parti hiç de hoş değil. Akış mümkün olduğu ve herkesin şu anda Hadoop'u olduğu konusunda herkesin sahip olduğu yeterli eğitim var. Şimdi Hadoop dağıtımlarında, ister Storm, ister Kıvılcım akışı ve Kafka vb.
Gördüğümüz işletmeler bu konuya giriyor ve bu davaları denemeye başlıyorlar ve iki geniş kategori görüyoruz. Birinin müşteri analizi ve müşteri deneyimi ile ikinci operasyonel zekası ile ilgisi var. Bununla ilgili detayları biraz sonra anlatacağım. Tüm müşteri hizmeti ve müşteri deneyimi açısı ve biz Impetus StreamAnalytix, bunu birçok farklı yolla gerçekleştirdik, gerçekten, gerçekten, tüketicinin gerçek zamanlı olarak çok kanallı katılımını yakalamak ve onlara çok çok hassas deneyimler sunmak bugün yaygın olmayan hangi. Web’de dolaşıyorsanız, Bank of America web sitesinde, ve bazı ürünleri araştırıyordunuz ve çağrı merkezini arayın. “Hey Joe, bazı bankacılık ürünlerini araştırdığınızı biliyorum, sizi doldurmamı ister misiniz?” Derler mi? Bugün bunu beklemiyorsunuz, ama bu, analitik akışla gerçekten mümkün olan bir deneyim. Çoğu durumda, özellikle müşteri web sitenizde erken fesih hükümlerini veya erken fesih şartlarını ve koşullarını inceleyerek sizinle sözleşme dışına çıkmanın yollarını araştırmaya başladıysa ve daha sonra aradığınızda, doğrudan onlarla yüzleşmekle birlikte, ancak dolaylı olarak bir tür ilk terfiyle ilgili bir teklifte bulunun; çünkü sistem bu kişinin erken sonlandırmaya baktığını bilir ve bu noktada bu teklifi yaparsanız, bu çalkantılı müşteriyi çok iyi koruyabilir ve bu varlığı koruyabilirsiniz .
Bu bir örnek olurdu, ayrıca birçok müşteri hizmetleri de çok iyi örneklerdir. Bugün uyguluyoruz, çağrı merkezindeki maliyeti düşürüyor, etkileyici ve keyifli müşteri deneyimleri sağlıyor. Dez, bazı kullanım durumlarının özetlenmesinde iyi bir iş çıkardı. Birkaç dakika bu çizelgeye bakabilirsiniz. Dikey, yatay ve açılan alanlar, IoT, mobil uygulama ve çağrı merkezi olarak sınıflandırdım. Hepsi dikey ve yataydır. Bu ona nasıl baktığınıza bağlıdır. Sonuç olarak, endüstri dikeylerinde oldukça yaygın olan çok sayıda yatay kullanım görüyoruz ve finansal hizmetler, sağlık hizmetleri, telekomünikasyon, üretim vb. Gibi dikey spesifik kullanım durumları var. Gerçekten kendinize soruyu sorar veya kendinize söylerseniz “Ah, hangi davaların kullanıldığını bilmiyorum. Şirketim veya kuruluşumuz için akış analitiklerinde gerçekten herhangi bir işletme değeri olup olmadığından emin değilim, ”diye düşünün, iki kez düşünün. Daha fazla kişiyle konuşun, çünkü bugün şirketinizde alakalı kullanım durumları var. İşletme değerinin tam olarak nasıl elde edildiğiyle ilgili olarak işletme değerine gireceğim.
Buradaki piramidin altında, tahmine dayalı bakım, güvenlik, çalkalama koruması vb. Var. Bu tür kullanım durumları gelirlerin ve varlıkların korunmasını oluşturur. Target, saatler ve haftalar boyunca meydana gelen güvenlik ihlallerini koruduysa, CIO işini kurtarabilirdi. Onlarca veya yüzlerce milyon dolar tasarruf sağlayabilir, vb. Gerçek zamanlı akış analizi, bu varlıkların korunmasında ve kayıpların korunmasında gerçekten yardımcı olur. İşte bu doğrudan işletme değeri.
Bir sonraki kategori daha karlı hale geliyor, maliyetinizi düşürüyor ve mevcut operasyondan daha fazla gelir elde ediyor. Bu mevcut işletmenin verimliliği. Bunların hepsi, ağın nasıl çalıştığı, müşteri operasyonlarınızın nasıl davrandığı, iş sürecinizin nasıl davrandığı ve ince ayar yapabileceğiniz hakkında derinlemesine bilgi edindiğiniz gerçek zamanlı operasyonel zeka olarak adlandırdığımız kullanım durumlarıdır. hepsini gerçek zamanlı olarak alırsınız çünkü geri bildirim alırsınız, uyarı alırsınız. Gerçek zamanlı sapmalar, farklılıklar elde edersiniz ve sınırların dışına çıkan süreci hızlı bir şekilde gerçekleştirebilir ve ayırabilirsiniz.
Pahalı sermaye yükseltmelerinde ve şebeke servisini optimize ettiyseniz, gerekli olmayacağını düşündüğünüz şeylerde potansiyel olarak çok para tasarrufu da yapabilirsiniz. Büyük bir telekom ağının ağ altyapısında 40 milyon dolarlık bir yükseltme yapılmasını ertelediği bir durum duyduk çünkü mevcut trafiklerini yönetmek için yeterli kapasiteye sahip olduklarını buldular; Bunların hepsi, yalnızca gerçek zamanlı olarak bu içgörüler üzerinde hareket eden bazı gerçek zamanlı analitik ve eylem mekanizmalarıyla mümkündür.
Bir sonraki katma değer, mevcut tekliflerden daha fazla gelir ve kar elde etmek için fırsatların olduğu yerlerde çapraz satış yapmak, çapraz satış yapmaktır. Bu, çoğumuzun nerede yaşadıklarını bildiği, bugün size size sunulmayan bir ürünü gerçekten satın almaya istekli olduğunuzu düşündüğünüz klasik bir örnektir. Birçok durumda, bu gerçekten olur. Aklında, satın almak istediğini, satın almak istediğini bildiğin, bir yapılacaklar listesi ya da başka bir şeyin olduğu, karının sana söylediği ya da bir karın yoksa, ama gerçekten satın almak istediğin şeyler var. ya bir web sitesinden alışverişe gidersiniz ya da bir perakende satış mağazasında etkileşime girersiniz, mağazada sadece con bulunmaz, ihtiyaç duyabileceğiniz bilgiyi elde etmek için istihbarat yoktur. Dolayısıyla, işlerini güvenceye almazlar. Eğer gerçek tahminler yapmak için gerçek zamanlı analizler yapılabilseydi ve bu özel müşteriye en çok neyin uygun olacağı konusunda gerçekten muhtemelse, bu noktada bu müşteriye şu anda çok fazla satış ve çapraz satış geliyor. akış analizi - bu müşterinin bir fırsat olduğunda gerçeğin o anında alabileceği veya yanıt verebileceği şeye karar verebilmek. Bu yüzden Dez'in ayıyla birlikte gösterdiği resmi, o balığı yemek üzere çok seviyorum. Hepsi bukadar.
Ayrıca, başka bir işletmenin davranışının izlenmesine dayanarak, yalnızca müşteri davranışının izlenmesine dayanan, tamamen yeni ürün ve hizmetler sunan bir işletmedeki çarpıcı, dönüşümsel değişikliklerin büyük bir kategorisinin olduğunu düşünüyoruz. Diyelim ki, bir telekom veya kablo şirketi gerçekten pazarın hangi kesiminde, hangi zamanda hangi programda, vb. bir şekilde için. Dolayısıyla, şu anda neredeyse alıştığımız çoklu ekran davranışı kavramı, mobil uygulamalarımızda TV veya kablo içeriğini görebildiğimiz için neredeyse alıyor. Bu örneklerden bazıları bize sunulan yeni ürün ve hizmetlerden geliyor.
“Analitik akış akışının mimari düşünceleri nelerdir?” Konusuna gireceğim. Sonunda ne yapmaya çalıştığımız. Bu, tarihi verileri ve gerçek zamanlı bilgileri bir araya getirip aynı anda gördüğünüz Lambda mimarisidir. Sigma'nın sağladığı şey bu. Bugün hepimizin toplu mimarisi ve kurumsal resmi var. Bir çeşit BI yığını ve kullanım yığını kullanıyoruz ve Lambda mimarisi de ekledi. Hız katmanı ya da ihtiyaç ve Lambda tamamen bu iki anlayışı birleştirmek ve bunu birleştirerek, her iki anlayışı birleştiren zengin bir şekilde görmekle ilgilidir.
Kappa mimarisi olarak adlandırılan ve varsayımın hız katmanının uzun vadede devam edecek tek giriş mekanizması olduğu öne sürülen başka bir paradigma var. Her şey bu hız katmanından geçecek. Çevrimdışı bir ETL mekanizması bile olmayacak. Tüm ETL'ler olacak. Temizleyin, veri temizleyin, kalite ETL - bunların hepsi tel üzerinde gerçekleşecek, çünkü tüm verilerin gerçek zamanlı olarak doğduğunu unutmayın. Bir noktada, gerçek zamandı. Bunu göllere, nehirlere ve okyanuslara koymaya alıştık, sonra statik analizler yaparak, verilerin gerçek zamanda bir noktada doğduğunu unuttuk.Tüm veriler aslında zamanın gerçekleştiği gerçek zamanlı bir olay olarak ortaya çıkmıştır ve bugün gölde bulunan verilerin çoğu daha sonraki bir analiz için veri tabanına eklenmiştir ve şu anda aslında Lambda ve Kappa mimarisinde avantajımız var. onu görmek, analiz etmek, ön işleme tabi tutmak ve ulaştığı anda ona tepki vermek. Bu teknolojilerin sağladığı şey budur. Genel bir resim olarak baktığınızda, içinde Hadoop'un olduğu, MPP'lerin ve zaten sahip olduğunuz veri ambarlarının olduğu gibi bir şeye benziyor.
Bunu biz koyduk, çünkü sadece bir adadaki yeni teknolojiler hakkında konuşmamak önemlidir. Bütünleşmek zorundalar. Mevcut kurumsal aleyhte anlam ifade etmeleri gerekiyor ve işletmelere hizmet veren çözüm sağlayıcılar olarak biz buna çok duyarlıyız. İşletmelere her şeyi bütünleştirmelerinde yardımcı oluyoruz. Sol tarafta hem Hadoop hem de veri ambarı katmanlarının yanı sıra gerçek zamanlı katmanın beslendiği veri kaynakları var ve bu varlıkların her biri görebileceğiniz gibi stok bilgisayarları ve veri tüketim katmanı sağda yan. Günümüzde mevcut olan uyumluluk, yönetişim, güvenlik, yaşam döngüsü yönetimi vb. Durumların çoğunu taşımak için sürekli bir çaba var.
Analitik yayın yapan şeylerden biri yapmaya çalışıyor, bugün manzaraya bakarsanız, akış teknolojisi alanında ve kurumsal müşteri bakış açısında birçok şey oluyor, anlayacak çok şey var. Yetişecek çok şey var. Sol tarafta veri toplama mekanizmaları var - NiFi, Logstash, Flume, Sqoop. Açıkçası, ayrıntılı olmadığını söyleyen bir feragatname hazırladım. Kuyruklara geliyor ve ardından açık kaynaklı akış motorlarına geliyor - Storm, Spark Streaming, Samza, Flink, Apex, Heron. Heron muhtemelen henüz açık kaynak değildir. Öyle olup olmadığından emin değilim. Bu akış motorları daha sonra karmaşık olay işleme, makine öğrenmesi, öngörücü analitik, uyarı modülü, akış ETL akışı, zenginleştirme istatistik işlem filtreleri gibi bir kurulum analitik uygulama bileşenine öncülük eder veya bunları destekler. Bunların hepsi şimdi operatör diyorlar. Bir araya getirildiğinde bu operatörlerin kümesi, potansiyel olarak, bir akış motoru üzerinde çalışan bir akış uygulaması haline geldiğinde, büyük olasılıkla bazı özel sonuçlara varırdı.
Bu bileşen zincirinin bir parçası olarak, en sevdiğiniz dizininiz olan verileri en sevdiğiniz veritabanına kaydetmeniz ve dizine eklemeniz gerekir. Ayrıca, ön kısımda sağ taraftaki veri görselleştirme katmanına yol açan ticari ürünleri veya açık kaynaklı ürünlere önbellek dağıtmanız gerekebilir, ancak sonuçta bu verileri gerçek zamanlı olarak görselleştirmek için bir tür ürüne ihtiyacınız vardır. Ayrıca, bazen başka uygulamaları bulmanız gerekir. Hepimiz gördük ki, yalnızca içgörülen eylemle elde ettiğiniz değerlerin, bu eylemin analitik bir yığından tetikleyici olacağı, IVR tarafında bir şey olmuş veya bir çağrı merkezini tetikleyebilecek başka bir uygulama yığına geçeceği görüldü. Giden arama veya bunun gibi bir şey. Akış kümenizin akış aşağı veri akışının diğer uygulamalarını tetiklemesi için bu sistemleri entegre etmemize ve bazı mekanizmalara ihtiyacımız var.
Genelde soldan sağa doğru giden yığın budur. Daha sonra servis katmanları, orta izleme, güvenlik genel servis katmanı, vb. Var. Müşterilerin benim söylediğim gibi akışında olan ve ticari ya da bekar olan tüm müşterilerin Hadoop dağıtımları gibi gördükleri işletme alanında ne tür ürünler var? - Rakiplerimizde açıkça görünen satıcı çözümleri. Manzarada burada daha önce bahsetmediğimiz pek çok şey var.
Orada ne görüyorsanız geniş çapta kurumsal kullanıcı görüyor. Akış işleme için gördüğünüz gibi, karmaşık ve hızla gelişen bir teknoloji ortamı. Seçimi ve kullanıcı deneyimlerini basitleştirmeliyiz. İşletmelerin gerçekten ihtiyaç duyduğunu düşündüğümüz şey, hepsini tek bir yerden satın almayı, kullanımı kolay arayüzde, kullanımı gerçekten kolaylaştıran ve tüm hareketli parçaları göstermeyen tüm teknolojileri bir araya getiren işlevsel soyutlamadır. ve bozulma sorunları ve performans sorunları ve yaşam döngüsü bakım sorunları işletme için.
İşlevsellik soyutlama biridir. İkinci kısım, akış motorunun soyutlanmasıdır. Akış motorları ve açık kaynak alanları şimdi her üç, dört veya altı ayda bir geliyor. Uzun zamandır fırtınadaydı. Samza geldi ve şimdi Spark Streaming. Flink dikkat çekmeye başlayarak başını kaldırıyor. Spark Streaming yol haritası bile, potansiyel olarak saf olay işleme için farklı bir motor kullanmanın yolunu açıyorlar çünkü Spark'ın parti için tasarlandığını ve mimarlık vizyonunda ve potansiyel olarak farklı bir yol haritası için yol haritasını çıkardıklarının farkındalar. Spark Streaming'teki güncel mikrobatch desenine ek olarak akış işleme motoru.
Çok fazla evrim olacağına karşı çıkmanız gereken bir gerçektir. Kendinizi bu teknoloji akışından korumanız gerçekten gerekiyor. Çünkü varsayılan olarak, bir tane seçmeniz ve ardından onunla birlikte yaşamalısınız, ki bu en uygun değildir. Başka bir şekilde bakıyorsanız, “tamam, kilitlenmenin olmadığı özel bir platform satın almalıyım, açık kaynak kaldıracı yok, çok yüksek maliyetli ve sınırlı olabilir. Esnekliği kendin yapman gereken bütün açık kaynak yığınlarına karşı. ”Yine de dediğim gibi, piyasaya çıkmanın maliyeti ve gecikmesi çok fazla. Demek istediğimiz StreamAnalytix, kurumsal sınıfı, güvenilir, tek bir satıcıyı, profesyonel hizmeti destekliyor - hepsi bir işletme olarak ihtiyaç duyduğunuz ve açık kaynak ekosisteminin esnekliğinin gücünü bir araya getiren harika bir platform örneği. tek bir platformun onları bir araya getirdiği yer - Ingest, CEP, analitik, görselleştirme ve bunların tümü.
Ayrıca, tek bir kullanıcı deneyiminin altında birçok farklı teknoloji motorunu bir araya getiren çok, çok benzersiz bir şey yapar. Geleceğin birden fazla akış motoru kullanabilmekle ilgili olduğunu düşünüyoruz çünkü farklı kullanım durumları gerçekten farklı akış mimarileri gerektiriyor. Robin'in dediği gibi, bir sürü gecikme var. Gerçekten milisaniyelik gecikme seviyesinden, onlarca hatta yüzlerce milisaniyeden bahsediyorsanız, daha az esneklik veya ebedi zaman dilimi ve belki birkaç saniye içinde gecikme süresi için başka bir aynı derecede olgun ürün bulunana kadar Storm'a gerçekten ihtiyacınız var. dört, beş saniye, o aralıkta, sonra Spark Streaming'i kullanabilirsiniz. Potansiyel olarak, her ikisini de yapabilen başka motorlar var. Alt satırda, büyük bir kuruluşta, her türlü kullanım durumları olacak. Erişim ve genelliğin tek bir kullanıcı deneyimine sahip birden fazla motora sahip olmasını istiyorsunuz ve bu, StreamAnalytix'te oluşturmaya çalıştığımız şey.
Mimarlığa sadece hızlı bir bakış. Bunu biraz düzeltmek için çalışacağız, fakat esas olarak sol tarafta birden fazla veri kaynağı var - Kafka, RabbitMQ, Kinesis, ActiveMQ, akış veri işleme platformuna gelen tüm veri kaynakları ve sıraları. konuştuğumuz her şeyi ETL'ler gibi operatörlerden sürükleyip bırakacağınız bir uygulamayı bir araya getirme. Altında çok sayıda motor var. Şu anda, endüstride birden fazla motor desteğine sahip tek ve ilk kurumsal sınıf akış platformu olarak Storm ve Spark Streaming'e sahibiz. Bu, gerçek zamanlı kontrol panellerine sahip olmanın diğer tüm esnekliğinin yanı sıra, sunduğumuz çok benzersiz, esneklik. CET motoru gömülü. Hadoop ve NoSQL endeksleri, Solr ve Apache endeksleri ile kesintisiz entegrasyona sahibiz. Ne olursa olsun en sevdiğiniz veri tabanına inebilir ve gerçekten hızlı bir şekilde uygulamalar oluşturabilir, çok hızlı bir şekilde piyasaya çıkıp geleceğe hazır kalabilirsiniz. StreamAnalytix'deki tüm mantığımız budur.
Bununla beraber, sözlerimi tamamlayacağımı düşünüyorum. Daha fazla soru için bize gelmekten çekinmeyin. Z&A ve panel tartışmaları için zemini açık tutmak istiyorum.
Rebecca, sana doğru.
Rebecca Jozwiak: Harika, tamam. Çok teşekkür ederim. Dez ve Robin, Q&A izleyicisine teslim etmeden önce bazı sorularınız mı var?
Robin Bloor: Bir sorum var. Kulaklığımı tekrar takacağım, böylece beni duyabileceksin. İlginç şeylerden biri, bana bunu nazikçe söylerseniz, açık kaynak alanda gördüğümlerin çoğu bana olgunlaşmamış diyebilirim. Bir anlamda, evet çeşitli şeyler yapabilirsiniz. Fakat gerçek anlamda ilk veya ikinci sürümünde yazılımlara bakıyoruz gibi görünüyor ve sadece bir organizasyon olarak deneyiminizi merak ediyordum, Hadoop ortamının olgunlaşmamasını ne kadar sorunlu olarak görüyorsunuz ya da olmayan bir şey mi? çok fazla sorun yaratmaz mı?
Anand Venugopal: Bu bir gerçek, Robin. Kesinlikle haklısın. Olgunlaşmamışlık sadece işlevsel istikrar ve şeyler alanında değil, belki de bazı durumlarda söz konusu olabilir. Ancak olgunlaşmamışlık, kullanıma hazır olması bakımından daha fazladır. Açık kaynaklı ürünler ortaya çıktıkça ve Hadoop dağıtımı tarafından bile teklif edildiklerinde bile hepsi bir araya getirilmiş çok sayıda farklı yetenekli üründür. Sorunsuz bir şekilde birlikte çalışmazlar ve birkaç hafta içinde bir akış analizi analitiği uygulaması yapmak için Bank of America veya Verizon veya AT&T gibi sorunsuz bir kullanıcı deneyimi için tasarlanmamışlardır. Kesinlikle bunun için tasarlanmadılar. Bu yüzden içeri girmemizin nedeni bu. Bir araya getiriyoruz ve anlaşılmasını, konuşlandırılmasını vb. Kolaylaştırıyoruz.
İşlevsel olgunluğu, bence büyük ölçüde, orada. Günümüzde birçok büyük işletme örneğin Storm kullanıyor. Bugün birçok büyük işletme Spark Streaming ile oynuyor. Bu motorların her birinin yapabilecekleri konusunda kendi sınırlamaları var, bu yüzden ne yapabileceğinizi ve her motorla neler yapamayacağınızı bilmek önemlidir ve kafanızı duvara çarpmanın ve “Bakın” demenin bir anlamı yoktur. Spark Streaming'i seçti ve bu sektörde benim için işe yaramıyor. ”İşe yaramayacak. Spark Streaming'in en iyi seçenek olacağı kullanım senaryoları olacak ve Spark Streaming'in sizin için hiç çalışmayabileceği kullanım senaryoları olacak. Bu yüzden gerçekten birden fazla seçeneğe ihtiyacınız var.
Robin Bloor: Bunun için gemide uzman ekiplere ihtiyacınız var. Yani, buna nereden başlayacağımı bile bilmiyorum. Yetenekli bireylerin mantıklı bir işbirliği. Nişanlanmanın nasıl gerçekleştiği ve bunun nasıl gerçekleştiği ile ilgileniyorum. Belli bir şirketin belirli bir başvurunun peşinde olması mı, yoksa bütün bir platformun birçok şey yapmasını istedikleri stratejik evlat edinme dediğim türden bir şey mi görüyorsunuz?
Anand Venugopal: Her ikisinin örneklerini görüyoruz, Robin. Herkesin bildiği en iyi on markadan bazıları bu konuda çok stratejik bir şekilde gidiyor. Çeşitli kullanım durumlarına sahip olacaklarını biliyorlar, bu nedenle bir kuruluşta konuşlandırılacak çok kiracılı bir biçimde farklı kullanım durumları olan bu ihtiyaca uygun platformları değerlendiriyorlar. Tek kullanımlık vaka hikayeleri de başlıyor. Üzerinde çalıştığımız bir ipotek şirketinde, ilk kullanım örneği olarak hayal edemeyeceğiniz, ancak ortaya çıktıkları iş çözümü veya kullanım durumu olan belirli bir ticari faaliyet izleme türü kullanım vakası var ve ardından noktaları akışa bağladık. . “Ne biliyor musun? Bu, analitik akış yayınlamak için harika bir durum ve bunu nasıl uygulayacağımızdır. ”İşte böyle başladı. Ardından, bu süreçte eğitilirler ve “Ah vay, eğer bunu yapabilirsek ve eğer bu genel bir platformsa, o zaman uygulamayı ayırabilir, bunları platforma koyabilir ve bu konuda birçok farklı uygulama oluşturabiliriz. platformudur.”
Robin Bloor: Dez, bir sorunuz var mı?
Anand Venugopal: Dez muhtemelen sessiz durumda.
Dez Blanchfield: Özür dilerim, dilsiz. Sadece kendime iyi bir konuşma yaptım. Sadece Robin'in orijinal gözlemini takiben kesinlikle haklısın. Şu anki zorluğun, işletmelerin ekosisteme ve ücretsiz ve açık kaynaklı yazılımların kendileri tarafından bilinen bir şey olduğu ve Firefox gibi araçları tarayıcı olarak kullanabilecekleri ve iyi bir şekilde sahip oldukları kültürel ve davranışsal bir ortam olduğunu düşünüyorum. kararlı ve güvenli hale gelinceye kadar kullanım ömrü. Ancak kullandıkları çok büyük platformlardan bazıları işletme sınıfı özel platformlardır. Bu yüzden açık kaynaklı platformlar olarak kabul ettiğim şeyin benimsenmesi, kültürel ya da duygusal olarak geçmeleri için her zaman kolay olan bir şey değildir. Bunu sadece büyük veri ve analitik ile temel bir kavram olarak oynayacak yerel projeler olan küçük programların kabulü boyunca gördüm. Sanırım kilit zorluklardan biri, onları şimdi organizasyonlar arasında gördüğünüze eminim, sonuç alma arzusudur, ama aynı zamanda bir ayağını eski teneke içine sokmak, bunu sadece nereden alabilirler? “Büyük bir marka ekleyin” Oracle, IBM ve Microsoft. Bu yeni ve bilinen markalar Hadoop platformları ve daha fazlasıyla birlikte geliyor. Akış gibi en son teknolojiye sahip olan daha heyecan verici markalar geliyor.
Bu tür bir şekilde yaptığınız veya bunlarla uğraştığınız konuşmalar nelerdir? Bu sabah büyük bir katılımımız olduğunu biliyorum ve herkesin aklında olan emin olduğum bir şey “Bu zorlu katmanı tahtadan yönetim seviyesine kadar nasıl kesebilirim, oh çok açık kaynağı ve çok kanama kenarı? “Müşterilerle yaptığınız konuşmalar nasıl gidiyor ve bu tür korkuları StreamAnalytix'in beğenilerini benimsemeyi düşünmek için bir tür atlattığınız noktaya kadar nasıl kesiyorsunuz?
Anand Venugopal: Müşterilerimiz doğal olarak tercih edilen bir seçenek olarak açık kaynağa yöneldikleri için değer teklifimizi satmanın oldukça kolay olduğunu düşünüyoruz. Kolayca pes etmiyorlar ve “Tamam, şimdi açık kaynak kullanacağım.” Demiyorlar. Aslında büyük bir ürün için çok kararlı bir değerlendirmeden geçiyorlar, diyelim ki bunun bir IBM veya tipik bir ürün olduğunu söylüyorlar çünkü bu satıcı ilişkileri. Bize veya açık kaynaklı motoru bu ürüne karşı kullanmazlardı. Altı ila sekiz ila on iki haftalık değerlendirme sürecinden geçecekler. Kendilerini burada istediğim bir performans ve kararlılık olduğuna ikna edecekler ve sonra “Vay, ne biliyorsun, bunu gerçekten yapabilirim” diyerek kararlarını verecekler.
Bugün, örneğin, üretimde çok sayıda çok iyi tanınmış satıcıya karşı akış analizini yapan ve bir başka çok, çok tanınmış satıcının aleyhine değerlendiren önemli bir kademe telkomuz var. performans, istikrar ve tüm bu şeyler. Verdikleri için almazlar. Açık kaynağın değerlendirmelerinde yetkin olduğunu tespit ettiler ve “en kötüsü”, “Belki de yapamayacağım iki kullanım durumu var ama işletmelerimin hızlanmasına neden olan davaların çoğu bugün açık kaynak ile mümkün” diyorlar. stack. ”Ve biz bunun kullanımını sağlıyoruz. Demek oradaki büyük tatlı nokta burası. Açık kaynağı istediler. Onlar, yıllarca alışkın oldukları satıcı kilitlenme durumundan gerçekten kurtulmak istiyorlar. Sonra buraya geldik ve “Ne olduğunu biliyorsun, açık kaynağı sizin için kullanımı çok daha kolay ve daha kolay hale getireceğiz” diyoruz.
Dez Blanchfield: Sanırım işletmelerin bulduğu diğer zorluk, geleneksel görevlileri getirdiklerinde, genellikle burada bahsettiğimiz heyecan verici şeylerin kanama kenarının arkasında bir nesil olduklarını ve bunun olumsuz bir şey olduğunu kastetmiyorum. Sadece gerçeklik, eski okul gelişimi ve UATN entegrasyon döngüleri, testler ve dokümantasyon ile pazarlama ve satış gibi istikrarlı platformlar olarak gördüklerini serbest bırakmak için geçecekleri bir nesil ve yolculuğa sahip olmalarıdır. Yaptığınız tipte, sanırım düşünmek istediğim şey şu ki, dün gece en son sürümlerinize bir tür araştırma çalışması yaparak bakmak, bu karışımı şimdi elde ettiğiniz yerde bulabilirsiniz. açık bir danışmanlık bakış açısı ve bir uygulamada yetkinlik, ancak sizin de içine girebileceğiniz bir yığınız var. Sanırım görevlilerin bir süredir mücadele edeceği yer burası. Piyasada yaptığım gibi birçoğunu gördük. Sık sık yakalama düğümleri dediğimde, bu konuşmaları yaparken oradayken bize söylediklerinizden ve uygularsanız.
Bize evlat edinmeyi gördüğünüz bazı sınır dikeylerinden birkaç örnek verebilir misiniz? Örneğin, roket bilimi, uzaya uydu koymak ve Mars'tan veri toplamak gibi gerçekten zorlu bir ortam var. Gezegende bunu yapan sadece bir avuç insan var. Fakat örneğin sağlık, havacılık, nakliye ve lojistik, üretim ve mühendislik alanlarında, gerçekten iyi gördüğünüz daha büyük ve daha geniş endüstri sektörlerine birkaç örnektir. evlat edinme?
Anand Venugopal: Telco büyük bir örnek.
Burada slaytlarımı hızlıca düzelteceğim. Slaytı burada görebiliyor musunuz, örnek olay 4?
Bu, büyük bir telko set üstü cihaz verisini alan ve bununla birden fazla şey yapan bir durumdur. Müşterilerin gerçek zamanlı olarak gerçekte ne yaptıklarına bakıyorlar. Set üstü kutularında hataların gerçek zamanlı olarak nerede gerçekleştiğine bakıyorlar. Şu anda çağrı merkezini bilgilendirmeye çalışıyorlar, eğer bu müşteri şu anda ararsa, bu müşterinin alıcı kutusundaki kod bağlantı bilgileri, bakım bileti bilgileri, bu belirli müşterinin alıcı kutusunun daha önce bir sorunu olup olmadığına hızlı bir şekilde bağlanıyor müşteri bir kelime konuşuyor. Her kablo şirketi, her büyük telekom bunu yapmaya çalışıyor. Set üstü kutu verilerini alırlar, gerçek zamanlı analitik yaparlar, reklamlarını yerleştirebilmeleri için kampanya analitik yaparlar. Çok büyük bir kullanım davası var.
Dediğim gibi, yine büyük sistemlerin veri işleme dahil olduğu genel bir kalıp olan bu ipotek şirketi var. Sistem A'dan sistem B'ye sistem C'ye akan veriler ve bunlar, her şeyin tutarlı olması gereken düzenlenmiş işletmelerdir.Genellikle, sistemler birbirleriyle senkronize edilmez, bir sistem şöyle der: “Toplam 10 milyon dolar değerinde yüz kredisi işleme koyuyorum.” Sistem, “Hayır, diğerlerinden 110 kredi işleme alıyorum” diyor. farklı numaralar. ”Bunu hızlı bir şekilde çözmeleri gerekiyor, çünkü aslında aynı verileri işliyorlar ve farklı yorumlar yapıyorlar.
Kredi kartı, kredi işleme, iş süreci ya da ipotek iş süreci ya da başka bir şey olsun, bu iş süreçlerinin senkronize kalmasını sağlamak için gerçek zamanlı olarak korelasyon ve uzlaşma yapmalarına yardımcı oluyoruz. Bu başka bir ilginç kullanım durumu. Anomali tespitini yapmak için DNS trafiğine bakan büyük bir ABD hükümet yüklenicisi var. Yaptıkları bir çevrimdışı eğitim modeli var ve gerçek zamanlı trafikte bu modele dayalı puanlama yapıyorlar. Bu ilginç kullanım durumlarından bazıları. Güvenlik kuyruğuna bakan büyük bir havayolu şirketi var ve size “Hey, uçağınız için uçağınız olan kapınız” gibi bilgileri vermeye çalışıyorlar. Bugün TSA kuyruğu, başka bir şeye kıyasla iki saate karşı yaklaşık 45 dakikadır. ”Bu güncellemeyi önceden alıyorsunuz. Hala üzerinde çalışıyorlar. İlginç IoT kullanımı, ancak müşteri deneyimine giden büyük akış analizi analitiğidir.
Rebecca Jozwiak: Bu Rebecca. Kullanım davaları konusundaki konuyu dinlerken, seyirci üyelerinden “Bu vaka çalışmaları mı, bu girişimler evin bilgi sistemleri analitik tarafından mı yönlendiriliyor, yoksa daha fazla yönlendiriliyor mu?” Diye merak eden harika bir soru var. Aklında belirli soruları veya ihtiyaçları olan iş? ”
Anand Venugopal: Bence yüzde 60 ya da öylesine, yüzde 50 ila yüzde 55, büyük ölçüde proaktif, hevesli bir teknoloji girişimi olduğunu biliyoruz, kimi zaman oldukça anlayışlı ve belli iş gereksinimlerini anlıyorlar ve muhtemelen belirledikleri bir sponsoru var. teknoloji ekipleri, iş kullanımı vakalarının ortaya çıkması için hazırlanıyorlar ve bir kez yeteneklerini geliştiriyorlar, bunu yapabildiklerini biliyorlar ve sonra işe gidiyorlar ve agresif bir şekilde satıyorlar. Vakaların yüzde 30 ila yüzde 40'ında, iş akışının zaten bir akış analitik özelliği için yalvaran belirli bir kullanım durumunun olduğunu görüyoruz.
Rebecca Jozwiak: Bu mantıklı. Seyirci üyesinden biraz daha teknik bir sorum var. Bu sistemlerin gerçek zamanlı olarak akışların veya yayınların tortuları gibi hem yapılandırılmış hem de yapılandırılmamış veri akışlarını destekleyip desteklemediğini merak ediyor mu, yoksa başlangıçta filtrelenmesi mi gerekiyor?
Anand Venugopal: Bahsettiğimiz ürünler ve teknolojiler hemen hem yapılandırılmış hem de yapılandırılmamış verileri desteklemektedir. Yapılandırılabilirler. Tüm veriler bir XML veya bir şey ya da bir şey olup olmadığını bir tür yapıya sahiptir. Zaman damgası beslemesi olduğu için bazı yapılar var. Belki de ayrıştırılması gereken başka bir blob var, böylece veri yapılarını ayrıştırmak için akışa ayrıştırmalar yapabilirsiniz. Eğer yapılandırılmışsa, o zaman sadece sisteme “Tamam, virgülle ayrılmış değerler varsa ve birincisi bir dize, ikincisi bir tarih” deriz. Bu yüzden, ayrıştırma zekasını üst-ekran katmanlarına ve hem yapılandırılmış hem de yapılandırılmamış verileri kolayca işleyin.
Rebecca Jozwiak: İzleyicilerden başka bir sorum var. Biliyorum, saatin biraz üstünde koşuyoruz. Bu katılımcı bilmek istiyor, gerçek zamanlı akış uygulamalarının hem ihtiyaç duydukları hem de işlem sistemlerine geri dönme fırsatı, örneğin getirdikleri sahtekarlık önleme sistemleri gibi göründüğü anlaşılıyor. Bu durumda, işlem sistemlerinin buna uygun olması için ince ayar yapılması gerekir mi?
Anand Venugopal: Bu bir birleşme değil mi? İşlem sistemlerinin bir birleşimidir. Bazen gerçek zamanlı olarak işlemleri analiz ettiğimiz ve çoğu zaman bir uygulama akışı olduğunu söyleyebileceğimiz birçok durumda veri kaynağı haline gelirler ve burada statik bir veri arama sitesi göstermeye çalışıyorum ve sonra bizim durumumuzda bir çeşit akış ve akış verilerini ve statik verilerini zenginleştirmek için HBase veya RDBMS gibi statik bir veri tabanını ve karar vermeyi veya analitik bir bakış açısı elde etmeyi deniyorsunuz.
Bizim de görmekte olduğumuz bir başka büyük endüstri trendi var - OLAP ve OLTP'nin birleşimi - ve bu yüzden hem işlemleri hem de analitik işlemeyi destekleyen Kudu ve bellek içi veritabanları gibi veritabanlarınız var. Akış işleme katmanı tamamen bellekte olacaktır ve bu işlem veritabanlarının bazılarına bakacağız veya bunlarla etkileşime gireceğiz.
Rebecca Jozwiak: Sanırım karışık iş yükü zıplayan son engellerden biriydi. Dez, Robin, ikinizin başka sorunuz var mı?
Dez Blanchfield: Son bir soruya atlayacağım ve sakıncası yoksa bu konuyu çözeceğim. Son on yıl boyunca uğraştığım kuruluşların, bu heyecan verici akış analizinin bu heyecan verici zorluğuna yol açtığı ilk zorluk, ilk olarak bu meydan okuma etrafında konuşmayı başlattığımızda masaya koyma eğiliminde oldukları ilk şey yetenek setini aldık mı? Beceri setini nasıl yeniden eğitiriz ve bu yetenekleri şirket içinde nasıl elde ederiz? Impetus'un gelip el ele geçmesi bizi yolculuğun içinde tutuyor ve sonra ilk adım olarak uyguluyor ve bunu yapmak çok mantıklı.
Fakat orta ila büyük organizasyon için, şu anda hazırlanmak için şu anda gördüğünüz şeyler nelerdir, bu yeteneği içsel olarak inşa etmek, etrafındaki temel bir kelime haznesinden bir şey almak ve ne tür bir şey yapabilir? Bu tür bir çerçeveye geçiş etrafında örgütlenme ve mevcut teknik kadrolarını BT'den yeniden yapılandırma, böylece onu kurduğunuzda ve uyguladığınızda bunu kendi başlarına yürütebilecekler mi? Kısaca, ne tür zorluklar ve bunları nasıl çözüyorlar, uğraştığınız müşteriler, buldukları zorluklar ve bu yeniden eğitme ve yeniden kazanma deneyimini ve bilgisini bu konuya hazırlanmak ve olmak için çözmeyi nasıl başarırlar? operasyonel dolaşmak mümkün?
Anand Venugopal: Genellikle, dışarı çıkıp bir akış analizi analitiği platformu satın almaya çalışan küçük bir grup, Hadoop'un farkında olmaları, Hadoop MapReduce becerilerini zaten edinmiş olmaları ve Hadoop dağıtım satıcısı ile yakın bir şekilde çalıştıkları için zaten oldukça akıllıdır. ikisi de tanıdık. Mesela her şey Kafka'yı kazanıyor. Bununla bir şeyler yapıyorlar ve Storm veya Spark yayınları açık kaynak alanlarında. Kuşkusuz, insanlar buna aşinadır veya onun etrafındaki becerileri geliştirir. Ancak, yeterince yetenekli ve yeterince akıllı olan küçük bir grup insanla başlar. Konferanslara katılıyorlar. Öğreniyorlar ve satıcılara akıllı sorular soruyorlar ve bazı durumlarda satıcılarla öğreniyorlar. Satıcılar ilk toplantıda geliyor ve sunarken, bir şeyler bilemeyebilirler ancak birlikte okurlar ve sonra onunla oynamaya başlarlar.
Bu küçük insan grubu çekirdektir ve daha sonra büyümeye başlar ve herkes şimdi ilk iş kullanımı davasının faaliyete geçtiğinin farkına varır. Bir dalga başladı ve geçen hafta Spark Zirvesi'nde, Capital One gibi büyük bir teşebbüsün dışarıda ve tam güçte olduğunu gördük. Spark'ı seçtiler. Bunun hakkında konuşuyorlardı. Birçok insanını Spark'ta eğitiyorlar çünkü bir çok durumda bir kullanıcı olarak buna katkıda bulunuyorlar. Aynı şeyleri birçok büyük işletme ile görüyoruz. Birkaç küçük, çok akıllı insan grubu ile başlar ve daha sonra genel bir eğitim dalgasıyla başlar ve insanlar bir kez kıdemli bir başkan yardımcısının veya bir kez kıdemli bir yöneticinin aynı hizada olduğunu ve bu şeye bahis yapmak istediklerini ve bu kelimenin etrafında dolaştığını bilir. Hepsi bu becerileri almaya başlar.
Dez Blanchfield: Bu şampiyonları inşa etmek için harika zaman geçirdiğinize eminim.
Anand Venugopal: Evet. İlk şampiyonlarla çalıştığımız için çok fazla eğitim yapıyoruz ve büyük müşterilerimiz için eğitim kursları düzenliyoruz ve çoğunu geri aldık ve özellikle kullanıcıların çoğunu ana kullanım aşamasına getirmek için dalgalar ve eğitim dalgaları yaşadık. Hadoop MapReduce sitesinde. Müşterimiz olan büyük bir kredi kartı şirketinde, en az beş ila sekiz farklı eğitim programı sunduğumuzu bulduk. Ayrıca, bizlerin, insanların indirebileceği sanal alan, alışmak ve kendilerini bu şekilde eğitmek dahil tüm bu ürünlerin ücretsiz topluluk sürümlerine sahibiz.
Dez Blanchfield: Bu sabah senin için sahip olduğum tek şey bu. Çok teşekkür ederim. Bu model türlerini görmenin ve bugün bizim için sahip olduğunuz davaları kullanmanın inanılmaz derecede ilginç olduğunu düşünüyorum. Teşekkür ederim.
Anand Venugopal: Harika. Çok teşekkürler millet.
Rebecca Jozwiak: Bu Hot Technologies web yayını sırasında bize katıldığınız için teşekkür ederiz. Dez Blanchfield, Dr. Robin Bloor ve Impetus Technologies, Anand Venugopal'dan duymak büyüleyici. Teşekkürler sunum yapanlar. Teşekkürler konuşmacılar ve izleyicilerimize teşekkür ederim. Gelecek ay başka bir Sıcak Teknolojimiz var, bu yüzden araştırın. İçeriğimizi her zaman Insideanalysis.com adresinde bulabilirsiniz. Ayrıca SlideShare’de çok fazla içerik ve YouTube’da da bazı ilginç bitler hazırladık.
Hepsi bu kadar millet. Tekrar teşekkürler ve iyi günler. Güle güle.