Analytics, İşi Nasıl Geliştirebilir? - TechWise Bölüm 2 Konuşma Metni

Kaynak: Flickr / James Royal-Lawson

Paket servisi:

Ev sahibi Eric Kavanagh, sektördeki veri bilimcileri ve liderlerle iş dünyasında analitik kullanımını tartışıyor.

Editörler Not: Bu, geçmiş web yayınlarımızdan birinin metnidir. Bir sonraki bölüm hızlı geliyor, kayıt için buraya tıklayın.


Eric Kavanagh: Bayanlar baylar, merhabalar ve TechWise'in 2. Bölümüne tekrar hoş geldiniz. Evet, gerçekten, bilge olma zamanı! Bugün bu çabalarımızda bize yardımcı olacak bir sürü gerçekten zeki insan var. Benim adım elbette Eric Kavanagh. Bu yıldırım oturumu için sizin sunucunuz, moderatörünüz olacağım. Burada çok fazla içeriğimiz var millet. Alanımızda analist olan ve en ilginç satıcılardan dördüncüsü olan işte bazı büyük isimlerimiz var.Bu yüzden bugün aramada çok iyi eylemler yapacağız. Ve elbette, orada seyirciler arasında soru sormada önemli bir rol oynarsınız.


Öyleyse bir kez daha, gösteri TechWise ve bugünkü konu "Analytics, İşi Nasıl Geliştirebilir?" Açıkçası, yapabileceğiniz farklı analitik türlerini anlamaya çalışacağı ve bunun işlemlerinizi nasıl geliştirebileceği çok açık bir konudur, çünkü günün sonunda bunun nedeni budur.

Böylece kendimi yukarıda görebiliyorsun, bu gerçekten senin. Dr. Kirk Borne, George Mason Üniversitesi'nden iyi bir arkadaş. Muazzam miktarda deneyime, bu alanda çok derin bir uzmanlığa ve veri madenciliğine, büyük verilere ve tüm bu eğlenceli şeylere sahip bir veri bilimcisi. Ve tabii ki, burada Bloor Grubunda Baş Analisti olarak kendi Dr. Robin Bloor'a sahibiz. Uzun yıllar önce bir aktris olarak yetişen. Ve gerçekten de tüm bu büyük veri alanına ve son on yıl boyunca oldukça dikkatle analitik alana odaklandı. Neredeyse Bloor Grubu'nu başlattığımızdan beri beş yıl geçti. Yani eğlenirken zaman uçuyor.

Aynı zamanda Pentaho'nun Baş Mimarı Will Gorman'dan da haber alacağız; Steve Wilkes, WebAction'ın CCO'si; MarkLogic Teknik Direktörü Frank Sanders; ve Treasure Data Direktörü Hannah Smalltree. Dediğim gibi, bu çok fazla içerik.

Peki, analitik işinize nasıl yardımcı olabilir? Açıkçası, işinize nasıl yardımcı olamaz? Kuruluşunuzu geliştiren şeyleri yapmak için analitikten yararlanmanın her türlü yolu vardır.

Yani işlemleri kolaylaştırın. Bu, pazarlama veya gelir elde etme, hatta fırsatları belirleme gibi şeyler hakkında duyduğunuz kadar duymadığınız bir şey. Ancak, işlemlerinizi kolaylaştırmak, kuruluşunuz için yapabileceğiniz gerçekten güçlü bir şeydir, çünkü örneğin bir şeyi dış kaynak olarak kullanabileceğiniz veya belirli bir sürece veri ekleyebileceğiniz yerleri tanımlayabilirsiniz. Ve bu, birini aramak için birini almasını veya birini aramasını gerektirmeyerek, bunu kolaylaştırır. İşlemlerinizi kolaylaştırabilmeniz için çok farklı yollar var. Ve bunların hepsi gerçekten maliyetinizi düşürmenize yardımcı oluyor, değil mi? Anahtar bu, maliyeti düşürür. Ancak müşterilerinize daha iyi hizmet vermenizi sağlar.

Sabırsız insanların nasıl oluştuğunu düşünürseniz ve bunu her gün insanların kullandığımız servis sağlayıcılarla bile çevrimiçi ortamda nasıl etkileşimde bulundukları açısından görüyorum. İnsanların sahip olduğu sabır, dikkat süresi, gün geçtikçe kısalıyor. Ve bunun anlamı, bir kuruluş olarak, müşterilerinizi memnun edebilmek için daha hızlı ve daha hızlı sürede yanıt vermeniz gerektiğidir.

Örneğin, eğer birisi web yayın sitenizdeyse veya bir şeyler bulmaya çalışırken etrafa göz atıyorsa, hüsrana uğrarlarsa ve ayrılırlarsa, bir müşteriyi daha yeni kaybedebilirsiniz. Ürününüz veya hizmetiniz için ne kadar ücret ödeyeceğinize bağlı olarak ve bu belki de çok önemlidir. Dolayısıyla, sonuçta, basitleştirme işlemleri bence analitik uygulamadaki en sıcak alanlardan biri. Ve bunu sayılara bakarak, verileri sıkıştırarak, örneğin “Hey, neden web sitemizin bu sayfasında bu kadar çok insanı kaybediyoruz?” Diyerek yapıyorsunuz. “Neden şu anda bu telefonlardan bazılarını alıyoruz?”

Ve bu tür şeylere ne kadar gerçek zaman verirseniz, durumun üstesinden gelme ve çok geç olmadan bununla ilgili bir şeyler yapma şansınız artacaktır. Çünkü birisi bir şey hakkında sinirlendiğinde, tatmin olmadıklarından veya bir şey bulmaya çalıştıklarından ancak hayal kırıklığına uğradıklarından dolayı zaman penceresi vardır; orada onlara ulaşmak, onları kapmak, o müşteriyle etkileşimde bulunmak için bir fırsat penceresi var. Ve doğru verilerle ya da güzel müşteri resmiyle doğru şekilde yaparsanız - bu müşterinin kim olduğunu, karlılığının ne olduğunu, tercihlerinin neler olduğunu - gerçekten bununla başa çıkabiliyorsanız, yapacaksınız müşterilerinize bağlı kalmak ve yeni müşteriler edinmek için harika bir iş. Ve hepsi bu işte.

Bu yüzden, bugün görüşme sırasında veri bilimcilerimizden biri olan Kirk Borne'a vereceğim. Ve bugünlerde oldukça nadir görülür millet. En azından ikisi için görüşmeye başladık, bu yüzden bu önemli. Bununla, Kirk, analitik hakkında ve işine nasıl yardımcı olduğu hakkında konuşman için sana teslim edeceğim. Göreyim seni.

Dr. Kirk Borne: Çok teşekkür ederim Eric. Beni duyabiliyor musun?

Eric: Sorun değil, devam et.

Dr. Kirk: Tamam, güzel. Sadece beş dakika konuşursam ve insanlar bana el sallıyorlarsa paylaşmak istiyorum. Bu yüzden açılış konuşmasını yapan Eric, bu konuyu gerçekten bağladığınızı, önümüzdeki birkaç dakika içinde kısaca bahsedeceğim, ki bu, büyük veri ve analizlerin burada vereceği kararların verilmesine yönelik büyük veri ve analizlerin kullanılmasıdır. Operasyonel akış hakkında yaptığınız yorum, bana göre, dünyadaki her uygulamada bir bilim uygulaması, bir işletme, bir siber güvenlik ve yasa uygulamaları olup olmadığını hemen hemen görebileceğiniz bu operasyonel analitik kavramına giriyor. hükümet, sağlık Herhangi bir veri akışına sahip olduğumuz herhangi bir yer ve bu veri akışında gördüğümüz olaylara, uyarılara ve davranışlara tepki olarak bir tür tepki veya karar veriyoruz.

Bu yüzden bugün hakkında konuşmak istediğim şeylerden biri, aslında eylemde kararlar alabileceğimiz noktaya ulaşmak için büyük verilerden gelen bilgileri ve içgörüyü nasıl çıkardığınızdır. Ve sık sık bunu bir otomasyon servisinde konuşuruz. Ve bugün otomasyonu, döngüdeki insan analisti ile karıştırmak istiyorum. Bu nedenle, iş analistinin burada bahis, eleme, belirli eylemleri onaylama veya verilerden çıkardığımız makine öğrenme kuralları açısından önemli bir rol oynadığı anlamına gelir. Ancak, çıkarttığımız iş kurallarını ve bizi uyaran mekanizmaların geçerli olduğu konusunda ikna olduğumuz bir noktaya gelirsek, o zaman bunu otomatik bir sürece çevirebiliriz. Aslında, Eric'in bahsettiği operasyonel düzeneği yapıyoruz.

Bu yüzden burada kelimelerle ilgili küçük bir oyunum var ama umarım, eğer sizin için işe yararsa, D2D mücadelesinden bahsettim. Ve D2D, sadece tüm eksilerdeki kararları verilemekle kalmıyor, bu slaydın en altına bakıyoruz, umarım bunu görebilir, keşifler yaparak ve analitik boru hatlarımızdan gelen gelirleri artırabiliriz.

Yani bu con'da, şu anda burada çalıştığım şu anda kendime pazarlamacının bu rolü var; yapmak istediğiniz ilk şey, verilerinizi karakterize etmek, özellikleri çıkarmak, müşterilerinizin özelliklerini çıkarmak veya alanınızda izlemekte olduğunuz ne olursa olsun. Belki de sağlık analitik ortamında bir hastadır. Bir tür siber güvenlik sorununa bakıyorsanız, belki de bir Web kullanıcısıdır. Fakat karakteristikleri karakterize edin, çıkartın ve sonra o birey hakkında, o varlık hakkında bazı endişeler çıkarın. Sonra az önce yarattığınız parçaları toplarsınız ve daha sonra makine öğrenmesi algoritmalarını uygulayabileceğiniz bir koleksiyona koyarsınız.

Bu şekilde söylememin nedeni, bir havaalanında gözetleme kameranız olduğunu varsayalım. Videonun kendisi muazzam, büyük bir ses ve ayrıca çok yapılandırılmamış. Ancak, video gözetiminden, yüz biyometrisinden ayıklayabilir ve gözetim kameralarındaki kişileri tanımlayabilirsiniz. Örneğin, bir havaalanında, belirli kişileri tanımlayabilir, birden fazla gözetim kamerasındaki aynı kişiyi tanımlayarak onları havaalanında izleyebilirsiniz. Bu nedenle, gerçekten incelemekte olduğunuz ve takip ettiğiniz çıkardığınız biyometrik özellikler gerçek ayrıntılı videonun kendisi değil. Ancak bu ekstraksiyonlara sahip olduğunuzda, belirli bir durumda bir eylemde bulunmanız gerekip gerekmediği veya yanlış yapılan bir şey ya da bir teklif verme şansına sahip olduğunuz bir şey hakkında karar vermek için makine öğrenme kurallarını ve analizlerini uygulayabilirsiniz. Örneğin, eğer havaalanında bir mağazanız varsa ve o müşterinin yoluna girdiğini görüyorsanız ve bu müşteri hakkındaki diğer bilgilerden haberiniz varsa, belki de gümrüksüz mağazada bir şeyler satın almakla gerçekten ilgilenmiş olabilir veya Böyle bir şey, bu teklifi yapmak.

Peki, karakterizasyon ve potansiyelleşme ile ne tür şeyler kastediyorum? Karakterizasyonu ile, verideki özelliklerin ve özelliklerin tekrar çıkarılmasını kastediyorum. Ve bu ya makine üretilebilir, daha sonra algoritmaları aslında video veya duyarlılık analizinden biyometrik imzaları çıkarabilir. Müşterinin hissiyatını çevrimiçi incelemeler veya sosyal medya aracılığıyla çıkarabilirsiniz. Bunlardan bazıları insan kaynaklı olabilir, böylece insan, iş analisti, bir sonraki slaytta göstereceğim ek özellikleri çıkarabilir.

Bunlardan bazıları kalabalık kaynaklı olabilir. Ve kitle kaynaklı olarak, bunun hakkında düşünebileceğiniz birçok farklı yol var. Fakat çok basit, örneğin, kullanıcılarınız web sitenize gelir ve arama kelimeleri, anahtar kelimeler kullanırlar ve belirli bir sayfaya girerler ve aslında o sayfada zaman harcarlar. Aslında, en azından, o sayfadaki şeylere göz attığını, göz attığını ya da tıkladıklarını anlıyorlar. Size söylenen şey, en başında girdikleri anahtar kelimenin, o sayfanın tanımlayıcısı olduğu, çünkü müşteriyi bekledikleri sayfaya indirdiği. Ve bu ek bilgileri ekleyebilirsiniz; yani bu anahtar kelimeyi kullanan müşteriler, bu web sayfasını, bilgi mimarimiz içinde, içeriğin söz konusu anahtar kelimeyle eşleşen yer olarak tanımladılar.

Ve böylece kitle kaynaklı kaynak kullanımı, bazen insanların unuttuğu, müşterilerinin ekmek kırıntılarını takip eden, tabiri caizse; Bir çevrimiçi mülk veya gerçek bir mülk olsun, alanı içinde nasıl hareket ederler. Ardından, bu tür yolları kullanarak, müşterinin aradığımız şeyler hakkında ek bilgi almasını sağlayın.

Bu nedenle, insan kaynaklı veya makine tarafından üretilen şeylerin, belirli veri granüllerini veya varlıklarını açıklama veya etiketleme şeklinde bir endişeye sahip olduğunu söylemek istiyorum. Bu varlıkların hastane ortamında hastalar, müşteriler veya her neyse. Ve böylece farklı etiketleme ve açıklama türleri var. Bunlardan bazıları verinin kendisi ile ilgili. Bu, bunlardan biri, ne tür bilgiler, ne tür bilgiler, özellikler, şekiller, belki de ures ve modeller, anomali, anormal olmayan davranışlar. Ve sonra bazı anlambilimselleri çıkarın, yani bunun benim bildiğim diğer şeylerle ne alakası var ya da bu müşteri elektronik müşterisi. Bu müşteri bir giyim müşterisidir. Ya da bu müşteri müzik satın almaktan hoşlanıyor.

Bu konuda bazı anlamlar tanımlayarak, müzikten hoşlanan bu müşteriler eğlenceyi sevme eğilimindedir. Belki onlara başka bir eğlence mülkü önerebiliriz. Öyleyse semantiği ve ayrıca temel olarak şunu söyleyen bir kanıtı anlamak: bu nereden geliyor, bu iddiayı kim sağladı, hangi saat, hangi tarih, hangi şartlar altında?

Öyleyse, tüm bu ek açıklamalara ve karakterizasyonlara sahip olduğunuzda, bir sonraki adıma ekleyelim, bu da kim, ne, ne, ne zaman, nerede ve neden olduğunu. Kullanıcı kim? Girdikleri kanal neydi? Bilginin kaynağı neydi? Bu belirli bilgi ya da veri ürününde ne tür tekrarlar gördük? İş sürecindeki değeri nedir? Ve sonra o şeyleri toplayın ve yönetin ve aslında bu şekilde düşünmek istiyorsanız, veritabanı oluşturmanıza yardımcı olur. Bunları aranabilir, yeniden kullanılabilir hale getirin, diğer iş analistleri veya otomatik bir işlemle, bu özellikleri bir sonraki gördüğümde sistem bu otomatik işlemi gerçekleştirebilir. Ve böylece bu tür operasyonel analitik verime ulaşıyoruz, ancak daha fazla yararlı, kapsamlı bilgi topluyoruz ve sonra bu kullanım durumları için şifa veriyoruz.

İşe başlıyoruz. Veri analizini yapıyoruz. İlginç modeller, sürprizler, yenilik aykırı durumlar, anomaliler arıyoruz. Nüfusun yeni sınıflarını ve bölümlerini arıyoruz. Çeşitli varlıklar arasında dernekler, korelasyonlar ve bağlantılar ararız. Ve sonra tüm bunları keşif, karar verme ve dolar alma sürecimizi yönlendirmek için kullanıyoruz.

İşte yine, burada elimdeki son veri slaydı elimizde sadece özetliyor, iş analistini döngüde tutuyor, yine, o insanı çıkarmıyorsun ve o insanı orada tutmak önemli.

Dolayısıyla, bu özellikler, hepsi makineler ya da insan analistleri ve hatta kitle kaynaklı kaynaklar tarafından sağlanıyor. Modellerimize yönelik eğitim setlerimizi geliştirmek için bu şeylerin kombinasyonunu uyguluyoruz ve daha doğru öngörücü modeller, daha az hatalı pozitif ve negatif, daha verimli davranış, müşterilerimizle veya kim ile daha verimli müdahaleler ile sonuçlanıyoruz.

Bu nedenle, günün sonunda, gerçekten sadece makine öğrenmesini ve büyük verileri, bu tür bir etiketleme ek not parçasının geldiği yer olan insan bilişinin gücü ile birleştiriyoruz. araçlar veya sürükleyici veri ortamları veya kitle kaynak kullanımı. Ve günün sonunda, bunun gerçekten yaptığı şey keşiflerimizi, içgörülerimizi ve D2D'imizi üretmektir. Bunlar benim yorumlarım, dinlediğiniz için teşekkür ederim.

Eric: Hey, kulağa harika geliyor ve perspektifini vermek için devam edip anahtarları Dr. Robin Bloor'a vermeme izin ver. Evet, operasyonlar kavramının bu düzeneği hakkında yorum yaptığınızı ve operasyonel analitikten bahsettiğinizi duymak isterim. Bence bu, tamamen araştırılması gereken büyük bir alan. Ve sanırım, Robin’ten önce çok çabuk seni geri getireceğim Kirk. Şirketteki çeşitli oyuncular arasında oldukça önemli bir işbirliğine sahip olmanız gerekiyor, değil mi? Operasyon insanlarıyla konuşmak zorundasınız; teknik insanlarını almalısın. Bazen pazarlama çalışanlarınızı veya Web arayüzü kullanıcılarınızı bulursunuz. Bunlar tipik olarak farklı gruplardır. Herkesin derisini oyuna sokması için nasıl bir uygulamanız veya öneriniz var mı?

Dr. Kirk: Bence bu iş birliği kültürüyle birlikte geliyor. Aslında, üç C’nin bir tür analitik kültürü hakkında konuşuyorum. Birincisi yaratıcılık; bir diğeri merak, üçüncüsü işbirliği. Demek yaratıcı ve ciddi insanlar istiyorsun ama bu insanların da işbirliği yapmasını sağlamalısın. Ve gerçekten de en başından başlıyor, bu kültürü, iş ortak hedeflerine yönelik açıkça paylaşmalı ve birlikte çalışması gereken insanlarla inşa etmek.

Eric: Her şey mantıklı. Ve bunun gerçekleşmesi için gerçekten en üstte iyi liderlik yapmak zorundasın. Öyleyse devam edelim ve Dr. Bloor'a verelim. Robin, yer senin.

Robin Bloor: Tamam. Bu tanıtım için teşekkürler, Eric. Tamam, bunların dışlanma şekli, bu gösteriler, çünkü iki analistimiz var; Analistin diğerlerinin yapmadığı sunumunu görebiliyorum. Kirk'ün ne söyleyeceğini biliyordum ve tamamen farklı bir açıya gidiyorum, böylece fazla örtüşmeyiz.

Bu yüzden aslında burada bahsettiğim ya da konuşmak istediğim şey, iş analistinin rolü ile veri analistinin rolü. Ve belli bir dereceye kadar yanak dilini karakterize etmenin yolu, bir çeşit Jekyll ve Hyde olayı. Fark, özellikle veri bilimcileri olmak, teoride en azından ne yaptıklarını biliyor. İş analistleri öyle olmasa da, matematiğin çalışma şekli, neye güvenilebilir ve neye güvenilemez.

Öyleyse, bunu yapmamızın nedenine, veri analizinin aniden çok büyük miktarlarda verileri analiz edip kurum dışından veri çekebildiğimiz gerçeğinden ayrı bir yere dönüşmesine neden olalım; öder mi. Buna bakma biçimim - ve bunun sadece bir olay olduğunu düşünüyorum ama kesinlikle bunun bir vaka olduğunu düşünüyorum - veri analizi gerçekten ticari Ar-Ge. Veri analiziyle aslında bir şekilde veya başka bir şekilde yaptığınız şey, bir sıralamadaki bir iş sürecine mi bakıyorsunuz, yoksa bir müşteriyle etkileşimin olup olmadığı, perakende işleminizin böyle yapılıp yapılmadığına bakmaktır. Mağazalarınız Sorunun ne olduğu gerçekten önemli değil. Belirli bir iş sürecine bakıyorsunuz ve onu iyileştirmeye çalışıyorsunuz.

Başarılı araştırma ve geliştirmenin sonucu, değişim sürecidir. Ve eğer isterseniz, bunun olağan bir örneği olarak üretim yapmayı düşünebilirsiniz. Çünkü üretimde insanlar üretim sürecini denemek ve geliştirmek için her şey hakkında bilgi toplarlar. Ancak, ne olduğunu veya büyük verilerde neler olduğunu düşünüyorum, tüm bunlar artık herkesin düşünebileceği herhangi bir şekilde tüm işletmelere uygulanmaktadır. Bu konuda veri toplayabiliyorsanız, hemen hemen her iş süreci inceleme için hazırdır.

Yani bu bir şey. İsterseniz, bu veri analizi sorusuna gidiyor. Veri analitiği işletme için neler yapabilir? İşi tamamen değiştirebilir.

Bu ayrıntılı şemayı derinlemesine anlatmayacağım, ancak bu yılın ilk altı ayında yaptığımız araştırma projesinin sonucu olarak ortaya çıkan bir şema. Bu büyük bir veri mimarisini temsil etmenin bir yoludur. Ve bir sonraki slayda geçmeden önce dikkat edilmesi gereken birkaç şey var. Burada iki veri akışı var. Biri, diyagramın üst kısmından geçen gerçek zamanlı bir veri akışıdır. Diğeri, diyagramın altından geçen daha yavaş bir veri akışıdır.

Diyagramın altına bakın. Veri deposu olarak Hadoop var. Çeşitli veritabanlarımız var. Orada, üzerinde birçoğu analitik aktivite olan bir sürü etkinlik olan tüm verilerimiz var.

Burada yaptığım nokta ve burada gerçekten yapmak istediğim tek nokta, teknolojinin zor olmasıdır. Bu basit değil. Kolay değil. Bu oyunda yeni kimsenin bir araya getirebileceği bir şey değil. Bu oldukça karmaşık. Ve tüm bu süreçler boyunca güvenilir bir analitik yapmak için bir işletme yapacaksanız, o zaman özellikle hızlı bir şekilde gerçekleşecek bir şey değildir. Bu karışıma eklenmesi için çok fazla teknoloji gerektirecek.

Tamam. Veri bilimcisi nedir sorusu, veri bilimcisi olduğumu iddia edebilirim çünkü bilgisayar konusunda eğitim görmeden önce aslında istatistiklerle uğraştım. Ve bir süre aktüeryal bir iş yaptım, bu yüzden bir işletmenin nasıl örgütlendiğini, istatistiksel analizini de yapması gerektiğini biliyorum. Bu önemsiz bir şey değil. Hem insan tarafında hem de teknoloji tarafında çok sayıda en iyi uygulama var.

Bu yüzden, "veri bilimcisi nedir" sorusunu sorduğumda Frankenstein resmini basitçe bir araya getirdim, çünkü bunlar birbirine örülmesi gereken şeylerin bir birleşimi. Dahil olan proje yönetimi var. İstatistiklerde derin bir anlayış var. Bir iş analistinin, veri bilimciden ziyade bir problemi olan etki alanı iş uzmanlığı mutlaka vardır. Veri mimarisini anlama ve veri mimarı inşa edebilme tecrübesi veya ihtiyacı var ve bununla ilgili yazılım mühendisliği var. Başka bir deyişle, muhtemelen bir takımdır. Muhtemelen bir birey değildir. Bu da muhtemelen organize edilmesi gereken bir bölüm olduğu ve kuruluşunun oldukça kapsamlı bir şekilde düşünülmesi gerektiği anlamına gelir.

Karışıma atılarak makine öğrenmesi gerçeği. Yapamadık, demek istediğim, makine öğrenmede kullanılan istatistiksel tekniklerin çoğunun onlarca yıldan beri biliniyor olması açısından yeni değildir. Birkaç yeni şey var, yani sinir ağları nispeten yeni, sanırım sadece 20 yaşındalar, yani bazıları nispeten yeni. Ancak, makine öğrenmeyle ilgili sorun, gerçekten bunu yapmak için bilgisayarın gücüne sahip olmamamızdı. Ve olan, başka bir şey dışında, bilgisayarın gücünün şu anda yerinde olduğudur. Bu, veri bilimcilerinin daha önce modelleme durumları, veri örnekleme ve daha sonra verilerin daha derin bir analizini üretmek için bunu dengelemek için yaptıkları gibi çok fazla şey ifade ediyor. Aslında, bazı durumlarda sadece bilgisayar gücü kullanabiliriz. Sadece makine öğrenme algoritmalarını seçin, veriye atın ve çıkanları görün. Ve bu bir iş analistinin yapabileceği bir şey değil mi? Ancak iş analistinin ne yaptığını anlaması gerekiyor. Demek istediğim, bence sorun gerçekten bu, her şeyden çok.

Peki, bu sadece verilerinden iş hakkında diğer araçlardan daha çok şey bilmektir. Einstein bunu söylemedi, ben söyledim. Ben sadece resmini güvenilirlik için hazırladım. Ancak durum aslında gelişmeye başlıyor, eğer doğru kullanılırsa teknolojinin ve eğer doğru kullanılırsa matematiğin bir birey olarak iş yürütebileceği bir durum. Bunu IBM ile izledik. Her şeyden önce, satrançtaki en iyi adamları yenebilir ve daha sonra Jeopardy'deki en iyi adamları yenebilirdi; ama nihayetinde bir şirketi yönetmedeki en iyi adamları yenebileceğiz. İstatistikler sonunda zafer kazanacak. Ve bunun nasıl olacağını görmek zor, henüz olmadı.

Öyleyse söylediğim şey, bu da sunumumun bir türüyle işin bu iki sorunu. İlki, teknolojiyi doğru bulabilir misin? Teknolojiyi, ön plana çıkacak ve iş için fayda sağlayacak olan ekip için çalışabilir misiniz? Ve sonra ikincisi, insanları doğru bulabilir misin? Ve bunların ikisi de sorun. Ve onlar, zamanın bu noktasında, çözülmemiş olduğunu söylüyorlar.

Tamam Eric, sana geri vereceğim. Ya da belki de onu Will'e iletmeliyim.

Eric: Aslında, evet. Teşekkürler Will Gorman. Evet, işte gidiyorsun Will. Öyleyse görelim. Size WebEx'in anahtarını vereyim. Peki neler oluyor? Pentaho, belli ki, bir süredir buralardasınız ve açık kaynak kodlu bir BI’nın başladığınız yeri. Ama eskisinden çok daha fazlasını aldın, o zaman, bugünlerde analitik için neye sahip olduğunu görelim.

Will Gorman: Kesinlikle. Selam millet! Benim adım Will Gorman. Ben Pentaho'nun Baş Mimarı'yım. Bizi duymamış olanlar için, az önce Pentaho'nun büyük bir veri entegrasyon ve analiz şirketi olduğunu söyledim. On yıldır bu işteyiz. Ürünlerimiz büyük veri topluluğuyla yan yana gelişti, veri entegrasyonu ve analitik için açık kaynaklı bir platform olarak başladı, Hadoop ve NoSQL gibi teknolojilerle, bu teknoloji etrafında kurulan ticari varlıklardan önce bile yenilikler yaptılar. Şu anda 1500'ün üzerinde ticari müşterimiz ve açık kaynaklı yeniliklerimiz sonucunda daha birçok üretim randevumuz var.

Mimarimiz oldukça gömülebilir ve genişletilebilirdir, özellikle büyük veri teknolojisi gibi esnek olmaları için inşa edilmiştir, özellikle de çok hızlı bir şekilde gelişmektedir. Pentaho üç ana ürün alanı sunar: Büyük veri analitiği kullanım durumlarını ele almak için birlikte çalışmaktır.

Mimarimiz kapsamındaki ilk ürün, veri teknolojisi uzmanı ve veri mühendislerine yönelik Pentaho Veri Entegrasyonu'dur. Bu ürün, büyük veri ortamlarında ve geleneksel ortamlarda da verileri düzenlemek için veri boru hatlarını ve süreçlerini tanımlamak için görsel, sürükle ve bırak deneyimi sunar. Bu ürün, Java'da yerleşik hafif, meta veri tabanı, veri entegrasyon platformudur ve MapReduce veya YARN veya Storm ve diğer birçok toplu iş ve gerçek zamanlı platform içerisinde bir işlem olarak dağıtılabilir.

İkinci ürün alanımız görsel analizle ilgili. Bu teknoloji ile, kuruluşlar ve OEM'ler, modern analitik tarayıcılar ve tabletler tarafından iş analistleri ve işletme kullanıcıları için, raporların ve gösterge tablolarının geçici olarak oluşturulmasını sağlayan zengin bir sürükle ve bırak görselleştirme ve analitik deneyimi sunabilir. Piksel mükemmel pano ve raporların sunumu.

Üçüncü ürün alanımız veri bilimcileri ve makine öğrenmesi algoritmaları için hedeflenen tahmine dayalı analitik konularına odaklanmaktadır. Daha önce de belirtildiği gibi, sinir ağları ve benzerleri gibi, veri bilim adamlarının modellemeden üretim ortamına geçmelerini, tahminlere erişim sağlamasını ve iş süreçlerini çok hızlı bir şekilde etkileyebilmelerini sağlayan bir veri dönüşüm ortamına dahil edilebilirler.

Tüm bu ürünler sıkı bir şekilde tek bir çevik deneyime entegre edildi ve kurumsal müşterilerimize işletme sorunlarını çözmeleri için gereken esnekliği sağladı. Geleneksel teknolojilerde hızla gelişen büyük bir veri manzarasını görüyoruz. EDW'nin sona erdiğine dair büyük veri alanındaki bazı şirketlerden duyduğumuz her şey. Aslında, kurumsal müşterilerimizde gördüğümüz şey, mevcut işlemleri ve BT süreçlerine büyük veri katmaları ve bu süreçleri değiştirmemeleri gerektiğidir.

Bu basit şema, veri entegrasyonu ve BI kullanım durumlarına sahip bir tür EDW dağıtım mimarisi olan sıkça gördüğümüz mimariyi göstermektedir. Şimdi bu şema Robin’in büyük veri mimarisindeki kaymasına benziyor, gerçek zamanlı ve tarihsel verileri içeriyor. Yeni veri kaynakları ve gerçek zamanlı gereksinimler ortaya çıktıkça, büyük verileri genel BT mimarisinin bir parçası olarak görüyoruz. Bu yeni veri kaynakları arasında makine tarafından üretilen veriler, yapılandırılmamış veriler, standart hacim ve hız ve büyük verilerde duyduğumuz gereksinimlerin çeşitliliği; geleneksel EDW işlemlerine uymuyorlar. Pentaho, müşterilerin veri ortamlarına tam anlamıyla bakabilmeleri için bu verilerin alımını, veri işlemesini ve görselleştirilmesini kolaylaştırmanın yanı sıra bu verileri geleneksel kaynaklarla harmanlamanın yanı sıra Hadoop ve NoSQL ile birlikte çalışır. Bunu düzenli bir şekilde yapıyoruz, böylece BT kendi iş kollarına tam bir analitik çözümü sunabiliyor.

Kapanırken, büyük veri analizi ve entegrasyonu konusundaki felsefemizi vurgulamak isterim; bu teknolojilerin tek bir birleşik mimari ile birlikte çalışarak daha iyi olduğuna inanıyoruz, aksi takdirde mümkün olmayan bir takım kullanım durumlarını mümkün kılıyoruz. Müşterilerimizin veri ortamları, büyük veri, Hadoop ve NoSQL'den daha fazlasıdır. Herhangi bir veri adil bir oyundur. Ayrıca, büyük veri kaynaklarının, işletme değerini etkilemek için kullanılabilir olması ve birlikte çalışması gerekir.

Son olarak, işletmelerdeki bu işletme sorunlarının verilerle çok etkin bir şekilde çözülebilmesi için, BT ve iş kollarının büyük veri analitiğine yönelik yönetilen, harmanlanmış bir yaklaşımla birlikte çalışması gerektiğine inanıyoruz. Bize zaman ayırdığın için çok teşekkür ederim Eric.

Eric: Bahse girerim. Hayır, bu iyi şeyler. Mimarlığınızın o tarafına geri dönmek istiyorum. Öyleyse sunumun geri kalan kısmında ilerleyelim ve bunun için çok teşekkür ederim. Sizler son birkaç yıldır kesinlikle hızlı hareket ediyorsunuz, bunu kesin olarak söylemeliyim.

Öyleyse Steve, devam edeyim ve sana teslim edeyim. Ve sadece aşağı oka tıklayın ve bunun için gidin. Öyleyse Steve, sana anahtarları veriyorum. Steve Wilkes, klavyenizdeki en aşağıdaki oka tıklayın.

Steve Wilkes: İşte gidiyoruz.

Eric: İşte gidiyorsun.

Steve: Yine de bana verdiğin harika bir intro.

Eric: Evet.

Steve: Ben de Steve Wilkes. WebAction'da CCO'yum. Sadece son birkaç yıldır buralardayız ve o zamandan beri kesinlikle hızlı hareket ediyoruz. WebAction gerçek zamanlı büyük bir veri analizi platformudur. Eric, daha önce, gerçek zamanın ne kadar önemli olduğunu ve uygulamalarınızın ne kadar gerçek zaman aldığını belirtti. Platformumuz, gerçek zamanlı uygulamalar oluşturmak için tasarlanmıştır. Ve aşamalı olarak kurulabilecek yeni nesil veri odaklı uygulamaların etkinleştirilmesi ve insanların bu uygulamalardan oluşturulan verilerden panolar oluşturmalarına izin vermek, ancak gerçek zamana odaklanmak.

Platformumuz aslında tamamen uçtan uca bir platform, veri toplamadan veri işlemeye, veri görselleştirmeye kadar her şeyi yapıyor. Ayrıca, şirketimizdeki birden fazla farklı türde insanın gerçek zamanlı gerçek zamanlı uygulamalar oluşturmak için birlikte çalışmasını sağlayarak, işletmelerinde olduğu gibi olup bitenleri anlamalarını sağlar.

Ve bu, çoğu insanın büyük verilerde gördüklerinden biraz daha farklı, bu nedenle geleneksel yaklaşım - son birkaç yıldır geleneksel olan - büyük veri içeren yaklaşım, onu bir sürü farklı kaynaktan ele geçirmek olmuştur ve sonra onu büyük bir rezervuar veya göle ya da ne demek isterseniz isteyin. Ve sonra üzerinde bir sorgu çalıştırmanız gerektiğinde işleyin; Büyük ölçekli tarihsel analizler yapmak ya da sadece büyük miktarda veriyi geçici olarak sorgulamak. Şimdi bu belirli kullanım durumlarında işe yarıyor. Ancak eğer işletmenizde proaktif olmak istiyorsanız, bir şeyin ne zaman yanlış gittiğini bulmak yerine, günün sonuna veya haftanın sonuna ne olduğunu söylemek istiyorsanız, gerçekten hareket etmeniz gerekir. gerçek zamanlı olarak.

Ve bu işleri biraz değiştirir. İşlemeyi ortasına doğru hareket ettirir. Böylece etkili bir şekilde, kurum içinde sürekli olarak üretilen büyük miktarda veri akışını alıyorsunuz ve elde ettiğiniz şekilde işliyorsunuz. Ve onu aldığınız gibi işlediğiniz için her şeyi saklamanız gerekmez. Sadece önemli bilgileri veya gerçekte olduğunu hatırlamak için gerekenleri saklayabilirsiniz. Yani, yolda hareket eden araçların GPS konumlarını izliyorsanız, her saniye nerede olduklarını gerçekten umursamıyorsanız, her saniye nerede olduklarını saklamanıza gerek kalmaz. Sadece umursamana ihtiyacın var, burayı terk ettiler mi? Bu yere geldiler mi? Çevre yolunu sürdüler mi, sürmediler mi?

Bu yüzden, daha fazla veri üretildikçe, üç Vs. Hız, temel olarak her gün ne kadar veri üretileceğini belirler. Daha fazla veri üretildikçe, daha fazla saklamanız gerekir. Ve ne kadar fazla depolamak zorunda kalırsanız, işlem o kadar uzun sürer. Ancak, onu elde ettiğiniz gibi işleyebiliyorsanız, gerçekten büyük bir kazanç elde edersiniz ve buna tepki verebilirsiniz. Daha sonra aramak zorunda kalmaktansa olayların gerçekleştiği söylenebilir.

Dolayısıyla platformumuz yüksek oranda ölçeklenebilir olacak şekilde tasarlanmıştır. Üç ana parçadan oluşur - satın alma parçası, işleme parçası ve ardından platformun teslimat görselleştirme parçaları. Satın alma tarafında, yalnızca Web günlükleri veya üretilen diğer tüm günlüklerin bulunduğu uygulamalar gibi makine tarafından oluşturulan günlük verilerine bakmıyoruz. Ayrıca içeri girebilir ve veritabanlarından veri yakalamayı değiştirebiliriz. Bu temelde bize olanak sağlar, Will'in sunacağı ETL tarafını ve veritabanlarına karşı sorgulama yapmak zorunda olduğunuz geleneksel ETL'yi gördük. Veritabanında işler olduğunda bize söylenebilir. Bunu değiştiririz, yakalarız ve bu olayları alırız. Ve sonra açıkçası size TCP veya ACDP soketleri üzerinden pompalanan sosyal yayınlar ve canlı cihaz verileri var.

Veri almanın tonlarca farklı yolu vardır. Ve hacim ve hızdan bahsederken, günde milyarlarca olay olan hacimleri görüyoruz, değil mi? Bu nedenle, gelen ve işlenmesi gereken büyük, büyük miktarda veri var.

Bu, sunucularımızın bir kümesi tarafından işlenir. Sunucuların hepsi aynı mimariye sahip ve aynı şeyleri yapabiliyorlar. Fakat onları farklı şeyler yapacak şekilde yapılandırabilirsiniz. Sunucularda, veriler üzerinde bazı gerçek zamanlı analizler yapmanıza, verilerinizi zenginleştirmenize, olay korelasyonu yapmanıza, zaman pencerelerinde meydana gelen olayları izlemenize, öngörücü işlemler yapmanıza olanak sağlayan yüksek hızlı bir sorgu işleme katmanına sahibiz verilerde görülen kalıplara dayanan analitikler. Ve bu veriler daha sonra çeşitli yerlerde depolanabilir - geleneksel RDBMS, kurumsal veri ambarı, Hadoop, büyük veri altyapısı.

Aynı canlı veriler, gerçek zamanlı veri odaklı uygulamaları güçlendirmek için de kullanılabilir. Bu uygulamalar neler olup bittiğini gerçek zamanlı olarak görebilir ve önemli şeyler olduğunda insanlar da uyarılabilir. Günün sonunda içeri girmek zorunda kalmak yerine, günün erken saatlerinde gerçekten kötü bir şey olduğunu bulmak yerine, onu gördüğümüz andan haberdar olabilirsiniz ve ne olduğunu bulmak için doğrudan sayfa çizmeye gider. devam ediyor.

Bu nedenle, paradigmayı, ilginç şeyler olduğunda söylenene kadar verileri analiz etmek zorunda bırakmadan tamamen değiştirir. Ve platformumuz daha sonra veri odaklı uygulamalar oluşturmak için kullanılabilir. Ve bu gerçekten odaklandığımız yer, bu uygulamaları geliştirmektir. Müşteriler için, müşterilerle, gerçek zamanlı veri analizinde gerçek değeri göstermek için çeşitli ortaklarla birlikte. Böylece, örneğin site uygulamaları yapan kişilerin, zamanla müşteri kullanımını izleyebilmelerini ve hizmet kalitesinin karşılanabilmesini, gerçek zamanlı dolandırıcılık veya kara para aklamayı tespit etmelerini, birden fazla giriş yapmasını veya hack girişimleri ve bu tür güvenlik olayları, set üstü kutuları veya diğer cihazlar gibi şeyleri yönetmek, ATM makineleri onları gerçek zamanlı olarak izlemek için arızalar, gerçekleşen hatalar olabilirdi, gelecekte tahmine dayalı analize dayalı olarak gerçekleşecektir. Ve bu, Eric'in daha önce bahsettiği işlemleri düzene sokmak, bir şeyin ne zaman olacağını tespit etmek ve işinizi bu işleri düzeltmek için yapmak yerine, birisini gerçekten yapmak için bir şey yapmaya çağırmak yerine, yani çok daha pahalı.

Tüketici analizi, bir müşterinin hala mağazanızdayken bir şey yaptığını anlayabilen başka bir parçadır. Gerçek zamanlı olarak kaynak kullanımını izleyebilmek ve işlerin nerede yürüdüğünü değiştirebilmek ve işlerin ne zaman daha başarısız olacağını bilmek için yönetime gönderilen veriler.

Böylece ürünlerimiz kısaca anlatılıyor ve bu soruların bir kısmına soru-cevap oturumunda geri döneceğimizden eminim. Teşekkür ederim.

Eric: Evet, gerçekten. İyi iş. Tamam iyi. Ve şimdi yıldırım turumuzun bir sonraki durağında, Frank Sanders'ı MarkLogic’ten arıyoruz. Bu adamlar hakkında uzun yıllardır çok ilginç bir veritabanı teknolojisi olduğunu biliyorum. Yani Frank, sana teslim ediyorum. Bunun içinde herhangi bir yere tıklamanız yeterli. Klavyenizdeki aşağı okunu kullanın ve yarışlara girersiniz. İşte gidiyorsun.

Frank Sanders: Çok teşekkürler Eric. Eric'in dediği gibi, MarkLogic adında bir şirketle birlikteyim. MarkLogic'in yaptığı şey ise kurumsal bir NoSQL veritabanı sağlamak. Ve belki de, bu konuda masaya getirdiğimiz en önemli yetenek, bu bilgiyi sizinkilerinize benzer bir sistemde analiz etmek, aramak ve kullanmak için aslında bu farklı bilgi kaynaklarını bir araya getirme yeteneğidir. geleneksel ilişkisel sistemler için kullanılır, değil mi?

Bu konuda masaya getirdiğimiz bazı temel özellikler, geleneksel bir veritabanı yönetim sisteminden beklediğiniz tüm kurumsal özellikler, güvenliğiniz, HA, DR, yedeklemeniz, varlığınızdır işlemler. Bu tür bir yapı oluşturmak ve analiz etmek için ele almanız gereken bilgilerin hacmini ve hızını kaldırabilmeniz için bulutta veya emtia donanımında ölçeklendirmenize olanak sağlayan tasarımın yanı sıra bilginin.

Ve belki de en önemli yetenek, agnostik olduğumuz gerçeğidir. Bunun anlamı, pratik olarak, uygulamalarınızı oluşturmaya başladığınızda veya bu bilgileri bir araya getirmeye başladığınızda verilerinizin nasıl görüneceğine karar vermenize gerek kalmamasıdır. Ancak zamanla, yeni veri kaynaklarını dahil edebilir, ek bilgi alabilir ve kaldıraç ve sorgu kullanabilir ve bu bilgileri tasarıma başladığınız andan itibaren olduğu gibi analiz edebilirsiniz. Tamam?

Peki bunu nasıl yapacağız? RDF üçlüsü, coğrafi veriler, geçici veriler, yapılandırılmış veriler ve değerler veya ikili dosyalar gibi, farklı türdeki bilgileri yüklemenizi nasıl sağlayabiliriz. Bunun cevabı, sunucumuzu temelden kurguladığımız ve kendi bilginizi tanımlayabilmenizi sağlayan arama teknolojisini içerecek şekilde inşa etmemiz ve kaynağından veya biçiminden bağımsız olarak bu bilgileri sorgulamanızı, almanızı ve aramanızı sağlar. .

Ve bunun pratik olarak anlamı şudur: - ve analiz yaparken bu neden önemlidir? - analitik ve bilginin doğru şekilde düzenlenmiş ve hedeflendiğinde en önemli olanlar olduğu, öyle değil mi? Dolayısıyla, herhangi bir analitik türünün çok önemli bir parçası arama, ve önemli kısmı da arama analizi. Gerçekten diğeri olmadan birine sahip olamazsınız ve elde etmek için yaptıklarınızı başarılı bir şekilde elde edemezsiniz. Sağ?

Ve bu tür bir analitiğe güç vermek için üretimde sahip olduğumuz ve MarkLogic'i kullanan müşterilerimizden üç buçuk farklı kullanım örneği hakkında kısaca konuşacağım. Tamam. Yani bu tür ilk müşteri Fairfax County. Ve Fairfax County aslında iki ayrı uygulama geliştirdi. Bunlardan biri izin verme ve mülk yönetimine dayanıyor. Muhtemelen biraz daha ilginç olan diğeri ise Fairfax County polis olayları uygulaması. Polis olayları uygulamasının gerçekte yaptığı, polis raporları, vatandaş raporları ve şikayetleri, Tweet'ler, seks suçluları gibi diğer bilgileri ve diğer kurum ve kaynaklardan erişebildikleri her türlü bilgiyi bir araya getirmesidir. Ardından, bunu görselleştirmelerine ve bunu vatandaşlara sunmalarına izin veriyorlar, böylece arama yapabilir ve çeşitli suç faaliyetlerine, polis faaliyetlerine tek bir birleşik jeo-uzamsal endeks üzerinden bakabilirler, değil mi? Böylece, "beş mil içindeki suç oranı nedir" veya "bulunduğum yerin beş milinde hangi suçlar oluştu?" Gibi sorular sorabilirsiniz. Tamam.

Sahip olduğumuz bir başka kullanıcı, sahip olduğumuz bir başka müşteri OECD. OECD'nin bu konuşma için neden önemli olduğu, çünkü Fairfax County için bilgileri bir araya getirme konusunda sağladığımız her şeye ek olarak; Ekonomik açıdan baktıkları OECD üyesi tüm ülkelerden alacağınız tüm bilgileri. Aslında buna bir hedef delici yerleştirdik. Böylece sol tarafta, özellikle Danimarka'nın manzarasını gördüğümüzü görüyorsunuz ve üzerinde farklı eksenlerde derecelendiren bir çiçek yaprağı görebilirsiniz. Sağ? Ve hepsi iyi ve iyi. Fakat OECD'nin yaptığı şey, bir adım daha ileri gittikleri.

Bu güzel görselleştirmelere ek olarak tüm bu bilgileri bir araya getirmenin yanı sıra, sağ tarafta görebileceğiniz doğru yaşam indeksinizi yaratmanız için gerçek zamanlı olarak size izin veriyorlar. Yani elinizde olan şey, konutun sizin veya geliriniz, iş, toplum, eğitim, çevre, sivil katılım, sağlık, yaşam memnuniyeti, iş güvenliği ve işiniz için ne kadar önemli olduğu gibi bir şey yapmanıza izin veren bir dizi sürgü var. /yaşam dengesi. Ve dinamik olarak bu bilgiyi nasıl girdiğinize ve bu şeyleri nasıl ağırlıklandırdığınıza dayanan MarkLogic, gerçek zamanlı indeksleme özelliğini ve sorgulama özelliğini kullanarak daha sonra bu ülkelerin her birinin sizin için ne kadar iyi olduğu hakkında bir fikir vermek için nasıl sıralandığını değiştirecek şekilde kullanıyor. ülke veya yaşam tarzınız belirli bir ülke aracılığıyla eşlenir. Tamam?

Ve paylaşacağım son örnek MarkMail. Ve MarkMail'in gerçekte göstermeye çalıştığı şey, bu yetenekleri sağlayabileceğimiz ve yalnızca türetilmiş olan yapılandırılmış bilgi ya da sayısal olarak değil, gerçekte daha gevşek yapılandırılmış, yapılandırılmamış bilgilerle ilgili olan bilgiler üzerinde değil. S gibi şeyler. Ve burada gördüğümüz şey aslında coğrafi konum, şirket, şirket, Hadoop gibi kavramlar içerisinde bahsettiğimiz ve daha sonra harita üzerinde görselleştirmenin yanı sıra bu kişilerin kim ve ne olduğuna bakarken, coğrafi konum, şirket, şirket ve hisse senetleri gibi bilgileri çekiyoruz. Bunun arasında bir gönderilen ve bir tarih listesi. Geleneksel olarak yapılandırılmamış, gevşek bir şekilde yapılandırılmış, ancak gerçekte denemek veya yapılandırmak için çok uzun bir süreye gerek kalmadan bu bilgiden yapılandırılmış bir analiz türetebildiğiniz şeylere baktığınız yer bir zaman. Ve bu kadar.

Eric: Hey, tamam güzel. Ve bir tane daha var. Çok ilginç bir şirket olan Treasure Data'dan Hannah Smalltree'yi bulduk. Ve bu çok fazla harika içerik, millet. İyi slaytlar ve detaylar getirdiğiniz için hepinize çok teşekkür ederim. Hannah, sana anahtarları verdim, herhangi bir yere tıkla ve klavyedeki aşağı oku kullan. Anladın. Al onu.

Hannah Smalltree: Çok teşekkürler Eric. Ben Treasure Data'dan Hannah Smalltree. Treasure Data'da yönetmenim ama teknik gazeteci olarak geçmişim var, yani iki şeyi takdir ediyorum. Her şeyden önce, bunlar, birçok farklı teknoloji tanımlamasıyla karşılaşmak için uzun olabilir ve hepsi bir arada olduğu gibi ses çıkarabilir, bu yüzden gerçekten bizim farklılaştırıcımıza odaklanmak istiyorum. Ve gerçek dünyadaki uygulamalar gerçekten önemlidir, bu nedenle tüm arkadaşlarımın bunları sağlama konusunda harika olduğunu takdir ediyorum.

Treasure Data, yeni bir tür büyük veri hizmetidir. Tamamen bulutta bir yazılımda bir hizmet veya yönetilen hizmet modeli olarak sunulur. Bloor’un önceki noktalarına göre, bu teknoloji gerçekten zor olabilir ve ayağa kalkmak ve çalışmak çok zaman alabilir. Treasure Data ile, Hadoop ortamında ya da karmaşık bir şirket içi ortamda alabileceğiniz bu tür yeteneklerin tümünü çok hızlı bir şekilde elde edebilirsiniz, bu da bu yeni büyük veri girişimleri için gerçekten yararlıdır.

Şimdi hizmetimizden birkaç farklı aşamada söz ediyoruz. Özellikle veri, diğer gerçek zamanlı veri türleri olmak üzere akış verilerini toplamak için bazı benzersiz toplama yetenekleri sunuyoruz. Bu veri türleri hakkında biraz daha konuşacağız. Bu bizim hizmetimiz için büyük bir farklılaştırıcıdır. Büyük veriye girdiğinizde veya zaten içindeyseniz, o zaman bu verilerin toplanmasının önemsiz olmadığını bilirsiniz. Her dakikada 100 sensöre sahip veri algılayıcılı bir araba, her 10 dakikada bir veri yayınlayan 100 sensör bile olsa, orada sahip olduğunuz ürünlerin miktarını sensörler ile çarpmaya başladığınızda çok hızlı bir şekilde yükseliyor ve çok hızlı bir şekilde yönetimi zor. Yani milyonlarca müşteriyle konuşuyoruz, günde bizi milyarlarca veri satırı olan müşterilerimiz var. Ve bunu, karmaşık bir Amazon altyapısında kendileri ve bunları kendi ortamlarına getirmeyi denemek ve yönetmek için bir alternatif olarak yapıyorlar.

Kendi bulut depolama ortamımız var. Biz idare ediyoruz. Onu izliyoruz. Sizin için her şeyi ayarlayan bir ekibimiz var. Ve böylece veriler akıyor, yönetilen depolama ortamımıza giriyor.

Daha sonra, sorgulayıcıların gömülü sorgu motorları var, böylece analistiniz içeri girip sorguları çalıştırabilir ve verilere karşı bazı ilk veri keşif ve keşiflerini yapabilir. Aslında şimdi bunun için birkaç sorgu motorumuz var. Analistlerin muhtemelen bildiği ve sevdiği SQL sözdizimini, bazı temel veri keşiflerini yapmak, kullanıcı tanımlı işlevler olan daha karmaşık analizler yapmak ve hatta bu verileri toplamak kadar basit hale getirmek ve daha küçük hale getirmek için kullanabilirsiniz. mevcut veri ambarı ortamınıza getirebilirsiniz.

Ayrıca mevcut BI araçlarınızı da bağlayabilirsiniz, Tableau'nuz bizim büyük bir ortağımızdır; ancak gerçekten çoğu BI, görselleştirme veya analiz aracı endüstri standardı JDBC ve ODBC sürücülerimiz üzerinden bağlanabilir. Bu yüzden size bu eksiksiz büyük veri yeteneklerini sağlar. Sorgu sonuçlarınızı veya veri kümelerinizi istediğiniz zaman ücretsiz olarak dışa aktarabilirsiniz, böylece bu verileri kolayca entegre edebilirsiniz. Bunu bir veri rafinerisi olarak kabul edin. Bir gölden çok bir rafineri olarak düşünmeyi seviyorum, çünkü onunla bir şeyler yapabilirsin. Geçebilir, değerli bilgileri bulabilir ve daha sonra bunları kurumsal süreçlerinize dahil edebilirsiniz.

Bir sonraki slayt, üç büyük veri hakkında konuşuyoruz - bazı insanlar dört ya da beş diyor. Müşterilerimiz, onlara gelen verilerin hacmi ve hızı ile mücadele etme eğilimindedir. Ve böylece veri türleri hakkında daha net olmak için - Tıklama Akışı, Web erişim günlükleri, mobil veriler bizim için büyük bir alandır, mobil uygulama günlükleri, özel Web uygulamalarından veya diğer uygulamalardan gelen uygulama günlükleri, etkinlik günlükleri. Ve giderek artan bir şekilde, giyilebilir cihazlardan, ürünlerden, otomotivden ve diğer makine verisi türlerinden sensör verileriyle ilgilenen çok sayıda müşterimiz var. Büyük veri dediğimde, bahsettiğim büyük veri türüdür.

Şimdi, sizin için perspektif açısından birkaç kullanım durumu - bir satıcıyla, büyük bir satıcıyla çalışıyoruz. Asya'da çok iyi bilinmektedir. Burada ABD'de genişliyorlar. Mağaza görmeye başlayacaksınız; sık sık Asya IKEA denir, bu yüzden basit tasarım. Sadakat uygulaması ve web sitesi var. Ve aslında, Treasure Data'yı kullanarak, bu sadakat uygulamasını çok hızlı bir şekilde kullanabildiler. Müşterilerimiz, yazılımlarımız ve hizmet mimarimizden dolayı günler veya haftalar içerisinde ayağa kalkarlar ve çalışırlar, çünkü tüm bu yetenekleri size hizmet olarak sunmak için sahnelerin arkasındaki tüm bu sıkı işleri yapan insanlara sahibiz.

Bu yüzden hizmetimizi, davranışlarına bakarak, insanların mobil sadakat uygulamalarında neye tıkladıklarını bakarak mobil uygulama analitiği için kullanırlar. Web sitesi tıklamalarına bakıyorlar ve daha verimli promosyonlar tasarlamak için bunu e-ticaret ve POS verilerimizle birleştiriyorlar. Aslında insanları mağazalara götürmek istiyorlardı, çünkü insanların mağazalara gittiklerinde daha fazla para harcadıklarını ve bunun gibi olduklarını; bir şeyler almak için daha çok para harcarsınız.

Dijital video oyunlarında gördüğümüz başka bir kullanım durumu, inanılmaz bir çeviklik. Oyunlarında tam olarak ne olduğunu görmek istiyorlar ve oyunda birkaç saat içinde bile bu oyunda değişiklikler yapmak istiyorlar. Bu yüzden, onlar için bu gerçek zamanlı görüş inanılmaz derecede önemlidir. Az önce bir oyun yayınladık, ancak ilk bir saatte herkesin Seviye 2'ye düştüğünü fark ettik; bunu nasıl değiştireceğiz? Aynı gün içinde bunu değiştirebilirler. Bu yüzden gerçek zaman çok önemlidir. Bize günde milyarlarca olay günlüğü kaydediyorlar. Ancak bu, birinin bunu nasıl kullandığına dair gerçek zamanlı bir bakış açısı istediğiniz herhangi bir mobil uygulama olabilir.

Ve son olarak, bizim için büyük bir alan ürün davranışımız ve sensör analizimizdir. Bu nedenle, arabalarda, başka makinelerde, yardımcı programlarda, bizim için başka bir alanda, giyilebilir cihazlarda bulunan sensör verilerinde. Bir üründe meydana gelen bir değişikliğin etkisinin ne olduğunu veya insanların ürünle nasıl etkileşimde bulunduğunun davranışlarıyla ilgilenen kişilerin ne olduğunu hızlıca bilmek isteyen araştırma ve geliştirme ekibimiz var. Ve elbette, sizinle paylaşmaktan mutlu olduğumuz çok daha fazla kullanım durumumuz var.

Ve son olarak, bunun ortamınıza nasıl uyduğunu göstermeniz yeterli, biz bu verileri toplama olanağını tekrar sunuyoruz. Çok özel toplama teknolojimiz var. Öyleyse, gerçek zamanlı koleksiyon, uğraştığınız veya uğraşmayı planladığınız bir şeyse, lütfen Treasure Data servisine bakın. Akış verilerini toplamak için gerçekten yetenekler yaptık. Ayrıca, verilerinizi toplu olarak yükleyebilir, saklayabilir, katıştırılmış sorgu motorlarımızla analiz edebilir ve daha sonra da belirttiğim gibi, verileri doğrudan veri ambarınıza aktarabilirsiniz. Bence Will, mevcut verilerinize büyük veriler eklemeniz gerektiğinden bahsetti. Bu yüzden etrafta dolaşmayın ya da yeni bir silo yaratmayın, ancak bu verileri nasıl küçültüp daha sonra veri deponuza taşıdığınızda BI, görselleştirme ve gelişmiş analitik araçlarınıza bağlanabilirsiniz.

Fakat belki de, size bırakmak istediğim kilit nokta, hizmet olarak yönetildiğimiz, yazılım olarak bir hizmet; çok uygun maliyetli. Ayda birkaç bin dolardan başlayan aylık abonelik servisi ve birkaç gün veya hafta içinde sizi çalışmaya hazırlayacağız. Bu nedenle, kendi altyapınızı oluşturma, bu insanları işe alma, bulma ve tüm bu zamanları altyapıya ayırma ayları ve aylarının maliyeti ile karşılaştırın. Deniyorsanız veya dün bir şeye ihtiyacınız varsa, Treasure Data ile gerçekten hızlı bir şekilde çalışmaya başlayabilirsiniz.

Ve ben sadece sizi web sitemize ve başlangıç ​​servisimize yönlendiriyorum. Oynamaktan hoşlanan bir kişiyseniz, lütfen başlangıç ​​servisimize bakın. Devam edebilir, kredi kartına gerek duymaz, sadece isim verir ve örnek verilerimizle oynayabilir, kendi verilerinizi yükleyebilir ve gerçekten neden bahsettiğimizi anlayabilirsiniz. Çok teşekkürler. Ayrıca, web sitemizi kontrol ediniz. Bu yıl Big Data'daki Gartner Cool Satıcısı seçildik, bununla gurur duyduk. Ayrıca bu raporun bir kopyasını web sitemizden ve diğer pek çok analist teknik raporundan ücretsiz temin edebilirsiniz. Çok teşekkürler.

Eric: Tamam, çok teşekkür ederim. Burada sorular için biraz zamanımız var millet. Biz de biraz uzatacağız çünkü burada hala bir sürü insan var. Ve biliyorum ki kendi başıma bazı sorularım var, bu yüzden devam edeyim ve kontrolümü geri alayım. Sonra birkaç soru soracağım. Robin ve Kirk, gördüğünüz gibi dalmaktan çekinmeyin.

Öyleyse devam edeyim ve Pentaho'dan kontrol ettiğim ilk slaytlardan birine atlayalım. İşte burada, bu gelişen büyük veri mimarisini seviyorum, bu tür bir şirkette nasıl bir araya geldiği hakkında konuşabilir misiniz? Çünkü belli ki, oldukça büyük bir organizasyona, hatta orta ölçekli bir şirkete giriyorsunuz ve zaten bunlardan bazılarına sahip olan bazı insanlara sahip olacaksınız; bütün bunları nasıl bir araya getirirsin? Uygulama neye benziyor ki tüm bunları bir arada dikene yardımcı oluyor ve sonra arayüz neye benziyor?

Will: Harika soru. Arayüzler, ilgili kişilere bağlı olarak çeşitlidir. Ancak bir örnek olarak, panelistlerden birinin veri rafinerisi kullanım durumundan bahsettiği hikayesini anlatmayı seviyoruz, bunu müşterilerde çok görüyoruz.

Bahsettiğimiz müşteri örneklerimizden biri, geleneksel EDW data mart ortamına sahip oldukları Paytronix. Ayrıca, özellikle Hadoop, Cloudera'yı ve bununla ilgili çeşitli kullanıcı deneyimleriyle tanıştırıyorlar. İlk önce bir mühendislik deneyimi var, peki bütün bunları nasıl bir araya getirdiniz? Hadoop ortamı ve EDW arasındaki tutkalı nasıl yaratırsınız?

Ve sonra bahsettiğimiz işletme kullanıcısı deneyimine sahipsiniz, orada bir dizi BI aracı var, değil mi? Pentaho'nun daha fazla gömülebilir bir OEM BI aracı var, ancak örneğin, insanların verilerini keşfetmek istedikleri Tableau ve Excel gibi harikalar var. Ancak genellikle, verilerin yönetildiğinden emin olmak istiyoruz, değil mi? Tartışmalardaki sorulardan biri, tek sürümlü deneyim hakkında ne düşünüyorsunuz, bunu nasıl yönetiyorsunuz ve Pentaho veri entegrasyonu gibi teknolojiyle bu verileri cam üzerinde değil BT ortamlarında bir araya getirmek için. Bu nedenle, verileri gerçekten korur ve yönetir ve işletme analisti ve işletme kullanıcıları için tek bir deneyim sağlar.

Eric: Tamam, güzel. Açıkçası zor bir soruya iyi bir cevap. Ve soruyu sadece sunum yapanların her birine sormama izin verin, ardından siz de atlamak istiyorsanız Robin ve Kirk. Bu yüzden devam etmek ve bu slaytı gerçekten çok ilginç bir şirket olduğunu düşündüğüm WebAction için zorlamak istiyorum. Aslında ortak kuruculardan Sami Akbay'ı da tanıyorum. Birkaç yıl önce onunla konuştuğunu ve "Hey, ne yapıyorsun? Ne yapıyorsun? Bir şeyler üzerinde çalışman gerektiğini biliyorum" dediğimi hatırlıyorum. Ve elbette öyleydi. Kapakları altında WebAction üzerinde çalışıyordu.

Sana bir soru geldi Steve, bu yüzden veri temizleme konusunda sana atacağım, değil mi? Bu gerçek zamanlı yeteneğin bu bileşenleri hakkında konuşabilir misiniz? Veri temizleme veya veri kalitesi gibi konularla nasıl başa çıkıyorsunuz?

Steve: Yani bu gerçekten yayınlarınızı nereden alacağınıza bağlı. Genelde, veri yakalamayı değiştirirken yayınlarınızı bir veritabanından alıyorsanız, o zaman yine, verilerin nasıl girildiğine bağlı olarak değişir. Veri temizleme, verilerinizi birden fazla kaynaktan aldığınızda veya insanlar elle girdiğinde veya bir şeyleri denemek ve çıkarmanız gereken bir keyfi olduğunda, gerçekten bir problem haline gelir. Ve bu kesinlikle sürecin bir parçası olabilir, ancak bu tür basit, gerçek, yüksek hızlı gerçek zamanlı işlemeye kendini borçlandırmıyor. Veri temizleme, tipik olarak, pahalı bir işlemdir.

Bu yüzden, mağazada olduğu gerçeğinden sonra yapılabilecek şey olabilir. Ancak platformun gerçekten çok iyi olduğu diğer bir şey korelasyondur, yani verilerin korelasyonu ve zenginleştirilmesi. Gerçek zamanlı olarak, gelen verileri ilişkilendirebilir ve belirli bir düzenle eşleşip eşleşmediğini veya bir veritabanından veya Hadoop'tan veya başka bir mağazadan alınan verilerle eşleşip eşleşmediğini kontrol edebilirsiniz. Yani onu tarihsel verilerle ilişkilendirebilirsin, yapabileceğin bir şey.

Yapabileceğiniz diğer şey, temel olarak bu veriler üzerinde analiz yapmak ve bunun belirli gerekli kalıplarla eşleşip eşleşmediğini görmek. Bu da gerçek zamanlı olarak yapabileceğiniz bir şey. Ancak, şirket adlarını düzelttiğiniz veya adresleri ve tüm bu tür şeyleri düzelttiğiniz geleneksel türdeki veri temizliği, bunlar muhtemelen çok pahalı olan ve gerçekten dua ettiğiniz gerçeğin kaynağında veya türünden yapılmalıdır. Bunları gerçek zamanlı olarak yapmayacaklarını.

Eric: Evet. Ve sizler elbette, şeylerin gerçek zamanlı doğasını ele almaya çalışıyorsunuz, aynı zamanda insanları zamanında alıyorsunuz. Ve biz konuştuk, doğru, saatin en üstünde, tüm bu fırsat penceresinden bahsettim ve gerçekten normal rotaya gitmeden, bu alternatif rotaya gidip bunu yaparak verileri toplayabileceğiniz şirketlere özel uygulamaları hedefliyorsunuz. Müşterileri tutabileceğiniz kadar düşük bir gecikme süresinde. Örneğin, insanları memnun tutabilirsiniz ve ilginçtir, Sami ile ne yaptığınız konusunda uzunca konuştuğumda, gerçekten iyi bir noktaya değindi. Web tabanlı yeni uygulamaların çoğuna bakarsanız; Bitly veya bu diğer uygulamaların bazıları gibi şeylere bakalım; Microsoft’tan, Microsoft’tan çok hoşlandığımız eski uygulamalardan çok farklılar.

Microsoft'u genellikle yazılımın evrimi hakkında konuşmak için çırpınan bir çocuk ve özellikle de Word olarak kullanırım. Çünkü Microsoft Word, elbette bir kelime işlemci programı olarak başladı. Ben Word Perfect'ı hatırlayan insanlardan biriyim. Temelde açık kodları veya açık kodunu yapabilmeyi seviyordum, temelde oradaki asıl kodu görebileceğiniz yerdi. Madde imli listeniz yanlışsa bir şeyi temizleyebilirsiniz, temizleyebilirsiniz. Word, bunu yapmana izin vermiyor. Ve size, Word’ün yaptığınız her sayfanın içine bir kod dağı yerleştirdiğini söyleyebilirim. Kimse bana inanmıyorsa, Microsoft Word'e gidin, "Merhaba Dünya" yazın ve sonra "Farklı Ver" veya "Farklı Kaydet" .html yapın. Ardından bu belgeyi bir düzenleyicide açın; bu yalnızca iki kelimelik dört kod uzunluğunda olacaktır.

Siz çocuklar, çok ilginç olduğunu düşündüm ve bunun hakkında konuşmamızın zamanı geldi. Odaklandığınız yer burası, doğru, oyunda değişiklik yapabildiğiniz kadar hızlı bir şekilde verileri bir araya getirmek için platformlar arası ya da kurumlar arası ya da alanlar arası fırsatlar olarak adlandırabileceğinizi belirlemek, değil mi?

Steve: Evet, kesinlikle. Ve bence, neyse, bunlardan kaçındığınız anahtarlardan biri, müşterilerinizden önce veya gerçekten onlardan önce gerçekten bir sorun haline gelmek üzere olan bitenleri bilmek istiyorsunuz. Örnek olarak set üstü kutuları vardır. Kablo kutuları her zaman telemetri yayar, telemetri yükler ve yükler. Ve sadece kutunun sağlığı değil, izlemekte olduğunuz şey ve benzeri şeyler değil mi? Tipik örnek, kutu başarısız olana kadar beklemeniz ve ardından kablolu yayın sağlayıcınızı aramanız ve "Peki, Kasım ayının tümünde sabah 6 ile akşam 11 arasında size ulaşacağız" diyecekler. Bu gerçekten iyi bir müşteri deneyimi değil.

Ancak, bu telemetriyi gerçek zamanlı olarak analiz edebilselerdi, bu kutuların gelecek haftaya dayanan tarihsel kalıplara dayanamayacaklarını bildiğimiz gibi şeyler yapmaya başlayabilirlerdi. Bu nedenle, kablo tamir elemanımızı, bu kişinin evinde başarısız olmadan önce ortaya çıkması için programlayacağız. Ve bunu Santa Cruz'dan Sunnyvale'ye kadar yapmak yerine bize uygun bir şekilde yapacağız. İşimizi optimize edebilmemiz için her şeyi iyi bir düzende, seyahat eden satıcı modelinde vb. Planlayacağız. Ve böylece müşteri mutlu olur, çünkü kablo kutusu arızalı değildir. Kablo sağlayıcısı mutlu çünkü işleri basitleştirdiler ve her yerdeki insanlara mecbur değiller. Bu sadece çok hızlı bir örnek.Ancak, olayları olduğu gibi bilmeden, şirketlere bir servet kazandırabilecek ve müşteri ilişkilerini gerçekten geliştirebilecek tonlarca ve tonlarca örnek var.

Eric: Evet, doğru. Hiç şüphe yok. Hadi devam edip MarkLogic'e geçelim. Daha önce de belirttiğim gibi, bu adamlar hakkında bir süredir tanıyorum ve bu yüzden sizi buna dahil edeceğim Frank. Sizler, uygulamanızı geliştirmek için büyük bir veri hareketinin çok ötesindeydiniz, bu gerçekten bir veri tabanı. Fakat bunu ortaya çıkarmak ve aramanın önemi hakkında konuştunuz.

Bu nedenle, alanı takip eden birçok kişi, NoSQL araçlarının birçoğunun, üçüncü şahıslar aracılığıyla veya kendi başlarına yapmaya çalışarak arama yeteneklerini artırdığını biliyor. Ancak bu araştırmaya zaten eklenmiş, konuşmak için fırlatılmış olması gerçekten büyük bir mesele. Çünkü eğer düşünürseniz, SQL'iniz yoksa, öyleyse nasıl girip verileri araştırıyorsunuz? Bu veri kaynağından nasıl yararlanıyorsunuz? Ve cevap, aradığınız verilere ulaşmak için genellikle aramayı kullanmaktır, değil mi?

Bu nedenle, bunun tüm bu farklı kaynaklardan veri toplayabilmesinin ve bu verileri saklayabilmenin ve bu tür karma ortamları gerçekten kolaylaştırabilmenin sizin için en önemli farklılıklardan biri olduğunu düşünüyorum. Arama özelliğinin sizin için büyük bir sorun olduğunu düşünüyorum.

Frank: Evet, kesinlikle. Aslında, tüm verilerin neye benzeyeceğini bilmediğinizde sorunu tutarlı bir şekilde çözmenin tek yolu budur, değil mi? Tüm olasılıkları hayal edemiyorsanız, istediğiniz tüm bilgileri bulabileceğinizden emin olmanın tek yolu, tutarlı bir şekilde bulabileceğinizden ve veri modelinizi nasıl geliştirdiğinize bakılmaksızın, onu bulmaktır. İnsanlara bu verileri sorgulamalarını sağlayan genel araçlar verdiğinizden emin olmak için. Ve bunu yapmanın en kolay ve sezgisel yolu bir arama paradigması ile değil mi? Ve aramada aynı yaklaşımla ters bir indeks yarattık. Bunları araştırabileceğiniz ve daha sonra müşteriye iade etmek ve uygun gördükleri şekilde işleme koymalarını sağlamak için aradığınız bilgileri içeren kayıt ve belgeleri ve satırları bulabileceğiniz girişleriniz var.

Eric: Evet ve biz bu konu hakkında çok konuştuk, ama bana bu tür bir kazı çalışması için gerçekten iyi bir fırsat veriyorsunuz - bu denklemin tüm arama ve keşif tarafı. Ama her şeyden önce, çok eğlenceli. Bu şeyleri seven herkes için bu eğlenceli kısım, değil mi? Fakat denklemin diğer tarafı veya madalyonun diğer tarafı, söylemeliyim ki, bunun gerçekten yinelemeli bir süreç olduğu söylenebilir. Ve yapabilmelisin - burada bazı pazarlama dilini kullanacağım - verilerle bu konuşmayı yapabileceğim, değil mi? Başka bir deyişle, hipotezi sınamak, onunla oynamak ve bunun nasıl çalıştığını görmek gerekir. Belki o orada değildir, başka bir şeyi test eder ve sürekli bir şeyleri değiştirir, tekrar eder, araştırır, araştırır ve düşünür. Ve bu bir süreç. Büyük engelleriniz varsa, uzun gecikmeler veya zor bir kullanıcı arayüzü anlamına gelir veya BT'ye sormanız gerekir; Bu sadece tüm analitik tecrübeyi öldürür, değil mi?

Bu nedenle, bu tür bir esnekliğe sahip olmak ve aramaları kullanabilmek önemlidir. Ve burada tasvir etme şeklini seviyorum çünkü farklı, farklı türden kavramlar veya anahtarlar araştırabilirsek, isterseniz temel değerler ve farklı boyutlar. Analistinizin faydalı şeyler bulabilmesi için bu şeyleri karıştırıp eşleştirebilmek istersiniz, değil mi?

Frank: Evet, kesinlikle. Yani, hiyerarşi de önemli bir şey, değil mi? Böylece bir başlık, doğru veya belirli bir terim veya değer gibi bir şey eklediğinizde, gerçekte doğru olanı gösterebilirsiniz. Bir makalenin başlığını arıyorsanız, kitapların başlığını alamazsınız, değil mi? Veya blog yazılarının başlığını alamıyorsunuz. Bunları ve bilginin hiyerarşisi ile ayırt edebilme yeteneği de önemlidir.

Daha önce gelişime dikkat çektiniz, kesinlikle, doğru mu? Müşterilerimizin birkaç saat içinde yeni veri kaynaklarını almalarını, onlarla çalışmaya başlamalarını, işe yarayıp yaramadıklarını değerlendirmelerini ve sonra da onları birleştirmeye devam etmelerini veya yol kenarlarında bırakma yetenekleri son derece değerlidir. Bunu yaptığınız daha geleneksel bir uygulama geliştirme yaklaşımıyla karşılaştırdığınızda, hangi veriyi almak istediğinizi bulmak, verileri almak, mevcut veri modelinize nasıl sığacağını bulmak veya Bu veri modelini içerecek şekilde değiştirin ve daha sonra gerçekten geliştirmeye başlayın, değil mi? Bunu başımıza çevirip sadece bize getirdiğimizi söylediğimizde, onunla geliştirme yapmaya başlamanıza izin verin ve sonra daha sonra tutmak isteyip istemediğinize veya hemen hemen değerinin olup olmadığına karar verin.

Eric: Evet, bu gerçekten iyi bir nokta. İyi bir noktaya değindin. Öyleyse devam edeyim ve dördüncü sunucumuzu Treasure Data'yı getireyim. Bu adamlara bayılıyorum. Onlar hakkında pek bir şey bilmiyordum, bu yüzden kendimi tekmeliyorum. Sonra Hannah bize geldi ve ne yaptıklarını anlattı. Ve Hannah’dan bahsetti, bir medya insanıydı ve karanlık tarafa geçti.

Hannah: Yaptım, itiraf ettim.

Eric: Sorun değil, çünkü medya dünyasında neyi sevdiğimizi biliyorsun. Bu nedenle, bir medya çalışanı satıcı tarafına geçtiğinde her zaman iyidir, çünkü anlarsınız, hey, bu şeyleri ifade etmek o kadar kolay değildir ve bu ürünün tam olarak ne yaptığını ve bu ürünün ne yaptığını bir web sitesinden tespit etmek zor olabilir. Ve sizlerin bahsettiği şey gerçekten oldukça ilginç. Şimdi, sen bulut tarafından yönetilen bir hizmetsin. Yani birisinin kullanmak istediği herhangi bir veri bulutunuza yükler, doğru mu? Ve sonra ETL ya da CDC olacaksınız, buluta kadar ek veriler bu şekilde mi çalışıyor?

Hannah: Evet. Öyleyse önemli bir ayrım yapmama izin verin. Verilerin çoğu, müşterilerimizin bize sağladıkları büyük veriler zaten güvenlik duvarının dışında - mobil veriler, ürünlerde bulunan sensör verileri. Bu yüzden sık sık geçici bir evreleme alanı olarak kullanılıyoruz. Bu nedenle, veriler birisinin kuruluşundan, bir web sitesinden, mobil bir uygulamadan, içinde çok sayıda sensör bulunan bir üründen - bulut ortamımıza aktığı kadar, bizim hizmetimize girmez.

Şimdi, ortamımızdaki bu büyük verileri zenginleştirmek istiyorsanız, bunları zenginleştirmek ve analitikten daha fazlasını doğrudan bulutta yapmak için kesinlikle bazı uygulama verilerini veya bazı müşteri verilerini toplu olarak yükleyebilirsiniz. Ancak değerimizin çoğu, güvenlik duvarının dışında bulunan ve bir araya getirilen verileri toplamaktır. Bu nedenle, güvenlik duvarınızın arkasına bu türden bir şeyi getirmeyi ve gelişmiş analitikten daha fazlasını yapmayı veya mevcut BI veya analitik ortamınıza getirmeyi düşünseniz bile, bu gerçekten iyi bir aşama. Veri ambarınıza milyarlarca gün getirmek istemezsiniz, bu maliyet açısından uygun değildir. Bunu bir yerde saklamayı planlıyorsanız ve ardından toplu yüklemeyi zorsanız bile.

Bu nedenle, çoğu zaman güvenlik duvarı dışında olan verilerin toplandığı ilk noktayız.

Eric: Evet, bu da gerçekten iyi bir nokta. Çünkü birçok şirket, tescilli müşteri verilerini alma, buluta ekleme ve tüm süreci yönetme konusunda gergin olacak.

Hannah: Evet.

Eric: Bahsettiğin şey, insanlara, önerdiğin gibi, mobil veriler ve sosyal veriler gibi üçüncü tarafların verilerini ve sosyal verilerini ve bu tür eğlenceli şeyleri sıkmak için bir kaynak sağlamak. Bu oldukça ilginç.

Hannah: Evet, kesinlikle. Muhtemelen ürünler hakkında gergindir, çünkü veriler zaten dışarıdadır. Ve evet, onu getirmeden önce, ve dediğim gibi, rafineri terimini göle karşı seviyorum. Peki bazı temel rafineri yapabilir misin? İyi eşyaları çıkartın ve daha sonra analiz etmek için güvenlik duvarının arkasından diğer sistemlerinize ve süreçlerinize taşıyın. Bu yüzden, gerçekten de tüm veri bilimcilerinin yapabildiği, akmakta olan bu yeni büyük verinin gerçek zamanlı veri keşfi.

Eric: Evet, doğru. Öyleyse devam edeyim ve analistlerimizi getireyim, tersi sırayla geri döneriz. Treasure Data ile ilgili olarak seninle başlayacağım, sonra diğerleri için Kirk'e gideceğiz. Sonra Robin’e dönüp Kirk’e geri dönüp, biraz daha değerlendirmek için.

Ve veri rafinerisini biliyorsun, Robin, Hannah'nın burada konuştuğu. Bu konsepti çok seviyorum. Sadece birkaç kişinin bu şekilde konuştuğunu duydum ama bundan daha önce bahsettiğinizi düşünüyorum. Ve bu gerçekten verilerinize ne olup bittiğini konuşmuyor. Çünkü, elbette, bir rafineri, petrol rafinerileri hakkında düşünürseniz, temel olarak işleri kök seviyesine kadar damıtır. Aslında bunu bir süre çalıştım ve oldukça basit, ancak içine giren mühendisliğin tam olarak doğru olması gerekiyor veya istediğiniz şeyi alamıyorsunuz. Bu yüzden bence harika bir benzetme. Hazine Veri Bulutu Hizmeti'nin tüm bu konsepti hakkında ne düşünüyorsunuz? İçinde bir şeyler getirmek zorunda kalmadan bu çok özel analitik ihtiyaçların üstesinden gelmenize yardımcı olur?

Robin: Demek istediğim, şartlara bağlı olarak ne kadar uygun olduğuna bağlıyım. Ama daha önce hiç işlem yapmadıysanız, kendiniz almadıysanız sizi oyunun önüne atacak. Böyle bir şey için ilk paket servisi budur. Biri bir şey topladıysa, bunu yaptılar, pazarda kanıtlandı ve bu nedenle yürürlükte olan bir tür değer var, iş zaten buna başladı. Ayrıca, verilerin rafine edilmesinin öncekinden çok daha büyük bir sorun olacağına dair çok genel bir gerçek var. Demek istediğim, hakkında konuşulmadığı gibi, bence, olması gerektiği gibi konuşulmuyor. Basitçe verilerin büyüklüğünün artması ve kaynakların sayısı ve bu kaynakların çeşitliliği oldukça fazla artmıştır. Verilerin temiz olup olmadığına ilişkin güvenilirliği, verilerin yönetişiminde ortaya çıkan her türlü sorunu netleştirmek zorundadırlar.

Bu nedenle, güvenilir bir analiz yapabilmek için uğraşmadan önce, bilirsin, eğer verileriniz kirliyse, sonuçlarınız bir şekilde veya başka şekilde çarpık olacaktır. Bu, üzerinde durulması gereken, bilinmesi gereken bir şey. Ve görebildiğim kadarıyla, bu konuda yardımcı olmak için çok uygun bir hizmet sunma üçgenleştiricisi.

Eric: Evet, gerçekten. Hadi devam edeyim ve Kirk'ü tekrar buradaki denkleme geri getireyim. Bu diğer slaytlardan birine bir göz atmak ve bazı şeyler hakkındaki görüşlerinizi almak istedim Kirk. Belki de MarkLogic slaydına geri dönelim. Ve bu arada, Kirk, eğer görmediniz, bazı sınıf keşif slaytlarına katıldığını görmediyseniz, çünkü bu çok ilginç bir kavram. Ve sanırım bunun birazdan bahsettiğim gibi beynimin arkasında bir çeşit bira olduğunu düşünüyorum. Katılımcıların birinin sorduğu soruların tamamı, yeni sınıflar bulma konusunda nasıl devam edeceğinizle ilgili. Bu konuyu çok seviyorum çünkü gerçekten bir şeyleri kategorize etmenin zor yanıyla konuşuyor, çünkü ben her zaman kategorileri sınıflandırmakta zorlandım. Ben, "Ah, tanrım, beş kategoriye sığdırabilirim, nereye koyacağım?" Yani sadece hiçbir şeyi kategorize etmek istemiyorum, değil mi?

Bu yüzden aramayı çok seviyorum, çünkü kategorilere ayırmak zorunda değilsiniz, klasöre koymak zorunda değilsiniz. Sadece onu arayın ve nasıl arayacağınızı biliyorsanız, onu bulacaksınız. Ancak, bu bölümlendirmeye çalışma sürecinde iseniz, çünkü temelde sınıflandırma budur, bölümleme; yeni sınıflar bulmak, bu ilginç bir şey. Örneğin Frank'in MarkLogic ve yeni sınıflar bulmakta oynadığı rolle ilgili olarak konuştuğu gibi, arama ve anlambilim ve hiyerarşilerin gücü hakkında konuşabilir misiniz? Bunun hakkında ne düşünüyorsunuz?

Kirk: Her şeyden önce aklımı okuduğunu söyleyebilirim. Çünkü siz konuşmadan önce bile bir soru düşündüğüm buydu, buradaki MarkLogic'in sunduğu anlambilimsel parça. Eğer slaytıma geri dönersen, bunu yapmak zorunda değilsin, ama bu öğleden sonra sunduklarımdan beşincisine geri dön. Verilerin yakalanması gereken bu anlambilim hakkında konuştum.

Yani tüm bu arama fikri, işte gidiyorsunuz. Buna kesinlikle inanıyorum ve her zaman büyük verilerle, İnternet analojisini benimsemeye inanıyordum, demek istediğim, sadece Web, yani dünyadaki bilgi birikimine ve bilgiye sahip olmak bir web tarayıcısıdır. Ancak, büyük arama motoru şirketlerinden birinin bize sağladığı gibi aranabilir ve verimli bir şekilde aranabilmesi için, gerçek keşif gücünün bulunduğu yer burasıdır. Arama terimlerini bağladığınız için, kullanıcının ilgi alanlarını belirli bir veri granülüne, belirli bir web sayfasına, Belge kitaplığından söz ediyorsanız Web örneğini veya belirli bir belgeyi düşünmek istiyorsanız düşünün. Veya alanınız buysa belirli bir müşteri segmenti türü.

Ve anlambilim size bu kelime bilgisini sadece bir kelime aramasının tepesinde veriyor. Belirli bir türden bir şey arıyorsanız, bu türden bir sınıfın bir üyesinin diğer şeylerle belirli bir ilişkisi olabileceğini anlamak. Hatta bu tür bir ilişki bilgisini ve aradığınız şeye benzer şeyler bulmak için bir sınıf hiyerarşi bilgisi olduğunu da ekleyin. Ya da bazen aradığınız şeyin tam tersi bile olabilir, çünkü bu bir şekilde size ek bir anlayış ortamı sağlar. Muhtemelen bunun karşıtı olan bir şey.

Eric: Evet.

Kirk: Yani aslında bunu anlayın. Bunun karşısında bir şey görebiliyorum. Ve bu nedenle anlamsal katman sık sık eksik olan değerli bir bileşendir ve şimdi bunun bu con'da ortaya çıkması ilginçtir. Çünkü on yıldan uzun bir süredir ne çağırmak istersen, veritabanı, veri madenciliği, veriden öğrenme, veri bilimi alanlarında yüksek lisans dersi aldım; ve bu sömestr uzunluğundaki bu kurstaki birimlerimden biri anlambilim ve ontoloji üzerinedir. Ve sık sık öğrencilerim bana şöyle bakarlardı: Bunun konuştuğumuz şeyle ne ilgisi var? Ve elbette, sonunda, bu bilgiyi bir tür bilgi çerçevesine sokmanın bunu anladığımızı düşünüyorum. Böylece, örneğin, belirli bir müşteri davranışı hakkında bilgi arıyorum, bu davranışın gerçekleştiğini anlamak, insanların bir spor etkinliğinde ne satın aldıklarını anlamak. Müşterilerime, sosyal medyalarında - ya da - futbol, ​​beyzbol, hokey, Dünya Kupası gibi spor etkinliklerine katılacaklarını söylerken ne tür ürünler öneririm.

Tamam, çok sportif etkinlik. Yani bir beyzbol maçına çıkacaklarını söylüyorlar. Tamam, beyzbolun bir spor olayı olduğunu anlıyorum. Bunun genellikle bir sosyal olduğunu ve insanlarla gittiğini anlıyorum. Bunun genellikle açık alanda olduğunu biliyorum. Demek istediğim, tüm bu geleneksel özellikleri anlamak, söz konusu müşterinin çeşitlendirilmesini, daha güçlü, çeşitlendirilmesini ve örneğin, sizinle etkileşimde bulunduğunuzda onlara verdiğiniz deneyimi kişiselleştirme türünüzü mümkün kılar. Bir stadyumda otururken bir mobil uygulama aracılığıyla boşluk.

Bu yüzden tüm bu tür şeyler, veri granüllerini anlamsal konumlarına göre indeksleme fikri ve bu tür endeksleme fikrindeki verilere çok daha fazla güç ve keşif potansiyeli getiriyor. Ve bugün ortaya çıkan gerçekten etkilendim. Bence konuşmanın temel bir şey olduğunu düşünüyorum.

Eric: Evet, öyle. Keşif sürecinde çok önemlidir, sınıflandırma sürecinde çok önemlidir. Ve eğer düşünürseniz, Java sınıflarda çalışır. Nesneye yönelik, sanırım, az ya da çok, programlama biçimini söyleyebilir ve Java sınıflarında çalışır. Bu nedenle, aslında bir yazılım tasarlıyorsanız, bu yeni sınıfları bulmaya çalışmanın bütün konsepti, sunmaya çalıştığınız işlevsellik açısından oldukça önemlidir. Özellikle, Java'nın çok fazla olduğu bu farklı uygulamaların çoğunu çalıştıran, bu yeni vahşi, yünlü büyük veri dünyasında, bir bilgisayarla bir şeyler yapmanın, herhangi bir bit yapmanın 87.000 veya daha fazla yolu olduğunu biliyorsunuz. işlevsellik

Çalışanlarımdan biri, "Ah, NoSQL kullanarak bir veri ambarı oluşturabilirsiniz." "Evet, bu doğru olabilir. Microsoft Word'ü kullanarak bir veri ambarı da oluşturabilirsiniz." Bu en iyi fikir değil, çok iyi performans göstermeyecek, ancak gerçekten yapabilirsiniz. Bu yüzden anahtar, bir şeyler yapmanın en iyi yolunu bulmanız gerektiğidir.

Devam et.

Kirk: Buna cevap vereyim. Söyleyene kadar aklıma gelmeyen Java sınıfı örneğinden bahsetmeniz ilginç. Java ve sınıfların özelliklerinden biri ve bu tür nesne yönelimi, belirli sınıflara bağlanan yöntemlerin olmasıdır. Ve bu gerçekten benim sunumumda yapmaya çalıştığım türden bir şey ve bu veri granüllerinin bir kısmını anladığınızda - bu bilgi külçeleri, bu etiketler, bu ek açıklamalar ve bu anlamsal etiketler - o zaman buna bir yöntem bağlayabilirsiniz. Temel olarak bu reaksiyonu veya bu cevabı alıyorlar ve sisteminize bir sonraki veri akışında gördüğümüzde bu şeye otomatik, proaktif bir yanıt vermesini sağladım.

Bu yüzden, belirli sınıfa yönelik bağlayıcı eylemler ve yöntemler kavramı gerçekten otomatikleştirilmiş gerçek zamanlı analitiklerin gücünden biridir. Ve sanırım bir şeye çarptığını düşünüyorum.

Eric: Güzel, güzel, güzel. Bu iyi bir şey. Öyleyse görelim Will, size geri vermek istiyorum ve size izleyicilerden bir soru sormak istiyorum. Burada da bunlardan birkaçı var. Ve millet, uzun sürüyoruz çünkü bu harika konseptlerden bazılarını bu iyi sorularda almak istiyoruz.

Öyleyse size, "İş zekasının sebep ve sonucu nasıl ayırt ettiğini gerçekten göremiyorum" diyen izleyici numaralarından birisine bir soru sorayım. Başka bir deyişle, sistemler gözlemlenebilir bilgilere dayanarak kararlar verdikleri için, dünya hakkında daha fazla bilgi edinmek için nasıl yeni modeller geliştiriyorlar? Bu ilginç bir nokta, bu yüzden burada sebep-sonuç ilişkisini duyuyorum, kök neden analizi ve bu, analitikte geleneksel BI'a karşı konuştuğunuz, aslında gerçekte olduğu gibi konuştuğum bazı üst düzey şeyler. Sadece bir çeşit raporlama ve ne olduğunu anlama. Ve elbette, tüm yönünüz, buradaki slaydınıza bakıyorsanız, bu kararları almak veya en azından bu önerileri almak için bu öngörülebilir kabiliyete doğru ilerliyor, değil mi? Yani fikir şu ki, olup bitenlerin tümüne hizmet etmeye çalışıyorsunuz ve asıl sihirin anahtarın sağdaki analitik hedef bileşeninde olduğunu anlıyorsunuz.

Will: Kesinlikle.Bence bu soru geleceğe biraz bakıyor, veri bilimine gelince, daha önce de bahsettiğim gibi, veri bilimcisinin gereklilikleri ile bir slayt gördüm; İçinde birisinin olması oldukça zor bir rol. Bu zengin istatistik ve bilim bilgisine sahip olmalılar. Matematiksel bilginizi etki alanlarına uygulamak için etki alanı bilgisine sahip olmanız gerekir. Öyleyse bugün gördüğümüz şey, bir işletme kullanıcısının Excel'de kullanabileceği ve geleceklerini otomatik olarak tahmin edebileceği kullanıma hazır tahmin araçları yok mu?

Bu aşamada teknolojideki ileri bilgiyi gerektirir. Şimdi gelecekte bir gün, bu sistemlerin bazılarının, bu ölçeklendirme sistemlerinin duyarlı hale gelmesi ve bazı vahşi şeyler yapmaya başlaması olabilir. Fakat şunu söyleyebilirim ki, bu aşamada, bu modelleri değil, model üretmeye devam etmek için ortada bir veri bilimciniz olmalıdır. Veri madenciliği ve benzeri bu öngörücü modeller, veri bilimcisi tarafından çok iyi ayarlanmış ve oluşturulmuştur. Ne demek istediğimi anlıyorsan, kendi başlarına üretilmezler.

Eric: Evet, kesinlikle. Bu kesinlikle doğru. Ve satırlarımdan biri "Makineler yalan söylemez, en azından henüz değil."

Will: Henüz değil, tam olarak.

Eric: Bir makale okudum - bu konuda bir şeyler yazmalıyım - bu bilgisayar programlarının yalan söylemeyi öğrendiklerini söyledikleri bir üniversitede yapılan bazı deneyler hakkında, ama sana söylemeliyim, gerçekten inanmıyorum . Bu konuda biraz araştırma yapacağız millet.

Ve son yorum için Robin, sizi bu WebAction platformuna bir göz atmak için geri getireceğim, çünkü bu çok ilginç. Bütün bu alan hakkında sevdiğim şey, çok çeşitli ihtiyaçlar için çeşitli satıcılar tarafından alınan farklı bakış açılarına ve farklı açılara sahip olmanızdır. Şovumuz için bu formatı seviyorum çünkü açıkçası birbirlerinin üzerine basmayan dört ilginç satıcı var. Çünkü hepimiz, analitiği kullanmak, işleri yapmak için gereken genel ihtiyaçların farklı bitlerini ve parçalarını yapıyoruz.

Ama ben sadece bu özel platform ve mimarisi üzerine bakış açınızı almak istiyorum. Bir şeyleri nasıl yapacaklar? Oldukça çekici buluyorum. Ne düşünüyorsun?

Robin: Demek istediğim, veri akışından çok hızlı sonuçlara işaret ediyor ve arama olarak bunun için mimar olmanız gerekiyor. Yani, herhangi bir şey yaptığımız gibi amatörce, hiçbir şey yapmaktan kaçamayacaksınız. Bunun son derece ilginç olduğunu duydum ve geçmişte tanık olduğumuz şeylerden birinin olduğunu düşünüyorum; Demek istediğim, sen ve ben, çenemiz, son derece hızlı, olağanüstü derecede zeki ve daha önce benzeri görülmemiş bir şekilde daha fazla şey ortaya çıktığını gördükçe, son birkaç yıldır giderek daha fazla düşüyor.

Bu açıkçası, WebAction, tabiri caizse bu ilk rodeo değil. Aslında belli bir oranda isim alan bir yerdi. Bu yüzden göremiyorum, ancak mimarinin oldukça açık olmasına şaşırmamız gerektiğini ama kesinlikle öyle olduğunu varsaymamız gerekiyor.

Eric: Pekala, size ne diyeceğim millet. Burada 82 dakika boyunca katı bir madde yaktık. Demek istediğim, sürekli dinleyen herkese teşekkür ederim. Cevaplanmamış herhangi bir sorunuz varsa, gerçekten sizin için utangaç olmayın. Bir yerde benden yalan söyleyen biri olmalı. Hem büyük, hem bugün sunum yapanlarımıza, Dr. Kirk Borne ve Dr. Robin Bloor'a teşekkür ederim.

Kirk, belki de gelecekteki bir web yayınında, bu semantik şeylerin bazılarını daha yakından keşfetmek istiyorum. Çünkü şimdi çok yeni ve ilginç bir sahnenin başlangıcında olduğumuzu düşünüyorum. İnsanların sahip olduğu fikirlerin çoğundan faydalanabileceğimizi ve daha kolay bir şekilde gerçekleştirmelerini sağlayacağımız için ne olacağını tahmin etmeliyim, çünkü tahmin edin, yazılım daha ucuz hale geliyor, söylemeliyim. Daha kullanışlı hale geliyor ve tüm bu verileri tüm bu farklı kaynaklardan alıyoruz. Ve önümüzdeki birkaç yıl boyunca bu işlerin neler yapabileceğini ve işlerimizi nasıl geliştirebileceğini araştırdığımız için çok ilginç ve büyüleyici bir yolculuk olacağını düşünüyorum.

Pentaho, WebAction, MarkLogic ve Treasure Data - Techopedia'ya ve tabii ki sponsorlarımıza çok teşekkürler. Ve millet, vay, bununla sonuçlandıracağız, ama zaman ayırdığınız ve ilginiz için çok teşekkür ederiz. Bir sonraki gösteri için sizi bir buçuk ay içinde yakalayacağız. Ve tabii ki, brifing salonu devam ediyor; radyo devam ediyor; diğer tüm web yayını dizilerimiz, insanlarınızı sarsmaya ve yuvarlanmaya devam ediyor. Çok teşekkür ederim. Bir dahaki sefere seni yakalayacağız. Güle güle.