Paket servisi: Ev sahibi Rebecca Jozwiak, Dez Blanchfield, Robin Bloor ve David Crawford ile veri kataloglarının avantajlarını tartışıyor.
Videoyu izleyebilmek için bu etkinliğe kaydolmalısınız. Videoyu görmek için kayıt olun.
Rebecca Jozwiak: Bayanlar ve baylar, 2016 Hot Technologies'e merhaba ve hoş geldiniz. Bugün “Önerinin Gücü: Bir Veri Kataloğu Analistleri Nasıl Güçlendiriyor?” Demişti. dünyayı dolaşıyor, bize katıldığınız için teşekkür ederiz. Bu yıl sıcak, sadece bulunduğum yerde Teksas değil, her yer sıcak. Her türlü yeni teknolojinin patlaması var. IoT, veri akışı, bulut kullanımı, Hadoop olgunlaşmaya ve kabul edilmeye devam ediyor. Otomasyona, makine öğrenmeye sahibiz ve tüm bunlar elbette verilerle vurgulanıyor. Ve işletmeler gün geçtikçe daha fazla veri haline geliyor. Ve elbette, bunun amacı bilgi ve keşfe götürmek ve bildiğiniz gibi daha iyi kararlar vermektir. Ancak veriden gerçekten en yüksek değeri elde etmek için, elde edilmesi kolay olmalı. Eğer kilitli kalır, gömülürse veya işletme içindeki bir kaç kişinin beynine koyarsanız, işletme bir bütün olarak pek işe yaramaz.
Ve veri kataloglaması ve kütüphanelerin dersi hakkında düşünmeyi düşünüyordum, uzun zaman önce, bir şeyi bulmanız gerektiğinde, bir konuyu araştırmanız veya bir bilgiyi aramanız gerektiğinde, nereye gittiniz? ve tabii ki, kart kataloğuna ya da orada çalışan perişan kadına gittin. Ama aynı zamanda etrafta dolaşmak da eğlenceliydi, eğer sadece bakmak istiyosanız ve zarif bir şey keşfedebildiğinizden emin olsaydınız, bilmediğiniz bazı ilginç gerçekleri öğrenebiliyordunuz, ama gerçekten bir şey bulmanız gerekiyorsa, ve Ne aradığınızı biliyordunuz, kart kataloğuna ihtiyacınız vardı ve elbette kurumsal eşdeğer, kullanıcıların zenginleşmesi, keşfedilmesi, paylaşılması, tüketilmesi ve insanların gerçekten yardım etmelerine yardımcı olmak için tüm veriler üzerinde ışık tutmasına yardımcı olabilecek bir veri kataloğudur. veri daha hızlı ve daha kolay.
Bugün, kendi veri bilimcimiz olan Dez Blanchfield'ı ve kendi baş analistimiz Doktor Robin Bloor'u, Alation'dan David Crawford'la birlikte, şirketin veri kataloglama hikayesi hakkında konuşacak olan, ama önce biz gidiyoruz. Dez.'le çıkmak Dez, topu sana geçiyorum ve yer senin.
Dez Blanchfield: Teşekkür ederim, bugün bana sahip olduğun için teşekkürler. Bu benim son derece ilgimi çeken bir konudur, çünkü günlük işlerimde karşılaştığım hemen hemen her organizasyonda, şov öncesi şaka yapan kişilerle ilgili konuştuğumuz konuyu hemen hemen buluyorum. Birkaç yıldan fazla bir süredir faaliyet gösteren birçok kuruluşun, kuruluşun etrafına gömülü bir veri bolluğu, farklı formatlar var ve aslında Lotus Notes'a geri dönen veri kümeleri, hala bazı yerlerde çalışan veritabanları olan müşterilerim var. sözde internetleri gibi davalar ve hepsi, verilerinin gerçekte nerede olduğunu ve bunlara nasıl erişileceğini, kime erişim sağlayacağını, bunlara ne zaman ve nasıl erişileceğini bulmakta gerçekten zorlanıyor. katalog ve herkesin yapabileceği bir yere nasıl getirileceği: A) orada ne olduğunu ve içinde ne olduğunun farkında olmak ve B), nasıl erişebileceğini ve kullanacağını bil. Ve tabii ki en büyük zorluklardan biri onu bulmak, diğer büyük zorluk ise orada ne olduğunu ve ona nasıl erişeceğinizi bilmek.
Düzinelerce veritabanım olduğunu biliyor olabilirim, ama aslında orada ne olduğunu ya da orada ne olduğunu nasıl bilmiyorum, ve ne kadar değişmez bir şekilde şov öncesi verilerde keşfettiğimiz gibi Ofis çevresinde ve sorular sormak ve kübik duvarlar arasında bağırmak ve denemek ve anlamaya, sık sık benim deneyimim, hatta ön büro, resepsiyon, ve kimsenin kim olduğunu bildiğini sorma gidip konuşacağız. Oldukça sık, her zaman BT halkı değildir, çünkü veri kümesinden habersizler çünkü birileri yeni yarattı ve basit bir şey olabilir - çoğu zaman BT ortamında ayakta duran bir tür proje buluruz. Proje yöneticisi her şeyin bir çizelgesini kullandı ve varlıklar, isimler ve isimler hakkında büyük miktarda değerli bilgi edindi ve o projeyi bilmediğiniz ve o kişiyi tanımadığınız sürece, bu bilgiyi bulamazsınız. Sadece mevcut değil ve orijinal dosyayı elinizde tutmanız gerekiyor.
Verilerle ilgili olarak etrafa sarılmış bir cümle var ve buna kesinlikle katılmıyorum, ancak bence sevimli bir atma ve belli bir miktar insan verinin yeni bir yağ olduğunu düşünüyor. Bunu daha sonra bugün de bir yönüyle ele alacağız. Ancak farkettim ki, kesinlikle bu dönüşümün bir parçası olarak, verilerini değerlendirmeyi öğrenen işletme örgütlerinin rakipleri karşısında önemli avantaj sağladıkları.
Yaklaşık beş ya da altı yıl önce IBM'in ilginç bir makalesi vardı ve Avustralya'da yaklaşık 4.000 şirkette anket yaptılar ve tüm bilgileri, tüm performans verilerini, tüm finans verilerini alıp kaynar bir tencereye koydular. Avustralya Ekonomi Okulu'na gönderdiler ve aslında burada ortak bir eğilim başlattılar ve bu da teknolojiden yararlanan şirketlerin rakiplerinin neredeyse asla yakalayamayacağı akranları ve rakiplerine göre böylesi bir rekabet avantajı elde ettikleri ve sanırım Şimdi durum, insanların neye dijital bir dönüşüm dediklerini gördüklerini gördüğümüz verilerde, sahip oldukları verileri nasıl bulabileceklerini, bu verileri kullanılabilir kılmak ve çok kolay bir sarf malzemesinde kullanıma sunmak Kuruluşun modaya ihtiyacı vardır; kuruluşun neden ihtiyaç duyduğunu her zaman bilmeden ve rakipler karşısında önemli avantajlar kazanır.
Bu slaytta görebileceğiniz birkaç örnek var. Birincisi, benim görüşüme göre, neredeyse her endüstri sektöründeki büyük çaplı bozulma, veriler tarafından yönlendiriliyor ve mevcut eğilimler bir şey olursa, benim görüşüme göre sadece gerçekten yeni kazanılmış olduğumuz. Çünkü uzun süredir devam eden markalar nihayet bunun ne anlama geldiğiyle uyanıp oyuna girdiklerinde oyuna toptan satışa girecekler. Veri dağları olan büyük perakendeciler, veriler üzerinde tarihsel bir analiz yapmaya başladıklarında, var olduğunu bilseler bile, çevrimiçi oyunculardan bazıları biraz uyandırma çağrısı alacak.
Ancak bu markaların çoğuyla, dünyadaki en büyük taksi şirketi olan Uber’e sahibiz. Taksi sahibi değiller, peki onları büyü yapan nedir, verileri nedir? En büyük konaklama sağlayıcısı olan Airbnb, dünyanın en büyük telefon şirketi olan WeChat’i kurduk, ancak gerçek bir altyapıya sahip değiller, el cihazları, telefon hatları yok. Alibaba, gezegenin en büyük perakendecisi, ancak envanterinin hiçbirine sahip değiller. , kelimenin en büyük medya şirketi. Sanırım son sayımda 1,4 milyar aktif veri kullanıcısı vardı, bu da akıllara durgunluk veren bir sayı. Yakınlarda hiçbir yerde yok - Sanırım biri gezegenin dörtte birinin aslında her gün orada olduğunu iddia etti ve yine de burada aslında içeriği oluşturmayan bir içerik sağlayıcı var, sundukları tüm veriler onlar tarafından yaratılmamış aboneler ve hepimiz bu modeli biliyoruz.
Yerel bir marka olan SocietyOne, duymuş ya da duymamış olabilirsiniz, bence birkaç ülkede eşler arası kredi veren bir banka, yani başka bir deyişle, parası yok. Tek yaptığı, işlemleri yönetmesi ve verilerin altında oturması. Netflix, hepimiz buna çok, çok aşinayız. Burada ilginç bir tek gömlek var. Netflix Avustralya’da yasal olarak kullanılabildiğinde, resmi olarak duyurulduğunda, almak için bir VPN kullanmak zorunda kalmadınız, dünyadaki birçok insan eğilimindedir - eğer yerel bölgenizde edemiyorsanız - ne zaman Netfix, Avustralya’da piyasaya sürüldü, internet bağlantılarımızdaki uluslararası bant genişliğini yüzde 40 artırdı; bu nedenle, hiçbir şey yapmadan başka hiçbir şeyi yapmadan başka bir şey yapmadan, yalnızca tek bir uygulama tarafından bulutta barındırılan bir uygulama ile Avustralya’da İnternet kullanımını neredeyse iki katına çıkardı. Bu sadece akıllara durgunluk veren bir istatistik.
Ve elbette, hepimiz Apple ve Google'a aşinayız, ancak bunlar gezegendeki en büyük yazılım işletmeleridir, ancak aslında uygulamaları yazmazlar. Tüm bu kuruluşlarla tutarlı olan şey nedir? Şey, veriler ve oraya ulaşamadılar çünkü verilerinin nerede olduğunu bilmiyorlardı ve nasıl kataloglayacağını bilmiyorlardı.
Şu an bulduğumuz şey, veri olarak adlandırılan bu yepyeni varlık sınıfının var olduğu ve şirketler bunu uyandırdığı. Ancak, her zaman bu verileri kataloglamak ve kullanılabilir kılmak için gereken tüm araçları ve bilgi birikimini ve nerede olduklarını bilmiyorlar, ancak neredeyse hiç fiziksel varlığı olmayan şirketlerin rekor sürede yüksek piyasa değeri kazandıklarını tespit ettik. Bu yeni veri varlık sınıfı aracılığıyla. Söylediğim gibi, eski oyunculardan bazıları şimdi buna uyanıyor ve kesinlikle ortaya çıkıyor.
Halkı bir yolculuğa çıkarmanın büyük bir hayranıyım, o yüzden on sekiz yüz, on sekiz yüzyılın sonlarında ve ABD pazarında buna aşina olacaksınız, bunun bir nüfus sayımı yapacağı ortaya çıktı. Her yıl ya da öylesine, her on yılda bir bu noktada koştuğunu düşünüyorum, ancak her yıl bir nüfus sayımı yapacaksanız, veri analizini yapmak sekiz ya da dokuz yıla kadar sürebilir. Bu veri setinin daha sonra kağıttaki kutularda bırakıldığı ve neredeyse hiç kimsenin bulamadığı ortaya çıktı. Sadece bu raporları dağıtmaya devam ettiler, ancak gerçek verilere ulaşmak çok zordu, 1940'larda, İkinci Dünya Savaşı ile birlikte, önemli bir an ile, benzer bir durumla karşı karşıya kaldık ve bu şey, Bletchley Park Bombe'nin, BOMBE'yi hecelediğini gösteriyor. ve küçük veri setlerinden geçecek ve içindeki sinyalleri bulabilecek ve Enigma'da kodları kırmaya yardımcı olmak için kullanılacak büyük sayıdaki bir çözümleyici analitik araçtı.
Yine bu şey, aslında katalog yapmak için değil, verileri etiketlemek ve haritalamak için tasarlanmış bir cihazdı ve veri kümeleri içerisinde kalıpları bulmayı ve bunları veri kümelerinin içinde bulmayı, bu durumda kodları kırmayı, anahtarları ve cümleleri bulmayı ve bulmayı mümkün kıldı. bunları düzenli olarak veri kümelerinde düzenliyoruz ve bu yüzden veride bir şeyler bulma ve veri kataloglama yolunda bu yolculuktan geçtik.
Ve sonra bunlar ortaya çıktı, bu devasa düşük maliyetli makineler rafları, sadece hazır makineler. Ve çok ilginç bazı şeyler yaptık ve onlarla yaptığımız şeylerden biri gezegeni endekslemeye başlayabilecek çok düşük maliyetli kümeler inşa ettik ve çok ünlü olarak gelip giden bu büyük markalar, ama muhtemelen Google'ın en yaygın evi Hepimizin duyduğu marka - bu gerçek bir fiil haline geldi ve markanız bir fiil olduğunda başarılı olduğunuzu biliyorsunuz. Ancak Google’ın bize öğrettiği, farkına varmadan, muhtemelen iş dünyasında, tüm gezegeni belli bir seviyeye endeksleyebilmeleri ve dünyanın dört bir yanındaki verileri kataloglayabilmeleri ve bunları çok kolay bir şekilde kullanabilmeleri, küçük bir satırlık formülde kullanışlı bir form, üzerinde neredeyse hiçbir şey bulunmayan bir web sayfası ve sorgunuzu yazarsınız, gider ve bulur çünkü zaten gezegeni taradılar, dizine ekleyip kolayca kullanılabilir hale getirdiler.
Ve fark ettiğimiz şey şuydu: “Bekle, örgütlerde bunu yapmıyoruz - neden bu? Neden tüm gezegeni haritalandırabilecek ve indeksleyebilecek, tarayabilecek ve indeksleyebilecek ve kullanılabilir hale getirebilecek bir organizasyona sahibiz, onu arayabiliriz ve sonra gidip onu bulacağımız şeyi tıklayabiliriz. Bunu dahili olarak yapmadı mı? ”Yani şimdi dünyada, intranetler için bunu yapan ve bunları bulabilen çok sayıda makine rafı var, ama hala geleneksel web sayfasının ötesine geçme fikriyle uğraşıyorlar. veya bir dosya sunucusu.
Şimdi bu yeni nesil veri kataloguna birçok yolla girmek yerine, post-it notları ve su soğutucusu konuşmaları yoluyla veri erişimini keşfetmek artık veri keşfi ve kataloglama için gerçekten uygun bir yöntem değil ve aslında, bunun gerçekten de olduğunu sanmıyorum. . Tüm bu zorluğa artık sadece not veren ve not gönderen ve bunun hakkında sohbet eden kişilere yol gösteremiyoruz. Veri kataloglama konusundaki bu yeni nesil yaklaşımın geldiği ve gittiği alanın ötesinde ve gerçekten iyiyiz. Silahlarımızı etrafından dolaştırmalıyız. Bu kolay bir mesele olsaydı, daha önce birçok yolla çözmüş olurduk, ama bence bu kolay bir mesele değil, sadece verileri indekslemek ve çağırmak bunun sadece bir parçası, veride ne olduğunu bilmek ve meta veriler oluşturmak keşfettiklerimizin çevresinde ve daha sonra özellikle self-servis ve analitik için kolay, tüketilebilir bir biçimde kullanıma sunmak. Hala çözülmekte olan bir problem, ancak bulmacanın beş yıl içindeki birçok kısmı iyi ve gerçekten çözüldü ve hazır.
Bildiğimiz gibi, verileri kataloglayan insanlar başarısızlık için bir reçetedir, çünkü insan hatası, veri işlemede ele aldığımız en büyük kabuslardan biridir ve bu konuda düzenli olarak konuşuyorum, benim görüşüme göre, kağıt formları dolduran insanların muhtemelen en büyük kabus olduğu Yaptıkları şeyleri sürekli düzeltmek zorunda kalmak, tarihler ve alanlar gibi basit şeylere rağmen, yanlış formatta yerleştirmek için büyük veri ve analizlerle uğraşıyoruz.
Ama dediğim gibi, internet arama motorlarının her gün dünyayı endekslediğini gördük, şimdi keşif sürecinde iş veri setlerinde yapılabileceği fikrine katılıyoruz ve araçlar ve sistemler şimdi Bugün öğrenmek üzere olduğunuz gibi hazır. Bu yüzden numara benim görüşüme göre, iş için en iyi araçları, doğru araçları seçmek. Ve daha uygun olarak, bu yolda başlamanıza yardımcı olacak doğru parçayı bulmak. Ve bugün bunu duyacağımıza inanıyorum, ama bunu yapmadan önce üniversitem Robin Bloor'a geçeceğim ve onun konuyla ilgilendiğini duyacağım. Robin, sana geçebilir miyim?
Robin Bloor: Evet, kesinlikle yapabilirsin. Bu işe yarayıp yaramadığını görelim, oh evet öyle. Tamam, gerçekten Dez'den farklı bir yönden geliyorum, ama aynı yerde olacağım. Bu, verilere bağlanmakla ilgili, bu yüzden verilere bağlanma gerçeğini tam olarak nokta nokta ilerleyeceğimi düşündüm.
Verilerin olduğundan daha fazla parçalanmış olduğu gerçeği var. Veri hacmi olağanüstü bir şekilde büyüyor, ancak gerçekte, farklı veri kaynakları da inanılmaz bir oranda büyüyor ve bu nedenle veriler her zaman giderek daha da parçalanıyor. Ancak özellikle analitik uygulamaları nedeniyle - ancak bunlar tek uygulama değil - tüm bu verilere bağlanmak için gerçekten iyi bir nedenimiz var, bu yüzden zor bir yerde kaldık, parçalı veri dünyasında sıkışıp kaldık, Dez dediği gibi yeni petrol denilen verilerde fırsat var.
Veriler hakkında, dosya sistemlerinde veya veritabanlarında, döner disk üzerinde yaşamak için kullanılır. Şimdi çok daha çeşitli bir ortamda yaşıyor, dosya sistemlerinde yaşıyor, ancak bugünlerde Hadoop örneklerinde, hatta Spark örneklerinde de yaşıyor. Birden fazla veritabanı türünde yaşar. Çok uzun zaman önce, bazı ilişkisel veri tabanlarını standart hale getirdik, son beş yılda pencereden çıktığını biliyorsunuz, çünkü belge veritabanlarına ihtiyaç var, ve bunun için grafik veritabanlarına ihtiyaç var. değişti. Bu yüzden dönen diskte yaşadı, ama şimdi SSD'de yaşıyor. En son SSD - kesinlikle en son SSD ünitesi Samsung'tan geliyor - yirmi gigabayt, ki bu çok büyük. Şimdi, bellekte yaşar, verilerin asıl kopyasının disk yerine bellekte olabileceği anlamında, böyle sistemler inşa etmek için kullanmadık; şimdi yapıyoruz. Ve bulutta yaşıyor. Bu, bunların herhangi birinde yaşayabileceği anlamına gelir, bulutta, bir bulutun neresinde olduğunu mutlaka bilmeyeceksiniz, yalnızca adresini alacaksınız.
Hadoop şu ana kadar evdekilere saldırmak için genişletilebilir bir veri deposu olmadı. Genişletilebilir bir ölçeklenebilir veri deposu haline geleceğini ve her şeyin tek bir dosya sistemi haline geleceğini umuyorduk, ve öyle olurdu - gökte, temelde ve tek boynuzlu atlar etrafında dans edeceklerdi ve hiçbiri olmadı. Bu, veri taşımacılığı sorunuyla karşı karşıya kaldığımız anlamına gelir ve zaman zaman veri taşımacılığı için bir zorunluluk yoktur, ama aynı zamanda bir zorluktur. Bugünlerde veri gerçekten de çekirdeğe sahip, bir kez çok terabaytlık veriye girdikten sonra, onu toplayıp etrafa fırlatarak, ağınızda gözüken gecikmelerin ortaya çıkmasına veya çeşitli yerlerde görünmesine neden oluyor. Verileri etrafta taşımak istiyorsanız, zamanlama bir faktördür. Günümüzde, bir şeyi bir yerden bir yere almak için ne kadar zamanınız kaldığına dair bazı sınırlamalar vardır. Eskiden pencereler olarak düşündüğümüz, makine boştayken ve ne kadar veriye sahip olursanız olun, etrafa atabilir ve her şey yoluna girebilirdi. İşte bu gitti, biz çok daha gerçek zamanlı bir dünyada yaşıyoruz. Bu nedenle zamanlama bir faktördür. Verileri taşımak istediğinizde, yerçekimi varsa, muhtemelen taşıyamazsınız.
Veri yönetimi, aslında tüm bu verileri yönetmeniz gereken bir faktördür, ücretsiz olarak alamazsınız ve verinin yapması gereken işi yapmak için verileri gerçekten almak için çoğaltma gerekebilir, çünkü koyduğun her yerde olmayacaksın. Verilerin normal bir şekilde işlenmesi için yeterli kaynağa sahip olmayabilir. Böylece veriler çoğaltılır ve veriler hayal edeceğinizden daha çoğaltılır. Biri bana uzun zaman önce, ortalama veri parçasının en az iki buçuk kez çoğaltıldığını söyledi. ESB'ler veya Kafka veri akışı için bir seçenek sunuyor, ancak bugünlerde mimarlık talep ediyor. Günümüzde, verileri bir yere atmanın ne anlama geldiğini gerçekten bir şekilde düşünmeniz gerekir. Bu nedenle, olduğu yerdeki verilere erişmek genellikle tercih edilir, tabii ki, aslında verilere giderken ihtiyaç duyduğunuz performansı elde edebileceğiniz ve aleyhte olana bağlıdır. Yani zaten zor bir durum. Veri sorgulamaları açısından, SQL açısından düşünebiliyorduk, şimdi gerçekten ortaya çıktık, biliyorsunuz, farklı sorgulama biçimleri, SQL evet, ancak bitişik, ayrıca grafik sorguları, Spark grafik yapmanın sadece bir örneğidir. çünkü aynı zamanda, yaptığımızdan daha fazla arama yapmamız gerekiyor, aynı zamanda, kalıplar için gerçekten karmaşık aramalar olan gerçek arama eşleştirmelerini ve orijinal kalıp eşleştirmelerini de düzenliyoruz. Ve hepsi yararlıdır çünkü aradığınızı size verir veya aradığınızı da alabilirler.
Günümüzde sorgular günlerce birden fazla veriye yayılmaktadır, bu nedenle bunu her zaman yapmadı ve bunu yaparsanız performans çok korkunçtur. Bu, şartlara bağlı, ancak insanlar birden fazla veri kaynağından veri sorgulayabilmeyi bekliyor, bu nedenle bir veya daha fazla veri federasyonu giderek daha güncel hale geliyor. Performansa bağlı olarak, bunu yapmanın farklı bir yolu olan veri sanallaştırma da çok yaygındır. Veri sorguları aslında tüm sürecin değil sürecin bir parçasıdır. Analitik performansına gerçekten bakıyorsanız, gerçek analitiklerin veri toplanmasından çok daha uzun süre alabileceğine dikkat etmeniz yeterlidir, çünkü bu şartlara bağlıdır, ancak veri sorguları yapmak istediğinizde mutlak bir zorunluluktur. Birden fazla veri kaynağında bir çeşit analitik ve aslında, gerçekten de bu kapasiteye sahip olmanız gerekiyor.
Yani kataloglar hakkında.Kataloglar bir nedenden ötürü var, en azından diyoruz ki, bildiğiniz gibi, dizinlerimiz var ve veritabanlarında şemalarımız var ve her bir kataloğumuz var ve nereye giderseniz gidin biz size bir yer bulacaksınız ve sonra Bir tür katalog olduğunu ve birleşik bir genel kataloğun çok açık bir fikir olduğunu söyleyebilirim. Ancak çok az sayıda şirketin böyle bir şeyi var. Hatırlıyorum, iki bin yılda - iki bin yıl panik - komünistlerin kaç tane çalıştırılabilir olduklarını bile tespit edemediklerini, kaç tane farklı veri deposuna sahip olduklarını bile umursamadıklarını ve muhtemelen şimdi durumun ne olduğunu Biliyorum, çoğu şirket küresel anlamda aktif olarak bilmiyor, hangi verilere sahip olduklarını. Ancak, aslında küresel bir katalog sahibi olmak ya da en azından veri kaynaklarının büyümesi ve uygulamaların devam eden büyümesi nedeniyle neler olup bittiğine dair küresel bir resme sahip olmak giderek daha da gerekli hale geliyor. çünkü aynı zamanda bir şekilde, ve burada soyluluk ve verilerle ilgili sorunlar gibi başka konular da var ve güvenlik için gerekli, veri yönetiminin birçok yönü, eğer gerçekten hangi verilere sahip olduğunuzu bilmiyorsanız, fikrinizi yönetecekler sadece saçma. Bu nedenle, tüm veriler bir şekilde kataloglanıyor, sadece bir gerçek. Soru, kataloğun tutarlı olup olmadığı ve aslında onunla neler yapabileceğinizdir. Bu yüzden Rebecca'ya geri döneceğim.
Rebecca Jozwiak: Tamam, teşekkürler Robin. Sırada Alation'dan David Crawford var, David devam edeceğim ve topu sana vereceğim, ve sen onu kaldırabilirsin.
David Crawford: Çok teşekkür ederim. Beni bu programda gördüğünüz için gerçekten minnettarım. Sanırım bu işe başlayacağım, bu yüzden buradaki rolümün, bu teorinin bir kısmını ele almak ve gerçekte nasıl uygulandığını ve gerçek müşterilerde kullanabileceğimiz sonuçları görüp görmek olduğunu düşünüyorum. slaytta birkaçı, analitikte muhtemelen iyileştirmelerde hangi sonuçları görebileceğimizi konuşmak istiyorum. Tartışmayı motive etmek için, oraya nasıl gittikleri hakkında konuşacağız. Bu yüzden, gerçekten zeki insanlarla, bu müşterilerle çok yakından çalıştığım için şanslıyım ve sadece gerçekten ölçebilecek birkaç kişiyi işaret etmek ve bir veri kataloğunun analistlerini nasıl etkilediği hakkında konuşmak istiyorum. iş akışı. Ve sadece kısaca ön tarafta kalmak için, veri katalogları ile önceki arabuluculuk çözümlerine karşı karşılaştığımız ve değişimin gördüğümüz şeylerden birinin, bir araya getirdiğimiz çözümlerle ilgili gerçekten düşündüklerinden birinin analistlerden başlamak olduğunu düşünüyorum. ve geriye doğru çalışın. Söylemek gerekirse, analistlerin verimliliğini sağlamak için bunu yapalım. Sadece uyumluluğun aksine ya da sadece envanter sahibi olmanın aksine, analistleri daha üretken kılan bir araç yapıyoruz.
Bu yüzden, finansal hizmetler şirketi Square'de bir veri bilimcisiyle konuştuğumda, bize bir raporun doğru veri setini bulmak için birkaç saat harcadığını, bir rapor hazırlamaya başladığını söyleyen bir adam var. Pazar payında aramayı kullanarak birkaç saniye içinde yapın, Square'i kullanan, affedersiniz, Alation kullanıyordu, ne faydalarını gördüklerini, ne faydalarını gördüklerini bulmak için Alation kullanıyordu. Yüzde verimlilik artışı ve dünyanın en iyi perakendecilerinden biri olan eBay'in düzenli olarak SQL analizi yapan binin üzerinde çalışanı var ve ben de projenin Deb Says ile yakından çalışıyorum. kendi veri araçları ekibindeki menajer ve sorgular Alation'ı benimsediğinde, bir kataloğu benimsediğinde, veritabanına karşı yeni sorgular yazma hızının iki katı olduğunu görüyorlardı.
Yani bunlar gerçek sonuçlardır, bunlar aslında kataloğu kuruluşlarında uygulayan insanlar ve ben de sizi ayarlamak için gerekenleri ele almak istiyorum. Bir şirkette bir katalog nasıl kurulur ve belki de söylenecek en önemli şey, çoğunun otomatik olarak gerçekleşmesidir, bu yüzden Dez sistemler hakkında konuştu, sistemler hakkında bilgi edindi ve bu tam olarak modern bir veri kataloğunun yaptığı şeydi. Böylece Alation'ı veri merkezlerine yüklerler ve ardından veri ortamlarındaki çeşitli meta veri kaynaklarına bağlarlar. Biraz veritabanlarına ve BI araçlarına odaklanacağım - her ikisinden de temelde var olan şey hakkında teknik meta verileri çıkaracağız. Tamam, peki hangi masalar? Hangi raporlar? Rapor tanımları nelerdir? Böylece, bu teknik meta verileri çıkarırlar ve bu sistemler içindeki her nesne için otomatik olarak bir katalog sayfası oluşturulur ve daha sonra bu teknik meta verilerin üzerine de çıkarılır ve katlanır, kullanım verisi üzerine katlanırlar. Bu esas olarak veritabanından sorgu günlüklerini okuyarak yapılır ve bu gerçekten ilginç bir bilgi kaynağıdır. Bu nedenle, ne zaman bir analist sorgu yazarsa, ne zaman bir raporlama aracı, ister evde olsun isterse raf dışında olsun, bir raporlama aracının gösterge panosunu güncellemek için bir sorgu çalıştırıp çalıştırmadığını, bir uygulama çalışacak bir veri eklemek için bir sorgu çalıştırdığında Bir veri seti - tüm bunlar veritabanı sorgu kayıtlarında tutulur. Bir kataloğunuz olup olmadığına bakılmaksızın, veritabanıyla birlikte sorgu günlüğüne kaydedilir. Bir veri kataloğunun neler yapabildiğini ve özellikle de Alations kataloğunun neler yapabildiğini bu günlükleri okumak, onların içindeki sorguları sormak ve bu günlüklere dayanarak gerçekten ilginç bir kullanım grafiği oluşturmak ve bunu gelecekteki kullanıcıları bilgilendirmek için oyuna dahil ediyoruz. Verilerin geçmiş kullanıcılarının ne kadar kullandıklarına dair verilerin
Böylece, tüm bu bilgileri bir katalogda bir araya getiriyoruz ve bu gerçeği ortaya çıkarmak için, bunlar zaten müşterilere yayılmış olan entegrasyonlardır, Oracle, Teradata, Redshift, Vertica ve diğer bir sürü gördük ilişkisel veritabanları. Hadoop dünyasında, Hadoop'ta bir dizi SQL, bir tür ilişkisel, Hadoop dosya sisteminin tepesinde bulunan meta depoları, Impala, Tez, Presto ve Hive, ayrıca Altiscale gibi bulut Hadoop özel sağlayıcıları ile başarılar gördük ve biz Tableau sunucularına, MicroStrategy sunucularına bağlanabiliyor ve buradaki gösterge tablolarını indekslemenin yanı sıra Plotly gibi veri bilimi çizelgesi araçlarıyla entegrasyonları da gerçekleştirebiliyorum.
Böylece tüm bu sistemlere bağlanıyoruz, bu sistemleri müşterilere bağladık, teknik meta verilerini çektik, kullanım verilerini çektik ve veri kataloğunu otomatik olarak hazırladık, ancak bu şekilde, bilgiyi merkezileştirmek, ancak olayları bir veri kataloğunda merkezileştirmek, kendi başına eBay, Square ve pazar payı ile bahsettiğimiz gerçekten harika verimlilik artışları sağlamaz. Bunu yapabilmek için, analistlere bilgi vermeyi düşünme biçimimizi değiştirmemiz gerekiyor. Buna hazırlanmak istedikleri sorulardan biri “Katalog aslında bir analistin iş akışını nasıl etkiliyor?” İdi.
Bütün gün bunu düşünerek geçirdiğimiz ve düşünmedeki bu değişimden bahsetmek için, bir çekme modelindeki itme modelinden bahsetmek için, bir Kindle'da okumadan önce ve sonra dünyanın nasıl olduğuna hızlı bir benzetme yapmak istedim. Bu sadece bazılarınızın yaşayabileceği bir deneyim, fiziksel bir kitap okurken, bir kelimeyle karşılaşıyorsunuz, o kelimenin tanımını çok iyi bildiğinizden emin değilsiniz, belki de con dan tahmin edebilirsiniz. kanepeden kalkacak, kitaplığınıza doğru yürüyecek, sözlüğünüzü bulun, tozunu alacak ve kelimelerin alfabetik sıralamasında doğru yere çevirerek emin olmak için, evet, tam olarak bu tanımı yaptınız ve nüansları. Bu yüzden gerçekten olmaz. Yani bir Kindle uygulaması satın alıyorsunuz ve orada kitap okumaya başlıyorsunuz ve tamamen emin olmadığınız bir kelimeyi görüyorsunuz ve kelimeye dokunuyorsunuz. Aniden, aynı ekranda, kelimenin nüansları, farklı örnek kullanımları ile kelimenin sözlük tanımı, biraz kaydırıyorsunuz ve bu konuda bir Wikipedia makalesi alıyorsunuz, tekrar kaydırıyorsunuz, başka dillere veya diğer dillerden çevirebilen bir çeviri aracı elde edersiniz ve aniden tüm dil bilginiz o kadar zengin olur ve gitmeniz gereken zamana kıyasla şaşırtıcı bir şekilde gerçekleşir. bu kaynağı kendin için çek.
Ve tartışacağım şey şu ki, bir analistin iş akışının ve bir analistin veri dokümantasyonu ile ilgilenme şeklinin aslında bir okuyucunun sözlükle nasıl etkileşimde bulunacağına, fiziksel bir tanesine ya da Kindle, peki biz bu üretkenliği artırdığımızı gerçekten gördüğümüz şey, kataloğu dökmek değil, analistin iş akışına bağlamak ve benden burada bir demo yapmamı istediler ve ben de istiyorum bu sunumun odağını yapmak. Ama ben sadece demo için aleyhtarı ayarlamak istiyorum. Veri bilgisini kullanıcılara ihtiyaç duyduklarında zorlamayı düşündüğümüzde, bunu yapmanın doğru yer olduğunu, zamanlarını harcadıkları ve analizi yaptıkları yerlerin bir SQL sorgu aracı olduğunu düşünüyoruz. SQL sorguları yazıp çalıştırdığınız bir yer. Ve böylece bir tane yaptık, ve onu yaptık ve diğer sorgu araçlarından gerçekten farklı olan şey, veri kataloğu ile derinlemesine entegrasyonu.
Böylece sorgu aracımıza Alation Compose denir. Onun web tabanlı bir sorgu aracı ve Ill sana bir saniye içinde göstereyim. Önceki slaytta gördüğünüz tüm veritabanı logolarında çalışan web tabanlı bir sorgu aracı. Özellikle demoyu denemeye çalışacağım şey, katalog bilgilerinin kullanıcılara gelme şeklidir. Ve bunu bu üç farklı yoldan yapıyor. Müdahaleler yoluyla bunu yapar ve bir veri yöneticisi olan birinin ya da bir veri yöneticisinin ya da bir şekilde bir yöneticinin ya da bir yöneticinin bir yöneticinin “Bir not ya da bir uyarı ile etkileşime girmek istiyorum. iş akışını ve kullanıcılara doğru zamanda ulaştığından emin olun. ”Bu bir müdahale ve iyi olduğunu gösteriyor.
Akıllı öneriler, aracın katalog hakkındaki tüm bilgisini, bir sorgunun nesnelerini ve parçalarını yazdığınız gibi önermek için kullandığı bir yoldur. Bunu bilmek en önemli şey, bunu yapmak, kullanıma dayalı şeyler önermek ve ayrıca daha önce yazılmış olan sorgu bölümlerini bile bulmak için sorgu günlüğünden gerçekten faydalanmasıdır. Ve bunu göster.
Ve sonra önizlemeler. Önizlemeler, bir nesne adına yazdığınız gibi, size kataloğun bildiği her şeyi veya en azından kataloğun o nesne hakkında bildiği en alakalı şeyleri gösteririz. Böylece daha önce kullanmış olan verinin örnekleri, o nesnenin mantıksal adı ve açıklaması, siz istemek zorunda kalmadan yazarken, hepsi size gelir.
Bu yüzden daha fazla konuşmadan, demoya gideceğim ve sadece ortaya çıkmasını bekleyeceğim. Size burada göstereceğim şey, sorgu aracıdır. Onun adanmış bir SQL yazma arayüzü. Katalogdan ayrı bir arayüz, belirli bir anlamda. Dez ve Robin katalogdan bahsetti ve ben doğrudan iş akışına hizmet etmek için nasıl doğrudan girdiği üzerine katalog arayüzünün üzerinden atlıyorum.
Burada sadece SQL yazabileceğim bir yer gösteriyorum ve en altta referans alan nesneler hakkında görünen bazı bilgilerimiz olduğunu göreceksiniz. Bu yüzden sadece bir sorgu yazmaya başlayacağım ve bu müdahalelerden birine girdiğimde ben de duracağım. Bu yüzden Ill "select" yazın ve yılı istiyorum. Adı istiyorum. Ve bazı maaş verilerini arayacağım. Yani bu bir eğitim veri seti. Yükseköğretim kurumları hakkında bilgi sahibi ve bu tablolardan birindeki ortalama fakülte maaşına bakıyorum.
Bu yüzden aslında “maaş” kelimesini yazdım. Bu tam olarak bu şekilde sütun adına değil. Öneriler yapmak için hem mantıksal meta verileri hem de fiziksel meta verileri kullanırız. Ve burada belirtmek istediğim, burada görünen sarı kutu. Bu sütunda bir uyarı varmış. Bunu aramaya gitmedim, bu verilerin doğru kullanılması konusunda bir ders almadım. Bana geldi ve bu verilerle yapılması gereken bir gizlilik sözleşmesi hakkında bir uyarı oldu. Dolayısıyla bazı açıklama kuralları vardır. Bu verileri sorgulayacağım, bu tablodan veri alacağım, nasıl açıkladığım konusunda dikkatli olmalıyım. Demek burada bir yönetim politikanız var. Verilere baktığım zaman bildiğimde bu politikaya uymayı çok daha kolaylaştıran bazı uyumluluk zorlukları var.
Bu yüzden bana gelmesini sağladım ve daha sonra da öğrenime bakacağım. Ve burada önizlemelerin devreye girdiğini görüyoruz. Bu öğrenim sütununda kurum masasında bir öğrenim sütunu görüyorum ve bunun bir profilini görüyorum. Alation gider ve örnek verileri tablolardan çeker ve bu durumda, bana oldukça ilginç bir şey gösteriyor. Bana değerlerin dağılımını gösteriyor ve bana örneklerin sıfır değerinin 45 kat, diğer değerlerden daha fazla olduğunu gösteriyor. Bu yüzden bazı verileri eksik olabileceğimize dair bir fikrim var.
Eğer gelişmiş bir analistim, o zaman bu zaten iş akışımın bir parçası olabilir. Özellikle çok titiz bir kişiysem, önceden bir sürü profil sorgusu yapacağım. Ne zaman yeni bir veri parçasına yaklaşsam, daima veri kapsamımızın ne olduğunu düşünüyorum. Ancak veri analizinde yeniysem, bu veri kümesinde yeniysem, bir sütun varsa, her zaman doldurulduğunu varsayabilirim. Ya da doldurulmazsa, sıfır değil, boş ya da onun gibi bir şey olduğunu varsayabilirim. Fakat bu durumda, çok fazla sıfırımız var ve eğer ortalamam olsaydı, bu sıfırların eksik veriler yerine aslında sıfır olduğunu varsayarsam muhtemelen yanlış olurlardı.
Fakat Alation, bu önizlemeyi iş akışınıza sokarak, sizden bu bilgilere bir göz atmanızı ister ve hatta acemi analistlere bile bu verilerle ilgili burada dikkat çekecek bir şey olduğunu görmek için bir şans verir. Yani bu önizleme bizde.
Yapacağım bir sonraki şey, bu bilgiyi almak için hangi tabloları bulmaya çalışacağım. Yani burada akıllı önerileri görüyoruz. Her zaman gidiyordu, ama özellikle burada, hiçbir şey bile yazmadım, ancak bu sorgu için hangi tabloları kullanmak istediğimi önerecek. Ve bununla ilgili bilmek en önemli şey kullanım istatistiklerinden faydalanmasıdır. Bu nedenle, örneğin, tek bir veritabanında yüz binlerce tablonun bulunduğu eBay gibi bir ortamda, buğdayı samandan çekebilecek bir araca sahip olmak ve bu kullanım istatistiklerini kullanmak gerçekten önemlidir. Bir şey değer önerileri.
Bu yüzden bu tabloyu önerecek. Önizlemeye baktığımda, sorguda daha önce bahsettiğim üç sütunu vurguladık. Bu yüzden biliyorum ki üç tane var, ama adı yok. Adı almam gerek, o yüzden bir katılacağım. Katıldığımda, şimdi tekrar bulmama yardımcı olacak bu önizlemeler var, adın bulunduğu tablo nerede. Bu yüzden bunun güzel bir biçimde biçimlendirilmiş, uygun şekilde büyük harfle yazılmış bir adı olduğunu görüyorum. Her kurum için bir isme sahip bir satır var gibi görünüyor, bu yüzden bunu alacağım ve şimdi bir katılma şartına ihtiyacım var.
Ve böylece, burada Alation'ın yaptığı şey sorgu kayıtlarına tekrar bakmak, bu iki tablonun daha önce katıldığı zamanları görmek ve onlara katılmak için farklı yollar önermektir. Bir kez daha, bazı müdahaleler var. Bunlardan birine bakarsam, bunun yalnızca toplu analiz için kullanılması gerektiğini gösteren bir uyarı var. Kurumdan kurumda bir şeyler yapmaya çalışıyorsanız, muhtemelen yanlış olanı üretecektir. Oysa ki bu, OPE İD ile, üniversite düzeyinde veri istiyorsanız, bu iki tabloya katılmanın doğru yolu olarak onaylandı. Bu yüzden bunu ve kısa bir sorguyu yapıyorum, ancak sorgunun verinin ne olduğuna dair hiçbir fikrimiz olmadan yazdım. Asla bu veri setinin bir ER diyagramına bakmadım, ancak ilgili veriler bana geldiği için zaten bu veriler hakkında çok şey biliyorum.
Dolayısıyla bunlar, bir kataloğun, entegre bir sorgu aracı aracılığıyla, sorguları yazarken iş akışını doğrudan etkileyebileceği üç yöntemdir. Ancak, bir katalogla bütünleşik bir sorgulama aracına sahip olmanın diğer yararlarından biri de, sorgumu bitirdiğimde ve kaydettiğimde, “Enstitü Öğrenimi ve Fakülte Maaşı” gibi bir başlık koyabildiğim ve sonra burada bir düğmeye sahip olduğum. sadece katalogda yayınlamama izin veriyor. Bunu geri beslemek benim için çok kolaylaşıyor. Yayımlamamama rağmen, sorgu günlüğünün bir parçası olarak yakalanmasına rağmen yayınladığımda, aslında tüm veri bilgilerinin yaşadığı merkezi bir yerin bir parçası haline geliyor.
Bu nedenle, Alation'daki tüm sorguları ara'yı tıklarsam, alınacağım - ve burada katalog arayüzünün biraz daha fazlasını göreceksiniz - Bana tüm kuruluştaki sorguları bulmanın bir yolunu gösteren özel bir sorgu aramaya götürüleceğim. Ve yeni yayınladığım sorgunun en üstte olduğunu görüyorsunuz. Bazıları burada sorguları yakaladığımızda, yazarları da yakaladığımızı fark edebilir ve bir yazar olarak benimle bu konuda bir şey bildiğim bu veri nesneleri arasında bir ilişki kurduk. Ve bu sorguda ve bu veri nesnelerinde uzman olarak kuruluyorum. Bu, insanların veriyi öğrenmesi gerektiğinde gerçekten yararlıdır, o zaman gidip öğrenmek için doğru kişiyi bulabilirler. Ve eğer verilerde gerçekten yeniysem, ister gelişmiş bir analistim, ister gelişmiş bir analist olsun, buna bakabilir ve beni yeni bir veri setine başlatacak bir dizi örnek görebilirim. SQL ile süper anlayışlı hissetmeyen biri olarak, yararlanabileceğim raporlar olan önceden yapılmış sorguları bulabilirim.
Heres ortanca SAT puanları hakkında Phil Mazanett tarafından. Buna tıklayın, sorgunun kendisi için bir katalog sayfası alıyorum. Bu sorguyu referans alan bir makale hakkında konuşuyor, bu yüzden nasıl kullanacağımı öğrenmek istersem okumam için bazı belgeler var. Ve Oluştur düğmesini tıklatarak sorgu aracında açabilirim ve düzenlemeyi bile yapmadan kendim çalıştırabilirim. Ve aslında, hafif raporlama yeteneklerimizden biraz görebiliyorsunuz, burada, bir sorgu yazarken, böyle bir şablon değişkenini bırakabilirsiniz ve bir sorguyu temel alan bir sorguyu yürütmek için bir form oluşturmak için basit bir yol oluşturur. birkaç parametre.
Yani demo için sahip olduğum bu. Slaytlara geri döneceğim.Aynen bir özetleme yapmak için, bir veri yöneticisi olan bir yöneticinin, sorgu aracında görünen nesnelere nasıl uyarılar yerleştirerek müdahale edebileceğini, Alation'ın veri nesnelerini kullanma konusundaki bilgisini akıllı önerilerde bulunmak için nasıl kullandığını, nasıl getirdiğini gösterdik. Belirli nesnelere dokunduklarında analistlerin iş akışlarını iyileştirmek için profil oluşturma ve diğer ipuçlarını ve yeni sorgular yazıldığında bu tür beslemelerin kataloğa geri beslenmelerini sağlar.
Açıkçası, şirket adına bir sözcüyüm. Veri katalogları hakkında güzel şeyler söyleyeceğim. Doğrudan müşterilerimizden birinden haber almak istiyorsanız, Safeway'deki Kristie Allen, bir analist ekibini yönetiyor ve bir pazarlama denemesi yapmak için saati gerçekten yenmesi gerektiğine dair bir zaman hakkında gerçekten harika bir hikayesi var. ekibi bu projede gerçekten hızlı bir şekilde işbirliği yapmak ve geri adım atmak için Alation'ı kullandı. Böylece, bu habere göz atmak için bu bit.ly bağlantısını takip edin ya da Alation'ın bir veri kataloğunu kuruluşunuza nasıl getirebileceği hakkında bir şeyler duymak isterseniz, kişiselleştirilmiş bir demo ayarlamaktan mutluluk duyarız. Çok teşekkürler.
Rebecca Jozwiak: Çok teşekkürler David. Dez ve Robin’in birkaç soru sorduğuna eminim. Dez, önce gitmek ister misin?
Dez Blanchfield: Kesinlikle. Bu yayınlanan sorgular kavramı ve onu tekrar yazmanın kaynağına bağlamayı düşünüyorum. Uzun zamandır şirket içi bir uygulama mağazası fikrinin şampiyonu oldum ve bunun üzerine inşa etmek için gerçekten harika bir temel olduğunu düşünüyorum.
Bunu görmeyi düşündüğünüz bazı organizasyonlar ve bu veri yolculuğu için yalnızca araç ve platformdan faydalanma yolunda değil, aynı zamanda verileri kullanmak için sahip olabileceği bazı başarı hikayeleri hakkında da biraz bilgi edindim. iç kültürel ve davranışsal özelliklerini çevreye çevirir. Şimdi sadece indirebileceğiniz bu tür bir uygulama mağazasına sahip olmak, sadece onu bulamayacakları bir konsept, ancak bu bilgiyi koruyan kişilerle küçük topluluklar geliştirmeye başlayabilirler.
David Crawford: Evet, sanırım şaşırdık. Hem geçmişte hem de Adtech'te ürün müdürü olarak ve konuştuğum tüm müşterilerden soru paylaşımının değerine inanıyoruz, ancak müşterilerin ilk konuştukları şeylerden biri olarak ne sıklıkta konuştuğuna hala şaşırdım. Alation dışına aldıkları değeri.
Sorgu aracının Invoice2go adlı müşterilerimizden birinde bazı kullanıcı testleri yapıyordum ve nispeten yeni olan bir ürün yöneticisine sahiptiler ve dediler - aslında bana, kullanıcı testi sırasında izinsiz olarak “aslında yazmadım” dedi. Bunun dışında SQL, Alation ile kolaylaştı. ”Ve elbette, Başbakan olarak,“ Neyi kastediyorsunuz, bunu nasıl yaptık? ”Dedi. oturum açabilir ve mevcut tüm sorguları görebilirim. ”SQL ile boş bir sayfa açmak, yapmak için inanılmaz derecede zor bir şeydir, ancak ortaya çıkan sonucu görebileceğiniz ve“ , Sadece bu ekstra sütuna ihtiyacım var ”veya“ Bunu belirli bir tarih aralığına göre filtrelemeliyim ”, bu çok daha kolay bir şey.
Ürün yöneticileri gibi bu yardımcı rollerin bir türünü gördük, belki de satış operasyonlarında yer alan kişiler almaya başladılar ve her zaman SQL öğrenmek ve bu kataloğu kullanarak almaya başlıyorlardı. Ayrıca pek çok şirketin bir tür açık kaynak yapmaya çalıştığını da gördük. Bu tür şeyleri dahili olarak inşa etmeye çalıştım, sorguları takip edip kullanılabilir hale getirmeye çalıştım ve bu nedenle onları yararlı kılmak için gerçekten zor tasarım zorlukları yaşadım. Hive'da adı geçen, Hive ile yazılmış tüm sorguları yakalayan bir tür aracı var, ancak bulduğunuz şey, kullanıcıları doğru şekilde dürtmek istemezseniz, çok uzun bir listeyle sonuçlanmanız. Seçme ifadeleri Bir sorgunun benim için yararlı olup olmadığını anlamaya çalışan bir kullanıcı olarak veya herhangi bir yararı varsa, sadece uzun bir seçme ifadeleri listesine bakarsak, değerinden bir şey elde etmem daha uzun sürecektir. en baştan başlamak. En doğru şeyi öne çıkaran ve yararlı bir şekilde sağlayan bir sorgu kataloğunun nasıl yapıldığını oldukça dikkatlice düşündük.
Dez Blanchfield: Bence hepimiz bu yolculuktan çok genç yaşlardan yetişkinliğe kadar birçok yönden geçiyoruz. Bir sürü teknoloji. Ben, şahsen kendim, kodları kesmeyi öğrenmek gibi aynı gerçek şeyi yaşadım. Dergilerden ve ardından kitaplardan geçeceğim ve belirli bir seviyeye çalışacağım ve sonra gidip gerçekten biraz daha eğitim ve öğretim almak zorunda kaldım.
Ama istemeden kendime ders vermekten, dergi okumaktan, kitap okumaktan ve diğer halkların programlarını kesmekten ve bununla ilgili derslere gitmekten bile geçerken, diğerleriyle konuştuğum gibi dersleri yapmaktan hala bir şeyler öğrendim. Bazı deneyimleri olan insanlar. Ve bunun veri analitiğine getirdiğinize göre ilginç bir keşif olduğunu düşünüyorum, temelde aynı paralelliği görüyorsunuz, insanlar her zaman zekice.
Gerçekten anlamaya istekli olduğum bir diğer şey, çok yüksek bir düzeyde, birçok kuruluş “Bu noktaya ulaşmak ne kadar sürüyor?” Diye soruyor. İnsanlar platformunuzu aldığında devrilme noktası ne kadar sürüyor? yüklü ve araç türlerini keşfetmeye başladılar? İnsanlar bu şeyi ne kadar çabuk görüyorlar ki, gerçek bir “a-ha” anına dönüşüyorlar, artık yatırım getirisi için endişelenmediklerini, çünkü orada olduklarını, ancak şimdi aslında iş yapma biçimini değiştirdiklerini fark ediyorlar? Kayıp bir sanat keşfettiler ve onunla gerçekten çok eğlenceli bir şey yapabilmelerini bekliyorlar.
David Crawford: Evet, ona biraz dokunabilirim. Kurulduğumuzda, insanların veri sistemlerine doğrudan bağlı olan bir katalog hakkında sevdikleri şeylerden biri olan hoş şeylerden birinin, sayfa sayfalarını doldurmak istediğiniz yerde boş başlamamış olduğunuzu düşünüyorum. sayfa. Ve bu, boş bir araçla başladığınız ve belgelemek istediğiniz her şey için bir sayfa oluşturmaya başlamanız gereken önceki veri çözümleri için de geçerlidir.
Meta verileri çıkartarak otomatik olarak birçok şeyi belgelememizden, temel olarak yazılımı kurduktan sonraki birkaç gün içinde, veri ortamınızın araçta en az yüzde 80'i olduğu bir resmini elde edebilirsiniz. Ve sanırım insanlar araçla sorgu yazmaya başlar başlamaz, otomatik olarak kataloğa geri kaydedilirler ve böylece ortaya çıkmaya başlarlar.
Bunu belirtmek için fazla istekli olmak istemiyorum. Bence iki hafta bir ay boyunca oldukça iyi bir muhafazakâr tahmin. İki aydan bir aya kadar, geriye dönüp gerçekten değer kazandığınızı ve bundan değer kazanıyormuş gibi hissettiğinizin muhafazakar tahmini, bazı bilgileri paylaşmaya başladığınız ve oraya gidip verileriniz hakkında bir şeyler öğrenebildiğiniz gibi.
Dez Blanchfield: Gerçekten, düşündüğünüz zaman hayret verici. Etkin bir şekilde indeksleme ve kataloglama yaptığınız büyük veri platformlarından bazılarının doğru şekilde uygulanması ve devreye alınması ve ayağa kalkması bazen zaman alabilir.
Robin Bloor'a teslim etmeden önce sana son sorduğum soru, bağlayıcılar. Bana hemen atlayan şeylerden biri, tüm zorlukların çözüldüğünü açıkça gösteriyor. Bu yüzden birkaç soru çok hızlı bir şekilde var. Birincisi, konektörler ne kadar hızlı uygulanır? Açıkçası, Oracles ve Teradatas ve benzeri gibi en büyük platformla başlıyorsunuz ve DB2'ler. Ancak, yeni konektörlerin ne kadar düzenli olduğunu görüyorsunuz ve hangi geri dönüş süresini alıyorlar? Onlar için standart bir çerçevenin olduğunu hayal ediyorum. Ve bunlara ne kadar derinden girersin? Örneğin, dünyanın Oracles ve IBM'leri ve hatta Tereadata ve daha sonra geç açık kaynaklı platformların popülerlerinden bazıları. Doğrudan sizinle mi çalışıyorlar? Kendin mi keşfediyorsun? Bu platformlar hakkında içeriden bilgi sahibi olmak zorunda mısınız?
Bir bağlayıcı geliştirmenin nasıl bir yolu var ve bu bağlantıların mümkün olan her şeyi keşfetmesini sağlamak için bu ortaklıklara ne kadar derin girdiniz?
David Crawford: Evet, elbette, bu harika bir soru. Bence çoğu zaman, bağlayıcıları geliştirebileceğimizi düşünüyorum. Genç bir başlangıçken ve hiç müşterimiz olmadığı zaman kesinlikle yaptık. Herhangi bir iç erişime ihtiyaç duymadan bağlantıları kesinlikle geliştirebiliriz. Kamuya açık olmayan ve genellikle herhangi bir iç bilgiye ihtiyaç duymadan veri sistemlerine hiçbir zaman özel erişim sağlayamayız. Veri sistemlerinin kendileri tarafından sunulan meta veri hizmetlerinden yararlanıyoruz. Genellikle bunlar oldukça karmaşık ve birlikte çalışması zor olabilir. Özellikle SQL Server'ı, sorgu günlüğünü yönetme biçimlerini, birkaç farklı yapılandırmayı ve gerçekten üzerinde çalışmak zorunda olduğunuz bir şeyi biliyorum. Nüansları ve topuzları anlamanız ve onu düzgün bir şekilde ayarlamak için onu aramanız gerekir ve bu, müşterilerimizle birlikte çalıştığımızdan beri birkaç kez yaptığımız bir şeydir.
Ancak, bir dereceye kadar, mevcut olan kamu API'leri veya kaldıraçlı olan mevcut kamu arayüzleri. Bu şirketlerin birçoğu ile ortaklığımız var, bunlar çoğunlukla sertifikasyon için bir gerekçedir, böylece çalıştığımızı söyleyerek kendilerini rahat hissederler ve ayrıca test için bize kaynaklar sağlayabilirler, bazen erken bir zamanda bu teknolojiden emin olmak için ortaya çıkan bir platforma erişebilirler. yeni sürümler üzerinde çalışıyoruz.
Yeni bir bağlantı kurmak için muhafazakar olmaya çalışarak tekrar söylerim, altı haftadan iki aya kadar söyleyelim. Ne kadar benzer olduğuna bağlı. Bu yüzden bazı Postgre işleri Redshift'e çok benziyor. Redshift ve Vertica, ayrıntılarının çoğunu paylaşıyor. Böylece bu şeylerden faydalanabiliriz. Ama evet, altı haftadan iki aya kadar adil olur.
Ayrıca, API'larımız da var, yani - Alation'ı bir meta veri platformu olarak da düşünüyoruz, bu nedenle, eğer ulaşmamız ve otomatik olarak kapmamız için elimizde mevcut olmayan herhangi bir şey varsa, konektörü kendiniz yazmanın ve sistemimize itmenin yollarını bulabilirsiniz. Her şeyin hala tek bir arama motorunda merkezileştiğini.
Dez Blanchfield: Fantastik. Buna minnettarım. Böylece onu Robin'e verecektik, çünkü eminim bir sürü soru da var. Robin?
Rebecca Jozwiak: Robin sessiz olabilir.
Dez Blanchfield: Kendini sessize aldın.
Robin Bloor: Evet, doğru. Üzgünüm, kendimi kapattım. Bunu uyguladığınızda, süreç nedir? Merak ediyorum çünkü birçok yerde çok fazla veri olabilir. Peki bu nasıl çalışıyor?
David Crawford: Evet tabi. İlk olarak, sunucularımızın sağlandığından emin olma, ağ bağlantılarının mevcut olduğundan, bağlantı noktalarının açık olduğundan ve böylece sistemlere erişebildiğimizden emin olma gibi bir BT sürecinden geçiyoruz. Hepsi genellikle hangi sistemle başlamak istediklerini biliyor. Bir veri sisteminin içini bilmek, ki bu - ve bazen biz aslında onlara yardım edeceğiz. Bir sistemde kimin ve ne kadar kullanıcısı olduğunu kimlerin kullandıklarını anlamak için, sorgu kayıtlarına ilk bakışlarını yapmalarına yardımcı olun. Öyleyse, nerede olduklarını öğrenmeye yardımcı olun - sık sık, veritabanlarına giriş yapan yüzlerce veya binlerce insan varsa, gerçekte nereye giriş yaptıklarını bilmezler, böylece kaç tane benzersiz kullanıcı hesabının ne yaptığını öğrenebiliriz. Aslında bir ay içinde oturum açıp sorguları burada çalıştırıyorsunuz.
Bundan faydalanabiliriz, ancak çoğu zaman sadece en önemlilerinden. Onları kurarız ve sonra "Öncelik belirleyelim" deme süreci vardır. Paralel olarak gerçekleşebilecek bir dizi aktivite var. Sorgu aracını kullanma eğitimine odaklanırdım. İnsanlar sorgu aracını kullanmaya başladıktan sonra, her şeyden önce, pek çok insan, farklı sistemlerin hepsinin sadece tek bir arabirim olduğu gerçeğini sever. Ayrıca web tabanlı, istemiyorlarsa herhangi bir kurulum gerektirmediğini de seviyorlar. Bir güvenlik açısından, bir ağ açısından, bir tür bir BT ağı ile üretim veri kaynaklarının yaşadığı veri merkezi arasında tek bir giriş noktasına sahip olmayı severler. Böylece, Alation'ı bir sorgu aracı olarak kuracaklar ve tüm bu sistemler için Compose'u bir erişim noktası olarak kullanmaya başlayacaklar.
Dolayısıyla, bu gerçekleştiğinde, eğitimde odaklandığımız şey, web tabanlı ya da sunucu tabanlı bir sorgu aracı ile masaüstünüzde olanlardan biri arasındaki farkların ne olduğunu ve bazılarını kullanmanın nüanslarını anlamaktır. Aynı zamanda, en iyi şekilde yapmaya çalışmak, sorgu günlüğü bilgilerinden tekrar yararlanarak en değerli verileri tanımlamak ve “Hey, içeri girmek ve insanların bunları anlamalarına yardımcı olmak isteyebilirsiniz. Bu tablolarda temsili sorguları yayınlamaya başlayalım. ”Bu, insanları çok hızlı bir şekilde eğlendirmenin en etkili yoludur. Kendi sorgu geçmişinize bakalım, ilk sorguları göstermeleri için bunları yayınlayın. İnsanlar bir tablo sayfasına baktığında, o masaya dokunan tüm sorguları görebilir ve oradan başlayabilirler. Ve sonra bu nesnelere başlıklar ve açıklamalar eklemeye başlayalım; böylece bulmaları ve aranmaları kolaylaşır, bu sayede nasıl kullanılacağına dair nüansları bilirsiniz.
Sorgu günlüğüne derinlemesine bir göz attığımızdan emin oluruz ki böylece soy oluşturabiliriz. Yaptığımız şeylerden biri, verilerin bir tablodan diğerine taşındığı zamanlarda sorgu günlüğüne bakmamız ve bu bir veri tablosu hakkında en sık sorulan sorulardan birini vermemize izin veriyor, bunun nereden geldiği? Buna nasıl güvenirim? Ve gösterebileceğimiz şey, sadece hangi tablolardan geldiğini değil, aynı zamanda bu dönüşümü nasıl gerçekleştirdiğidir. Yine, bu sorgu günlüğü tarafından desteklenmektedir.
Böylece, bu şeylerin kurulduğundan ve sisteme girdiğinden ve masa sayfalarında oluşturduğumuz en değerli ve en yüksek kaldıraçlı meta veri parçalarını hedef aldığından emin oluyoruz. yararlı bir şey bulursun.
Robin Bloor: Tamam. Diğer soru - izleyiciden çok fazla soru var, bu yüzden burada çok fazla zaman almak istemiyorum - aklıma gelen diğer soru, sadece acı noktaları. Birçok yazılım satın alındı, çünkü insanlar bir şekilde veya başka bir şeyle zorluk yaşıyor. Peki insanları Alation'a götüren ortak acı noktası nedir?
David Crawford: Evet. Bir kaç tane olduğunu düşünüyorum, ama sıkça duyduğumuzlardan birinin analist onboarding olduğunu düşünüyorum. “Kısa vadede 10, 20, 30 kişiyi işe almam gerekecek, bu verilerden yeni bir içgörü üretmek zorunda kalacaklar, nasıl hızlanacaklar?” Yani analist onboarding kesinlikle başa çıkacağımız bir şey. Ayrıca kıdemli analistlerin zamanlarının tamamını diğer insanlardan gelen verilerle ilgili soruları yanıtlayarak geçirmelerini engelliyorlar. Bu da çok sık olanı. Ve her ikisi de esasen eğitim sorunudur.
Ve sonra, Alation'ı benimseyen insanların, çalışacak birileri için yepyeni bir veri ortamı oluşturmak istedikleri zamanlar olduğunu söyleyeceğim. İnsanların faydalanabilmesi için bunu dahili olarak tanıtmak ve pazarlamak istiyorlar. O zaman Alation'ı yeni analitik ortama ön uç yapan yapmak çok çekici. Belgeleri aldı, sistemlere tek bir erişim noktası olan ve böylece insanların bize geleceği başka bir yer olan giriş noktasına tek bir giriş noktası oldu.
Robin Bloor: Tamam, seni Rebecca'ya aktaracağım çünkü seyirciler sana ulaşmaya çalışıyor.
Rebecca Jozwiak: Evet, burada gerçekten çok iyi izleyici sorularımız var. Ve David, bu sana özel olarak pozlandı. Görünüşe göre insanlar hakkında bazı yanlış soruları yanlış deneyimleyen birinden geliyor ve kullanıcıları ne kadar güçlendiriyorsak, bilgi işlem kaynaklarının sorumlu kullanımını yönetmenin o kadar zor olduğunu söylüyor. Öyleyse yanlış yönlendirilmiş ancak yaygın sorgu cümlelerinin yayılmasına karşı savunabilir misiniz?
David Crawford: Evet, bu soruyu görüyorum. Bu harika bir soru - sıkça karşılaştığımız bir soru. Acıyı, kullanıcıları eğitmeniz gereken önceki şirketlerde gördüm. Örneğin, “Bu bir günlük tablosu, günlükleri yıllarca geriye gidiyor. Eğer bu masaya bir sorgu yazacaksanız, gerçekten tarihe göre sınırlandırmanız gerekiyor. ”Örneğin, veritabanına erişim izni vermeden önceki bir şirkette geçirdiğim bir eğitim.
Bunu ele almaya çalışmamızın birkaç yolu var. Sorgu günlüğü verisinin, onu ele almak için gerçekten benzersiz olduğunu düşünüyorum. Veritabanının sorgu planlayıcısı ile dahili olarak ne yaptığı konusunda başka bir fikir verir. Ve yaptığımız şey, bu müdahalelerden biri - gösterdiğim manuel müdahalelerimiz var ve bu yararlı, değil mi? Böylece, belirli bir birleşimde, örneğin, "Buna itiraz edelim" diyebilirsiniz. Akıllıca bir önerme göründüğünde büyük bir kırmızı bayrak olacak. Yani bu insanlara ulaşmaya çalışmanın bir yolu.
Yaptığımız bir diğer şey de, yürütme zamanı müdahalelerinde otomatikleştirilmiş. Bu aslında sorgunun ayrıştırma ağacını kullanmaya başlamadan önce kullanacak, belli bir süzgeç veya orada yaptığımız birkaç başka şey içeriyor mu? Ancak en değerli olanlardan biri ve açıklanması en basit olanı, bir filtre içeriyor mu? Bu yüzden, şimdi verdiğim örnekte olduğu gibi, bu günlük tablosu, eğer sorgulayacaksanız, bir tarih aralığına sahip olmanız gerekiyorsa, oradaki tablo sayfasında, o tarih aralığı filtresinin uygulanmasını zorunlu kılacağınızı belirtebilirsiniz. Birisi bu filtreyi içermeyen bir sorgu çalıştırmaya çalışırsa, aslında onları büyük bir uyarı ile durduracak ve “Muhtemelen sorgunuza böyle görünen bir SQL eklemelisiniz” diyecektir. İsterlerse devam edebilirler. . Onları kullanmaktan tamamen yasaklanmayacak mıydı - onun da sorgusu, günün sonunda sorguları çalıştırmak zorunda kaldı. Ancak önlerine oldukça büyük bir engel koyduk ve performanslarını artırmak için sorguyu değiştirmek için somut bir öneri, onlara bir öneride bulunduk.
Aslında bazı durumlarda, yine de sorgu günlüğünü gözlemleyerek bunu otomatik olarak yapıyoruz. Bu tablodaki gerçekten büyük bir sorgu yüzdesinin belirli bir filtreden veya belirli bir birleştirme yan tümcesinden yararlandığını görürsek, o zaman aslında bunu ortaya çıkar. Bunu bir müdahaleye teşvik et. Aslında, iç veri setinde başıma geldi. Müşteri verilerimiz var ve kullanıcı kimlikleri var, ancak kullanıcı kimliği ayarlandı, türünden beri - her müşteride kullanıcı kimliği var. Benzersiz değil, bu yüzden benzersiz bir birleştirme anahtarı almak için bir müşteri kimliği ile eşleştirmeniz gerekir.Bir sorgu yazıyordum ve bir şeyi analiz etmeye çalıştım ve belirdi ve “Hey, herkes bu tablolara hem müşteri kimliği hem de kullanıcı kimliği ile katılıyor gibi görünüyor. Bunu yapmak istemediğinden emin misin? ”Ve bu beni yanlış analiz etmekten alıkoydu. Bu yüzden hem analizin doğruluğu hem de performans için çalışır. Demek bu problemi nasıl çözeceğimizle ilgili.
Rebecca Jozwiak: Bu bana etkili gibi görünüyor. İnsanların kaynakları biriktirmelerini engellemeyeceğinizi söylediniz, ancak onlara yaptıklarının en iyisi olmayacağını öğretin, değil mi?
David Crawford: Kullanıcıların her zaman kötü niyetli olmadıklarını varsayıyoruz - onlara en iyi niyetleri veriyoruz - ve bu şekilde oldukça açık olmaya çalışıyoruz.
Rebecca Jozwiak: Tamam. Heres başka bir soru: “Çözümünüz gibi bir katalog yöneticisi ile bir MDM aracı arasındaki fark nedir? Yoksa sorgu tablolarının seçimini genişleterek aslında farklı bir ilkeye güveniyor mu, oysa MDM bunu otomatik olarak yapacaktır, ancak aynı meta veri toplama prensibi ile.
David Crawford: Evet, geleneksel MDM çözümlerine baktığımda, temel farkın felsefi olduğunu düşünüyorum. Her şey kullanıcının kim olduğu ile ilgili. Sunumumun başlangıcında söylediğim gibi, Alation, kurulduğumuzda, analistlerin daha fazla fikir üretmelerini, daha hızlı üretmelerini, içgörülerinde daha doğru olmalarını sağlamak amacıyla kurulduğumuzu düşünüyorum. üretmek. Bunun geleneksel bir MDM çözümünün hedefi olduğunu sanmıyorum. Bu çözümler, SCC'ye hangi verilerin yakalandığına ilişkin raporlar veya dahili olarak başka bir denetim amacı için dahili olarak raporlar üretmek isteyen kişilere yönelik olma eğilimindedir. Bazen analistleri etkinleştirebilir, ancak işlerinde bir uygulayıcıyı mümkün kılacaksa, DBA gibi bir veri mimarını sağlama olasılığı daha yüksektir.
Bir analistin bakış açısından şeyler düşündüğünüzde, bir MDM aracının asla yapmayacağı bir sorgu aracı oluşturmaya başladığınızda. Bu, performansın yanı sıra doğruluk hakkında düşünmeye başladığınızda ve iş gereksinimlerimle hangi verilerin ilişkili olduğunu anlamaya başladığınızda. Bütün bunlar, aracı tasarladığımızda aklımızda patlayan şeyler. Arama algoritmalarımıza, katalog sayfalarının düzenine ve organizasyonun her yerinden bilgiye katkıda bulunma becerisine giriyor. Sorgu aracını oluşturduğumuz ve kataloğu doğrudan içine yerleştirdiğimiz gerçeğine giriyor, sanırım ondan gerçekten geliyor. İlk önce aklınızdaki kullanıcı hangisi?
Rebecca Jozwiak: Tamam, güzel. Bu gerçekten açıklamaya yardımcı oldu. arşivleri ele geçirmek için can atıyordu çünkü ayrılmak zorunda kaldı, ama sorunun gerçekten cevaplanmasını istedi. Başlangıçta birden fazla dil olduğu söylendi, ancak Compose bileşeninde kaldıraçlı olan tek dil SQL mi?
David Crawford: Evet bu doğru. Ve fark ettiğim şeylerden biri, farklı türdeki veritabanlarının, doküman veritabanlarının, grafik veritabanlarının, anahtar değer depolarının patlamasına şahit olduğumdan, uygulama geliştirmeleri için gerçekten güçlü olduklarıdır. Orada, özel ihtiyaçları gerçekten çok iyi karşılayabilir, ilişkisel veritabanlarından daha iyi şekillerde.
Ancak veri analizine geri getirdiğinizde, geri getirdiğinizde - bu bilgiyi geçici raporlama yapacak veya verilere kazma özelliğine sahip kişilere bu bilgileri vermek istediğinizde, her zaman bir ilişkiye geri döneceklerini en azından insanlar için arayüz. Bunun bir kısmı, çünkü SQL, veri analizinin dil frangı frangı olması, yani insanlar için, aynı zamanda entegre olan araçlar için. Bunun Hadoop'taki SQL'in bu kadar popüler olmasının nedeni olduğunu ve bunun çözümü için pek çok girişimin olduğunu düşünüyorum, çünkü günün sonunda, insanların bildiği şey bu. Muhtemelen SQL yazmayı bilen milyonlarca insan var ve ben de Mongo toplama boru hattı çerçevesi sorgusu yazmayı bilen milyonlarca insana teşebbüs ediyorum. Ve bu gerçekten çok çeşitli platformlarda entegrasyon için kullanılan standart bir dil. Yani tüm söylediklerinin çok nadiren dışına çıkması istendi çünkü bu, çoğu analistin kullandığı arayüz ve özellikle Compose'da odaklandığımız, özellikle de SQL yazmaya odaklandığımız bir yer.
Veri biliminin en çok dışarıda girişim yaptıkları yer olduğunu söyleyebilirim ve bu yüzden Pig ya da SAS kullanma konusunda sık sık sorular alıyoruz. Bunlar, Compose'da kesinlikle işlemediğimiz ve katalogda yakalamak istediğimiz şeyler. Ve ayrıca R ve Python'u görüyorum. R ve Python betiklerinin içinde Alation'da yazılan sorguları kullanabilmeniz için birkaç arayüzümüz vardır, bu nedenle, çoğu zaman bir veri bilimcisi olduğunuzda ve bir betik dilinde çalışıyorsanız, kaynak verileriniz ilişkiseldir. veri tabanı. Bir SQL sorgusu ile başlayıp daha sonra işleme koyup R ve Python içinde grafikler oluşturursunuz. Ve sorguları veya sorgu sonuçlarını Alation'dan alan komut dosyalarına içe aktarabileceğiniz paketler hazırladık, böylece orada karma bir iş akışı elde edebilirsiniz.
Rebecca Jozwiak: Tamam harika. Biliyorum, saatin üstünden biraz geçtikten sonra, bir veya iki soru daha soracağım. Bağlanabileceğiniz tüm farklı sistemler hakkında konuştuğunuzu biliyorum, ancak harici olarak barındırılan verilerle ve dahili olarak barındırılan verilerle ilgili olarak, tek bir görüntünüzde tek bir platformda aranabilir mi?
David Crawford: Elbette. Bunu yapmanın birkaç yolu var. Demek istediğim, dışarıda barındırılan, hayal edebiliyorum, tam olarak bunun ne anlama gelebileceğini düşünmeye çalışıyorum. Birisinin sizin için AWS'de barındırdığı bir veritabanı anlamına gelebilir. Data.gov adresinden halka açık bir veri kaynağı olabilir. Başka bir uygulamada olduğu gibi, bir veritabanları hesabıyla oturum açarak doğrudan veritabanlarına bağlanıyoruz ve meta verileri bu şekilde alıyoruz. Yani bir hesabımız varsa ve açık bir ağ portumuz varsa, bunu alabiliriz. Ve o zaman bu şeylere sahip olmadığımız zaman, sanal bir veri kaynağı olarak adlandırılan bir şeye sahibiz; bu, belgeleri otomatik olarak, kendi konektörünüzü yazarak veya bir CSV yüklemesi gibi bile yaparak doldurarak doldurmanızı sağlar. dahili verilerinizin yanında bulunan veriler. Hepsi arama motoruna yerleştiriliyor. Makalelerin içinde ve sistemin içindeki diğer dokümantasyon ve konuşmalarda referans alınabilir hale gelir. Böylece doğrudan bir sisteme bağlanamadığımız zaman nasıl başa çıkacağız.
Rebecca Jozwiak: Tamam, bu mantıklı. Sadece sana bir soru daha çekeceğim. Bir katılımcı “Bir veri kataloğunun içeriği, kaynak veriler güncellendiğinde kaynak verileri değiştirildiği gibi nasıl doğrulanmalı, doğrulanmalı veya korunmalıdır?” diye sormak.
David Crawford: Evet, bu çok soru aldığımız bir soru ve bence bizim yaptığımız şeylerden biri - felsefelerimizden biri, dediğim gibi, kullanıcıların kötü niyetli olduğuna inanmıyoruz. En iyi bilgilere katkıda bulunmaya çalıştıklarını varsayıyoruz. İçeri girmeyecekler ve kasıtlı olarak insanları veriler hakkında yanıltmayacaklar. Bu, kuruluşunuzda bir sorunsa, belki de Alations sizin için doğru bir araç değildir. Ancak, kullanıcılar tarafından iyi niyetli olduklarını varsayıyorsanız, o zaman, güncellemelerin gerçekleştiği bir şey olarak düşünüyoruz ve o zaman genellikle yaptığımız şey, her veri nesnesinden veya verilerin her bölümünden sorumlu bir görevli koymaktır. Ve meta verilere değişiklikler yapıldığında bu taklitçileri bilgilendirebilir ve bu şekilde ele alabilirler. Güncellemelerin geldiğini görüyorlar, doğrulıyorlar. Doğru olmazlarsa, geri dönüp onları değiştirip bilgilendirebilirler ve umarım bilgiye katkıda bulunan ve öğrenmelerine yardımcı olan kullanıcıya ulaşabilirler.
Böylece yapmayı düşündüğümüz birincil yol budur. Kalabalık tarafından bu öneri ve görevliler tarafından yönetilme, bu nedenle bazı yeteneklerimiz var.
Rebecca Jozwiak: Tamam iyi. Ve eğer insanlara Alation ile en iyi nasıl başlayabileceklerini ve daha fazla bilgi almak için özel olarak nereye gidebileceklerini bilmelerini sağlayabiliyorsanız. Bunu biraz paylaştığını biliyorum. En iyi yer burası mı?
David Crawford: Alation.com/learnmore Bence gitmek için harika bir yol. Demoya kaydolmak için Alation.com sitesinin birçok harika kaynağı, müşteri raporları ve çözümümüz hakkında haberler var. Bu yüzden başlamak için harika bir yer olduğunu düşünüyorum. Ayrıca.
Rebecca Jozwiak: Tamam harika. Ve biliyorum ki, katılımcılar, bugün bütün sorulara ulaşamadıysam özür dilerim, ancak değilse, David'e veya satış ekibine veya Alation'daki birine iletilecekler, bu nedenle kesinlikle sorularınızı yanıtlamalarına ve Alation'ın ne olduğunu anlamalarına yardımcı olabilirler. yapar ya da en iyisini yaparlar.
Ve bununla millet, devam edeceğim ve bizi imzalayacağım. Arşivleri her zaman InsideAnalysis.com adresinde bulabilirsiniz. Techopedia.com adresinde de bulabilirsiniz. Biraz daha hızlı güncelleme eğilimindedirler, bu yüzden kesinlikle kontrol edin. Ve bugün David Crawford, Dez Blanchfield ve Robin Boor'a çok teşekkürler. Harika bir web yayınıydı. Ve bununla, sana veda ediyorum. Teşekkürler millet. Güle güle.
David Crawford: Teşekkür ederim.