İçerik
S:
Veri bilimi süreçlerini otomatikleştirmek ve optimize etmek için bazı temel yöntemler nelerdir?
A:
Makine öğrenimi ve AI bağlamında veri bilimi süreçleri dört ayrı aşamaya ayrılabilir:
- veri toplama ve araştırma,
- model kurma,
- model dağıtımı ve
- çevrimiçi değerlendirme ve iyileştirme.
Tecrübelerime göre, en etkileyici aşamalar, herhangi bir makine öğrenmeye dayalı veri bilimi sürecindeki veri toplama ve model dağıtım aşamalarıdır ve bunları optimize etmenin iki yolu vardır:
1. Kolayca erişilebilir bir veri deposu oluşturun.
Çoğu kuruluşta, veriler tek bir merkezi konumda saklanmaz. Sadece müşterilerle ilgili bilgileri alalım. İşletmenizin bir web uygulaması olması durumunda, müşteri iletişim bilgilerine, müşteri desteklerine, müşteri geri bildirimlerine ve müşteri göz atma geçmişine sahipsiniz. Tüm bu veriler, farklı amaçlara hizmet ettikleri için doğal olarak dağılmıştır. Farklı veritabanlarında bulunabilirler ve bazıları tamamen yapılandırılmış, bazıları yapılandırılmamış ve hatta düz dosyalar olarak saklanabilir.
Ne yazık ki, bu veri setlerinin dağınıklığı, tüm NLP, makine öğrenmesi ve AI problemlerinin temeli olarak veri bilimi çalışmasını sınırlamaktadır. veri. Bu nedenle, tüm bu verileri tek bir yerde tutmak - veri deposu - model geliştirme ve dağıtımı hızlandırmak için çok önemlidir. Bunun tüm veri bilimi süreçleri için çok önemli bir parça olduğu göz önüne alındığında, kuruluşlar kendi veri depolarını oluşturmalarına yardımcı olmak için nitelikli veri mühendisleri kiralamalıdır. Bu, basit veriler tek bir yere döküldüğü için kolayca başlayabilir ve yavaş yavaş iyi düşünülmüş bir veri deposuna dönüşür, tamamen alttan belgelenir ve veri alt kümelerini farklı amaçlar için farklı biçimlerde dışa aktarmak için yardımcı araçlarla sorgulanabilir.
2. Modellerinizi sorunsuz entegrasyon için bir hizmet olarak gösterin.
Verilere erişim sağlamanın yanı sıra, veri bilimcileri tarafından geliştirilen modelleri ürüne entegre edebilmek de önemlidir. Python'da geliştirilen modelleri Ruby üzerinde çalışan bir web uygulamasıyla bütünleştirmek oldukça zor olabilir. Ayrıca, modellerde ürününüzün sağlayamayacağı birçok veri bağımlılığı olabilir.
Bununla başa çıkmanın bir yolu, modelinizin etrafında güçlü bir altyapı oluşturmak ve modeli “web hizmeti” olarak kullanmak için ürününüzün ihtiyaç duyduğu sadece yeterli işlevi ortaya koymaktır. Örneğin, uygulamanızın ürün incelemelerinde duyarlılık sınıflandırması gerektirmesi durumunda Yapması gereken tek şey web servisini çağırmak, ilgili hizmeti sağlamak ve servis, ürünün doğrudan kullanabileceği uygun duyarlılık sınıflandırmasını geri vermektir. Bu şekilde entegrasyon basitçe bir API çağrısı şeklindedir. Modelin ve onu kullanan ürünün ayrıştırılması, geldiğiniz yeni ürünlerin, bu modelleri çok az güçlükle kullanmasını gerçekten kolaylaştırır.
Şimdi, modelinizin etrafına altyapı kurmak bambaşka bir hikaye ve mühendislik ekiplerinizden ağır bir ilk yatırım gerektiriyor. Altyapı bir kez orada olduğunda, yalnızca altyapıya uygun bir şekilde model oluşturma meselesidir.