Veri analitiği, bir işletmenin çalışma şeklini değiştirebilir, ancak yalnızca doğru kullanıldığında. Red Hat’ten Steven Huels, analitiği benimsemeyle ilgili bazı zorlukları ele alıyor.
Yapay zeka ve veri analitiği modellerinin değerini en üst düzeye çıkarmak için makine öğrenimi operasyonlarında (MLOps) büyük bir artış yaşanırken, şirketlerin bu teknolojiyi kullanma konusunda karşı karşıya kaldıkları birçok zorluk var.
Red Hat’ten Steven Huels, sektördeki 20 yılı aşkın tecrübesiyle veri ve yapay zeka alanında liderdir.
“Üniversiteden sonraki ilk işim veri ambarı danışmanı olarak oldu. O zamanlar kuruluşlar, analistlerin verilere kolayca erişebilmeleri ve içgörüler oluşturmak için onunla çalışabilmeleri için tüm verilerini veri ambarlarında merkezileştirmeye odaklanmıştı. SiliconRepublic.com’a verdiği demeçte, oradan verilerden nasıl değer üretileceği konusuna dahil olmaya başladım.
Kariyeri boyunca, analitik modellerin sıklığı ve kalitesinde büyük bir adım değişikliğini içeren web siteleri ve içerik önerileri için öneri sistemlerinin başladığını söyledi.
“Bu değişiklik, ekiplerin modelleri eğitmek için büyük hacimli verileri hareketsiz hale getirmek zorunda kalmasına neden oldu ve bu da çözülmesine yardımcı olduğum birçok teknik zorluğu beraberinde getirdi.”
Son yıllarda, Huels, veri analizinin üretime yerleştirilmesiyle ilgili sorunların çözümünde yoğun bir şekilde yer aldı. Ayrıca geliştirme ve bakım çalışmalarında da yer almıştır. OpenDataHubAI ve veri analizini bir hizmet olarak çalıştırmak için altyapı sağlayan açık kaynaklı bir meta proje.
“Bugün ekibimiz OpenDataHub’ı Red Hat OpenShift Data Science adlı ticari bir teklif olarak pazara sunuyor.”
Huels, yapay zeka ve veri analitiği dağıtımı söz konusu olduğunda şirketlerin karşılaştığı beş ana zorluğu özetledi.
tekrarlanabilirlik
Huels’e göre, tekrarlanabilirlik ve yeniden üretilebilirlik, bir üretim ortamında yapay zeka ve veri analitiği için en büyük zorluklardan biri.
“Tekrarlanabilir sonuçları engelleyebilecek kavram kayması gibi istatistiksel sorunlara karşı korunmanız gerekmiyor, aynı zamanda ilk etapta modeli çalıştıran altyapıdaki değişiklikleri de karşılamanız gerekiyor” dedi.
“OpenDataHub’ı geliştirmemizin nedenlerinden biri, bir modelin üretime alınması, izlenmesi, geri dönüştürülmesi ve ardından zaman içinde çalıştırılmasıyla ilgili karmaşıklığı ve altyapı çalışmasını azaltmaktır. Yapay zeka ve veri analizi için güvenilir bir mimari ve altyapı oluşturmaya yönelik çalışmaları azaltarak, veri bilimcilerin modellerini iyileştirmeye ve sonuçlarını yorumlamaya odaklanmaları için zaman kazanabiliriz.”
Uygulama hızı
Yeni özellikleri ve düzeltmeleri hızla dağıtmak da zor olabilir. Ancak Huels, açık kaynaklı sistem Kubernetes’in bunu hızlandırmak için araçlar sağlayabileceğini söyledi.
“Kubernetes ve bulut hizmeti mimarileri, ekiplere talep doğrultusunda bir uygulamaya tahsis edilen kaynakları artırma ve azaltma konusunda daha fazla özgürlük veriyor. Noel alışveriş sezonunda bir perakendecinin web sitesi gibi mevsimsel taleple karşı karşıya olduğunuzu varsayalım. Bulut ve Kubernetes, bir öğleden sonra bilgi işlem ve depolama gücü tahsis etmenize izin verirken, şirket içi kapasite büyük bir sermaye yatırımı ve haftalarca (veya aylarca) kurulum ve entegrasyon gerektirir” dedi.
Bu talebe bir başka örnek de, şu anda piyasa koşullarında büyük ve sık dalgalanmalar yaşayan sermaye piyasalarıdır. “Bu, bulut hizmetleri ve Kubernetes tarafından sağlanan ölçeklendirme çevikliği olmadan elde edilemeyecek olan talebi karşılamak için modellerin birkaç dakika içinde sık sık yeniden eğitilmesini gerektiriyor.”
Doğru verileri kullanma
Şirketlerin analitikten bilgi toplama konusunda sahip olabileceği yaygın bir yanılgı, mümkün olduğunca fazla veri kullanmaktır.
Huels, “Kuruluşlarda gördüğüm en büyük tuzaklardan biri, ‘Bir modele yeterince veri verirsek, bize bir cevap verir’ tutumudur” dedi. “Maalesef işler böyle yürümüyor.”
Bunun yerine, belirli bir kullanım durumu olan bir şeyle basit bir şekilde başlamayı önerdi. “Yapay zeka ve veri analizi, yararlı bilgiler ve çıktılar üretmek için belirli, hedefli sorular gerektirir” dedi.
“Üretken bir model, iyi tanımlanmış bir soru gerektirir; bu da, bir modeli hangi verilerle eğittiğiniz ve üretim ortamının nasıl görüneceği konusunda dikkatli bir değerlendirme gerektirir.”
Modelleri geniş ölçekte dağıtma
Kuruluşlar üretim için nasıl model oluşturacaklarını öğrenirken, Huels bu modelleri geniş ölçekte nasıl dağıtacaklarının yapay zeka ve veri analizinde çalışan ekiplerin karşılaştığı bir diğer büyük zorluk olduğunu söyledi.
“Buna yanıt vermek için, açıklanabilirlik, izleme ve geniş ölçekte modeller için sürekli dağıtım gibi sorunların üstesinden gelmeye yardımcı olan MLOps’un başlı başına bir disiplin olarak yükselişini gördük.”
Birimi yönetme
Son olarak, belirli verilere odaklanılsa bile, ilk etapta AI ve analiz modellerini güçlendirmek için hala büyük miktarda veriye ihtiyaç vardır.
Bu, bu miktarda verinin nasıl işlendiği konusunda zorluklara yol açar. Huels, “Çoğu genel bulut sağlayıcısının müşterilere veri girişi, çıkışı ve API çağrıları için önemli ücretler uyguladığı göz önüne alındığında, AI modellerinin boyutunu artırdığınızda bu özellikle acildir” dedi.
“Veri sorgunuzu ve toplama stratejinizin yanı sıra veri akışlarınızı ve veri yönetişimi optimize etmek, yapay zeka ve makine öğrenimi çabalarınızdan elde edebileceğiniz değer üzerinde önemli bir etkiye sahip olabilir.”
Hafta içi her gün doğrudan gelen kutunuza bilmeniz gereken 10 şey. için kaydolun Günlük ÖzetSilikon Cumhuriyeti’nin temel bilim-teknoloji haberlerinin özeti.
Kaynak : https://www.siliconrepublic.com/enterprise/data-analytics-ai-challenges