AI kara kutusu nedir?

Purdue Üniversitesi’nden Profesör Saurabh Bagchi yapay zeka kara kutularının amacını ve araştırmacıların neden ‘açıklanabilir yapay zeka’ya doğru ilerlediğini açıklıyor.

Bazı insanlar için ‘kara kutu’ terimi, akıllara, akla gelmeyen bir şey olursa ölüm sonrası analizler için değerli olan uçaklardaki kayıt cihazlarını getiriyor. Diğerleri için küçük, minimal donanımlı tiyatroları çağrıştırıyor. Ancak yapay zeka dünyasında ‘kara kutu’ da önemli bir terimdir.

AI kara kutular kullanıcı tarafından görülemeyen dahili çalışmalara sahip yapay zeka sistemlerine bakın. Onlara girdi besleyebilir ve çıktı alabilirsiniz, ancak sistemin kodunu veya çıktıyı üreten mantığı inceleyemezsiniz.

Makine öğrenimi, yapay zekanın baskın alt kümesidir. ChatGPT ve DALL-E 2 gibi üretken yapay zeka sistemlerinin temelini oluşturur. Makine öğreniminin üç bileşeni vardır: bir algoritma veya bir dizi algoritma, eğitim verileri ve bir model.

Algoritma, bir dizi prosedürdür. Makine öğreniminde bir algoritma, çok sayıda örnekle (eğitim verileri) eğitildikten sonra kalıpları tanımlamayı öğrenir. Bir makine öğrenimi algoritması eğitildikten sonra, sonuç bir makine öğrenimi modelidir. Model, insanların kullandığı şeydir.

Örneğin, görüntülerdeki kalıpları tanımlamak için bir makine öğrenimi algoritması tasarlanabilir ve eğitim verileri köpeklerin görüntüleri olabilir. Ortaya çıkan makine öğrenimi modeli, bir köpek gözcü olacaktır. Görüntüyü girdi olarak besler ve görüntünün neresinde bir piksel kümesinin bir köpeği temsil edip etmediğini çıktı olarak alırsınız.

Bir makine öğrenimi sisteminin üç bileşeninden herhangi biri gizlenebilir veya bir kara kutu içinde olabilir. Çoğu zaman olduğu gibi, algoritma herkes tarafından biliniyor ve bu da onu bir kara kutuya koymanın daha az etkili olmasını sağlıyor. Bu nedenle, fikri mülkiyetlerini korumak için yapay zeka geliştiricileri genellikle modeli bir kara kutuya koyar. Yazılım geliştiricilerin benimsediği diğer bir yaklaşım, modeli eğitmek için kullanılan verileri gizlemek, başka bir deyişle, eğitim verilerini bir kara kutuya koymaktır.

Kara kutunun tersi bazen kara kutu olarak anılır. cam kutu. AI cam kutusu, algoritmaları, eğitim verileri ve modeli herkesin görebileceği bir sistemdir. Ancak araştırmacılar bazen bunların bile özelliklerini kara kutu olarak nitelendiriyor.

Bunun nedeni, araştırmacıların tam olarak anlama makine öğrenimi algoritmaları, özellikle derin öğrenme algoritmalar, çalışır. Alanı açıklanabilir yapay zeka cam kutu olmasa da insanlar tarafından daha iyi anlaşılabilecek algoritmalar geliştirmek için çalışıyor.

Kara kutunun dışında düşünmek

Çoğu durumda, kara kutu makine öğrenimi algoritmalarına ve modellerine karşı dikkatli olmak için iyi nedenler vardır. Bir makine öğrenimi modelinin sağlığınız hakkında bir teşhis koyduğunu varsayalım. Modelin kara kutu mu yoksa cam kutu mu olmasını isterdiniz? Peki ya tedavinizi reçete eden doktor? Belki de modelin kararına nasıl vardığını bilmek ister.

Bir bankadan işletme kredisi almaya hak kazanıp kazanmadığınızı belirleyen bir makine öğrenimi modeli sizi reddederse ne olur? Nedenini bilmek istemez misin? Bunu yaptıysanız, karara daha etkili bir şekilde itiraz edebilir veya bir dahaki sefere kredi alma şansınızı artırmak için durumunuzu değiştirebilirsiniz.

Kara kutuların ayrıca yazılım sistemi güvenliği için önemli etkileri vardır. Yıllarca bilgi işlem alanındaki birçok kişi, yazılımı bir kara kutuda tutmanın bilgisayar korsanlarının onu incelemesini engelleyeceğini ve dolayısıyla güvenli olacağını düşündü. Bu varsayımın büyük ölçüde yanlış olduğu kanıtlanmıştır, çünkü bilgisayar korsanları yazılımı tersine çevirebilir – yani, bir yazılımın nasıl çalıştığını yakından gözlemleyerek bir faksimile oluşturabilir – ve yararlanılacak güvenlik açıklarını keşfedebilir.

Yazılım cam bir kutunun içindeyse, yazılım test uzmanları ve iyi niyetli bilgisayar korsanları yazılımı inceleyebilir ve geliştiricilere zayıf yönleri bildirebilir, böylece siber saldırıları en aza indirebilir.

İle Profesör Saurabh Bagchi

Saurabh Bagchi, Elektrik ve Bilgisayar Mühendisliği Okulu’nda elektrik ve bilgisayar mühendisliği profesörü ve kurumsal ortaklıklar direktörüdür. Purdue Üniversitesi ABD’de. Araştırma ilgi alanları arasında güvenilir bilgi işlem ve dağıtık sistemler bulunmaktadır.

Hafta içi her gün doğrudan gelen kutunuza bilmeniz gereken 10 şey. için kaydolun Günlük ÖzetSilicon Republic’in temel bilim-teknoloji haberlerinin özeti.