Makine Öğrenmesi 2023-2024 Final

Filtre tabanlı özellik seçimi, model eğitmeden önce her özelliğin hedef değişkenle ilişkisini ki-kare, korelasyon, ANOVA gibi istatistiksel testlerle değerlendirir. Sarma (wrapper) yöntemler ise özellik alt kümelerini modeli tekrar tekrar eğiterek dener, gömülü yöntemlerde seçim model eğitimi sırasında yapılır.

Seçenekler arasında anahtar, iki yöntemin ortak noktasını boyut azaltma olarak kabul eder: t-SNE yüksek boyutlu veriyi 2-3 boyuta indirgerken doğrusal olmayan ilişkileri yakalayabilir. Diğer şıklar t-SNE'ye regresyon katsayısı belirleme, Apriori kullanma veya hiyerarşik kümeleme yapma gibi açıkça yanlış özellikler yüklediği için elenir.

Teknik sağlamlık ve güvenlik ilkesi, yapay zeka sistemlerinin hatalara, manipülasyonlara ve siber saldırılara karşı dirençli ve güvenilir olmasını gerektirir. Gizlilik ve veri yönetişimi ise kişisel verilerin korunmasıyla ilgilidir.

Apriori, 'sık olmayan bir öğe kümesinin üst kümeleri de sık olamaz' ilkesini kullanarak aday öğe kümelerinin çoğunu baştan eler. Böylece hafıza kullanımı ve arama alanı daraldığından büyük veri kümelerinde çalışmaya uygun hale gelir. (Not: Apriori aslında denetimsiz bir birliktelik kuralı algoritmasıdır.)

Apriori'de güven (confidence), X ürününü alan müşterilerin Y ürününü de alma olasılığını, yani P(Y|X) koşullu olasılığını ölçer: güven = destek(X∪Y) / destek(X). Destek, öğelerin birlikte ne sıklıkta görüldüğünü; lift ise bu birlikteliğin tesadüften ne kadar güçlü olduğunu gösterir.

F1 skoru, hassasiyet (precision) ve duyarlılığın (recall) harmonik ortalamasıdır: F1 = 2·P·R / (P + R). İkisini birlikte dengelediği için özellikle dengesiz veri setlerinde doğruluktan (accuracy) daha anlamlı bir ölçüttür.

Önyargısız yapay zeka geliştirmenin amacı, eğitim verilerindeki önyargılardan kaynaklanan cinsiyet, ırk, yaş gibi ayrımcı sonuçları azaltmak ve adil kararlar üretmektir. Bu, hız ya da iletişim gibi teknik konularla değil, adalet ilkesiyle ilgilidir.

R-Kare, modelin bağımlı değişkendeki değişimin ne kadarını açıkladığını gösterir ve normalde 0 ile 1 arasında yer alır; 1'e ne kadar yakınsa uyum o kadar iyidir. Bu yüzden 0,99 en iyi performanstır. 1,2 geçerli bir R-Kare değeri değildir; negatif değer ise modelin ortalamadan bile kötü olduğunu gösterir.

Python'u öğrenmeyi ve uygulamayı kolaylaştıran en önemli özellik temiz, okunabilir ve sade (minimalist) sözdizimidir; girintileme ile blok oluşturulur, gereksiz semboller yoktur. Kütüphane zenginliği ve dokümantasyon da avantajdır ama öğrenme kolaylığının temel sebebi sözdizimidir.

Özellik çıkarma ve seçimi, gereksiz veya ilgisiz özellikleri eleyerek ya da yeni özet özellikler üreterek veri setini daha az boyutta temsil etmeyi sağlar. Bu boyut azaltma, modelin daha hızlı eğitilmesine ve aşırı öğrenmenin azalmasına yardımcı olur.

Özellik türetme, mevcut verilerden yeni öznitelikler üretme sürecidir; örneğin doğum tarihinden 'yaş', boy ve kilodan 'vücut kitle indeksi' türetmek. Veri ölçeklendirme ve dönüştürme ise mevcut özniteliklerin değerlerini değiştirir, yeni öznitelik oluşturmaz.

Apriori, denetimsiz öğrenmede veri içindeki öğeler arasındaki birliktelik kurallarını (ör. 'ekmek alan süt de alır') bulan algoritmadır. Naive Bayes, SVM, karar ağaçları ve K-NN ise denetimli sınıflandırma algoritmalarıdır.

Aykırı değerler (outlier), veri setinin genel eğiliminin dışında kalan ve diğer gözlemlerden belirgin şekilde farklı olan uç değerlerdir. Eksik değerler ise hiç girilmemiş/boş kalmış verilerdir.

Yapay zeka etiği; insan onurunu koruma, insanlara zarar vermeme, adalet ve şeffaflık gibi temel prensiplere dayanır. Kâr, rekabet veya teknolojik üstünlük etik ilkeler değil, ticari hedeflerdir. (C şıkkındaki 'zarar verme' ifadesi 'zarar vermeme' anlamında okunmalıdır.)

Makine öğrenmesinin temel unsurları öğrenme algoritmaları, model oluşturma, eğitim ve değerlendirme ile ayarlama (tune) ve geliştirmedir. Python ise yalnızca kullanılan araçlardan biridir; makine öğrenmesi başka dillerle de yapılabileceğinden 'Python ortamında kodlama' temel bir unsur değildir.

Binarizasyon, sayısal bir özelliği belirli bir eşik değerine göre 0 veya 1'e dönüştürür (eşiğin üstü 1, altı 0). One-hot encoding ise kategorik bir değişkeni her kategori için ayrı 0/1 sütunlarına dönüştürür; eşik kullanmaz.

SVM'de margin, ayırıcı hiper düzlemin iki yanında, destek vektörlerinden geçen sınır düzlemleri arasındaki mesafedir. SVM bu mesafeyi en büyük yapacak hiper düzlemi seçer; C şıkkındaki orta düzlem ise margin değil, ayırıcı hiper düzlemin kendisidir.

Apriori'de destek (support), bir öğe kümesinin tüm işlemler içinde ne sıklıkta birlikte görüldüğünü ölçer; sık öğe kümeleri minimum destek eşiğine göre belirlenir. Güven ise bir ürünü alanın diğerini alma olasılığını gösterir.

Makine öğrenmesi uygulamasında potansiyel veri girişleri belirlenir, veriler toplanıp biçimlendirilir ve gerekiyorsa etiketlenir, algoritma seçilip test edilir ve istenen doğruluğa ulaşana kadar eğitim tekrarlanır. Verilerin 'mutlaka' istatistiksel analizden geçirilmesi ise zorunlu bir adım olmadığından bu ifade hatalıdır.

Durbin-Watson istatistiği, regresyon modelinin hata terimleri (artıklar) arasında otokorelasyon olup olmadığını ölçer; değeri 0-4 arasındadır ve 2'ye yakın olması otokorelasyon olmadığını gösterir. MSE, RMSE ve MAE hata büyüklüğünü ölçer, Shapiro-Wilk ise normallik testidir.