Yazan : Şadi Evren ŞEKER
Olasılık teorisi ve bilgi teorisinde (information theory) geçen ve iki olasılık dağılımı arasındaki ilişkiyi (uzaklığı) formüllendiren yöntemin ismidir. Tanımı itibariyle, bilgi kazanımı (information gain) veya entropi kavramlarına yakındır ancak formüllendirmesi uzaklık (mesafe) değerinden sonuç döndürür.
Literatürde mesafe anlamına gelen İngilizce “distance” kelimesinin ilk harfi olan D ile gösterilir ve DKL şeklinde ifade edilir. İndisteki KL harfleri Kullback Leibler isimlerinin baş harflerinden oluşmaktadır.
İki olasılık dağılım (probability distribution) olan P ve Q dağılımlarını inceliyor olalım.
DKL(P||Q) gösterimi ile P dağılımı kullanılarak Q dağılımının tahmin edilmesi halindeki bilgi kaybı (information loss) ifade edilir.
Burada önemli bir nokta, Kullback Leibler uzaklığının (Kullback-Leibler Divergence), her ne kadar ismi uzaklık (veya mesafe) olarak geçiyor olsa da aslında bu mesafenin, bizim alıştığımız mesafe kavramından biraz farklı olması ve mesafenini simetrik olmamasıdır. Örneğin DKL(P||Q) mesafesi ile DKL(Q||P) mesafesi eşit olmak zorunda değildir (iki dağılım aynı iken eşit olabilirler ama farklı dağılımlar için iki değer birbirinden farklıdır).
Olasılık dağılımları kesikli (ayrık, discrete) veya sürekli (continous) olabilir. Buna göre ayrık dağılımlar için aşağıdaki yöntemle hesaplama yapılabilir:
[latex]D_{KL}(P|Q) = sum_i lnleft(frac{P(i)}{Q(i)}right) P(i).![/latex]
Kısaca, iki dağılımın birbirine her noktadaki oranları alınıp bu oranın logaritmalarının toplamına eşittir.
Genellikle bilgisayar bilimlerinde ayrık sistemler üzerinde çalışıldığından bu yazıda devamlı (continous) sistemler hakkında bilgi verilmeyecektir ancak çok kaba bir şekilde, ayrık sistemlerdeki toplam sembolünün, devamlı sistemlerde integral olduğunu söyleyebiliriz.
Kullback-leibler mesafesi her zaman için eksi olmayan bir değer (sıfır veya daha büyük) döndürür.
[latex]D_{KL}(P|Q) geq 0, ,[/latex]
Mesafenin sıfır olması, ancak iki dağılımın birbirinin aynısı olması durumunda mümkündür. Bunun dışındaki durumlar için sonuç pozitif bir reel sayı çıkacaktır.