Yazan : Şadi Evren ŞEKER
iki olasılık dağılımı arasındaki mesafeyi ölçmek için kullanılan yöntemlerden birisidir. Literatürde “bilgi çapı” (information radius , kısaca iRad ) veya ortalamaya olan toplam uzaklık (total divergence to average) olarak da geçmektedir.
Tanımı itibariyle Kullback Leibler Uzaklığının (kullback-leibler divergence) simetrik hali olarak düşünülebilir. Yani kullback leibler mesafesinde iki olasılık dağılımı olan P ve Q için P’den Q’ya olan mesafe (DKL(P||Q)) ile Q’dan P’ye olan mesafe (DKL(Q||P)) birbirine eşit olmamaktadır. Oysaki Jensen Shannon mesafesi bu sorunu çözerek simetrik bir mesafe fonksiynu tanımı yapar.
Temel tanımı aşağıdaki şekildedir:
Sigma cebirinde tanımlı bir A değişkeni için [latex]M_+^1(A)[/latex] olasılık dağılımını ele alalım bu dağılım üzerindeki Jensen Shannon Divergence (JSD) değeri aşağıdaki şekilde hesaplanabilir:
[latex]JSD(P \parallel Q)= \frac{1}{2}D(P \parallel M)+\frac{1}{2}D(Q \parallel M)[/latex]
Yukarıdaki gösterimde P ve Q şeklinde verilen iki olasılık dağılım fonksiyonu üzerinde M aşağıdaki şekilde tanımlıdır:
[latex]M=\frac{1}{2}(P+Q)[/latex]
Yani M değeri aslında ortalama değerdir P ve Q’nun M değerine olan mesafesi üzerinde JSD fonksiyonu tanımlıdır.
Şayet M değeri, sayılabilir (countable) ise aşağıdaki şekilde daha özel tanımlanması mümkündür:
[latex]JSD(P_1, P_2, \ldots, P_n) = H\left(\sum_{i=1}^n pi_i P_i\right) – \sum_{i=1}^n pi_i H(P_i)[/latex]
Yukarıdaki tanımda geçen H(P) değeri shannon entropisidir.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir