[ThinkerBeLL]

En Küçük Kareler Yöntemi
Vikipedi, özgür ansiklopedi

En küçük kareler yöntemi, birbirine bağlı olarak değişen iki fiziksel büyüklük arasındaki matematiksel bağlantıyı, mümkün olduğunca gerçeğe uygun bir denklem olarak yazmak için kullanılan, standart bir regresyon yöntemidir. Bir başka deyişle bu yöntem, ölçüm sonucu elde edilmiş veri noktalarına "mümkün olduğu kadar yakın" geçecek bir fonksiyon eğrisi bulmaya yarar. Gauss-Markov Teoremi'ne göre en küçük kareler yöntemi, regresyon için optimal yöntemdir.

Tarihi
Bilindiği kadarıyla, en küçük kareler yöntemi ilk olarak 1795'te Carl Friedrich Gauss tarafından geliştirilmiştir. Gauss 1801 yılında bu yöntemi kullanarak, keşfinden kısa süre sonra kaybedilen Ceres asteroidinin tekrar gözlemlenebileceği pozisyonu hesaplayabilmiş, bu başarısıyla büyük üne kavuşmuştur. Gauss bu yöntemi ilk olarak 1809'da yayımlamıştır. 1806'da Fransız matematikçi Adrien-Marie Legendre ve 1808'de Amerikalı matematikçi Robert Adrain, Gauss'tan (ve muhtemelen birbirlerinden) bağımsız olarak bu yöntemi geliştirip kullanmışlardır.
En küçük kareler yöntemi, bugün neredeyse tüm bilim dallarında ve mühendislikte yaygın olarak kullanılmaktadır.

Çizgisel (Doğrusal) Örnek

Kırmızı noktalar ölçümle elde edilmiş veri noktalarını, mavi çizgi ise en küçük kareler yöntemi ile bulunmuş teorik bağlantıyı ifade eder.

Basit bir örnek vermek gerekirse, aralarında çizgisel (lineer) bir bağlantı olan, X ve Y adında iki fiziksel büyüklük düşünelim. (Mesela, X belli bir ağaç türünün yaşı, Y aynı tür ağacın gövde çapı olabilir.) Y 'yi X 'in fonksiyonu olarak yazmak istiyoruz. Bu iki büyüklük arasındaki bağlantı çizgisel olduğuna göre, şöyle bir denklem halinde ifade edilebilir:

enk1.png

Bizim aradığımız şey, bu denklemdeki a ve b sayıları için mümkün olan en doğru değerlerdir. Bu değerleri belirlemek için bir dizi ölçüm yaptığımızı düşünelim. (Ağaç örneğine dönersek, ilgilendiğimiz türden pek çok ağacın yaşını ve gövde çapını ölçelim.) Bu ölçümler bize bir dizi (Xi, Yi) çifti verecektir. Bir kartezyen düzlem üzerinde bu çiftlere karşılık gelen noktaları tek tek işaretlersek, kabaca düz bir çizgi üzerinde yayılmış bir "noktalar bulutu" elde ederiz. Noktalar, çeşitli sebeplerden dolayı (ölçüm hataları, istisnai durumlar, modele katılmayan dış etkiler, vs) kusursuz bir çizgi üzerinde çıkmayacaktır.
X ve Y arasındaki bağlantıyı tek bir çizgisel denklem olarak ifade etmek istiyorsak, bu noktalara mümkün olduğunca yakın geçecek bir çizgi bulmalıyız. Bir başka deyişle, yukarıdaki denklemde a ve b'yi öyle seçmeliyiz ki, ortaya çıkan çizgi veri noktalarına mümkün olduğunca yakın olsun.
En küçük kareler yöntemi, denklemin verdiği (teorik) Y değerleri ile ölçümlerin verdiği (gerçek) Y değerleri arasındaki farkların karelerinin toplamını küçültme fikrine dayanır. Bu yöntem, denklemdeki a ve b sayılarını, bahsedilen kareler toplamını en küçük yapacak şekilde seçer (ve adını da buradan alır).

Eğrisel (Doğrusal Olmayan) Örnek
Aralarında doğrusal olmayan (non-lineer) bir bağlantı olan, fiziksel büyüklükler için de benzer şekilde en küçük kareler (EKK) yöntemi kullanılabilir.
EKK yöntemi denklem formunun bilinmesini gerektir. Bu formda bağımsız değişkenin üsleri ile birlikte birden çok bağımsız değişkenin çeşitli biçimleri bulunabilir.

enk2.png
enk3.png

EKK'nın işe yaraması için değişkenler arasındaki ilişkiyi gösteren formun katsayılardan bağımsız olarak biliniyor olması gerekir. Bunun için Ekonometri biliminde çok çeşitli yöntemler mevcuttur.
Formun nasıl olacağına karar verdikten sonra katsayılar bulunur. Tüm örnek sonuçlarına bakılarak hata terimlerinin karelerini en düşük yapan katsayılar türev yardımıyla bulunur. Burada türevin sıfır olduğu noktanın en küçük değer olması kuralından faydalanılır.

[ThinkerBeLL]

Doğrusal EKK'nin Uygulanışı
Vikipedi, özgür ansiklopedi

Aşağıdaki ikinci dereceden polinomun denklem formu olarak belirlendiğini kabul edelim.

ekk_1.png

Bu ifadedeki 2. dereceden terimler başka bir değişkenle değiştirilirse ekk.PNG ikinci dereceden polinom doğrusal bir ifadeye dönüşmüş olur. Bu durumda polinom daha genel bir ifadeyle yazılabilir:

ekk_2.png

n adet veri ile regresyon yaptığımızı varsayarsak, elimizdeki veride n tane Q değeri ile beraber her Xi için n tane değer bulunmaktadır. Bu durumda regresyon işlemi aşağıdaki işlem ile ifade edilebilir:

ekk_3.png

Yukarıdaki ifadede bulunan dizey ve diziler aşağıdaki gibi açıklanabilir:

ekk_4.png

Yukarıdaki ε dizisi hataları ifade eder.
β parametrelerinin tahmini için aşağıdaki ifade kullanılabilir:

ekk_5.png