A ltın ve gümüş sikkelerin birlikte kullanıldığı zamanlarda insanlar altın olanı saklamış, gümüş olanı harcamış. Neden? Çünkü insanların değerli olanı elde tutması, değersiz olanı ise elden çıkarması oldukça rasyonel bir davranış. İşte rasyonel olan bu davranışı, 16.yy’da İ ngiltere'de Kraliçe I. Elizabeth'in mali danışmanı olan Sir Thomas Gresham, “kötü para, iyi parayı kovar” ifadesiyle ekonomik bir yasaya dönüştürmüştür. Gresham yasası, yazılı (nominal) değerleri a ynı fakat külçe değerleri farklı iki paradan, külçe değeri yüksek olan paranın piyasadan (dolaşımdan) çekilmesidir. Nominal değer ve külçe değeri ne demektir? Örneğin bir madeni paranın üzerinde “5 TL” yazıyorsa bu onun nominal değeridir. Külçe değeri ise paranın yapıldığı metalin (altın, gümüş, bakır, nikel vs.) piyasa değeridir. Yani parayı eritip sadece metal olarak sattığınızda elde edeceğiniz değerdir. Örneğin elinizde iki adet 5 TL’lik madeni para var. Biri gümüşten, diğeri nikelden yapılmış olsun. İki...
Soru sormak; hem bilgi edinmenin (öğrenmenin) hem de edinilen (öğrenilmiş) bilginin miktarını, niteliğini ölçmenin bir yoludur. Dolayısıyla soru sormaktan vazgeçemeyiz.
Eğitimde bilgi edinmenin, eğitimde ölçmenin dahası soru sormanın yolu, cevabın elde edilişine göre farklılaşmaktadır. Eğitimde hedef-davranışı ölçmeye konu olan bir soru önermesi, yazılı ya da sözlü olarak cevaplandırılmasının yanı sıra soru önermesinin uzun ya da kısa cevaplandırılması da beklenebilir. Bu beklentiyle hazırlanan soru önermelerine “cevabı üretilen soru/madde tipi” adlandırmasını yapabiliriz. Cevabı üretilen soru önermesi, şayet ölçmeye konu olan cevabın üst düzey becerilerle sarmalandığı ve cevabın sınırlandırılmadığı bir yapıda ise beklenen cevap uzundur ve bu sebeple ‘uzun cevaplı soru/madde tipi’ olarak adlandırılabilir. Cevabı üretilen soru önermesine şayet ölçmeye konu olan cevabın tanımlı, sınırlı ve kısa olması bekleniyorsa buna ‘kısa cevaplı soru/madde tipi’ adlandırması yapılır. Alan yazında uzun cevaplı soru/madde tipi adlandırmasının daha çok açık uçlu (yazılı yoklamalar) soru tipi1 ya da geniş katkı beklentili açık uçlu madde tipi2 olarak ifade edildiği gözlenmektedir.
| Eğer soru önermesinin yapısında, anahtarlanmış doğru cevabın en az iki seçenek arasından bulunması isteniyorsa bu tip soru önermelerine “cevabı seçilen (seçmeli) soru/madde tipi” adlandırmasını yapabiliriz. Dolayısıyla cevabın veriliş niteliğine ve hatta soru yapısında anahtarlanmış cevabın bulunup bulunmamasına göre “cevabı üretilen ve cevabı seçilen” olmak üzere soru önermelerini iki ana eksende sınıflandırabiliriz. Sorunun üretilmesi için harcanan zamana, soruyla ölçülen biliş düzeyine, değerlendirme sürecine, puanlama objektifliğine, cevaplama süresine, soruya cevap verecek bireylerin sayısına, bireylerde gözlenen kaygıya, şans başarısına vb niteliklerinden en az birini ölçüt alarak soru önermelerini sınıflandırmak pek tabi ki mümkündür. |
Özellikle katılımcı hacminin geniş olduğu ölçme ve değerlendirme uygulamalarında gözlemlediğimiz, sınav/test sorularının, cevabı seçilen çoktan seçmeli soru tipinde olduğudur. Cevapların objektif puanlanması, belirli standartlarla aynı anda uygulanabilmesi, değerlendirme teknolojisinin gelişmiş ve hızlı olması bakımından çoktan seçmeli soru tipinin oldukça kullanışlı bir soru tipi olduğu söylenebilir. O halde cevabı seçilen ve çoktan seçmeli soru/madde tipini biraz irdeleyelim.
Olasılık mı ve şans mı?
Ortada “seçenek” olduğuna göre şüphesiz bir “olasılık” durumu vardır. Bu olasılık, seçenekler arasından doğru cevabın seçilme olasılığıdır. Seçenekler arasında, anahtarlanmış bir doğru cevap varsa ve bu doğru cevabın seçenekler arasından isabetle seçilme olasılığı, 1/seçenek sayısı oranı kadar olacaktır. Örneğin, dört seçenekli çoktan seçmeli bir test sorusunda doğru cevabın bulunma olasılığı ¼’tür. Beş seçenekli çoktan seçmeli bir test sorusunda ise doğru cevabın bulunma olasılığı 1/5’tir.
Eğitimde ölçme ve değerlendirmelerin amaçlarından biri, bireylerin ne bilip bilmediklerinin, hedeflenen bilgi ve beceriye sahip olup olmadıklarının belirlenmesidir. Akabinde, eğitimde ölçmenin amacı, bireylerin ne kadar şanslı olup olmadığının belirlenmesi hiç değildir. Peki, gerçekte, ölçülmek istenen davranışa sahip olmayanın “olasılık sınırları içinde” doğru cevabı seçmesine “şans başarısı” diyor muyuz? Diyoruz. Peki, neden önemlidir şans başarısı? Çünkü şansla kazanılmış bir beceri, şansla bulunmuş doğru bir cevap, şansla alınmış bir puan programlı ve sistemli bir eğitimde istenmez, beklenmez. Ölçümlerin kararlılığına, tutarlılığına, duyarlılığına şans bir faktör olarak etki ettiğinde, bir tür hata kaynağı olarak ele alınır. Oysa hata mıdır? Bu konuda çok ciddi şüphelerim var doğrusu! Peki ya, eğitim sürecinde yanlış yapmak, hata olarak değerlendirilebilir mi? Bir sınırı, kapsamı var mıdır? Varsa sınırı, kapsamı ne olmalıdır?
Gerçekte doğanın insana sunduğu seçenekler ve bu seçeneklerin olma olasılıkları apaçık ortada iken doğru cevabı seçme olasılığının var olması hata mıdır? Yoksa seçme olasılığının isabetli sonucu mu bizleri rahatsız etmektedir? Doğru olan mı, yanlış olan mı hatadır? Hata olan şans mıdır yoksa hata olan olasılık durumunun isabetli sonucu mudur? Hata, doğru ve yanlış kavramları üzerine ayrıca düşünmeliyiz!
Varsayalım ki aracınızla gitmek istediğiniz bir yer var. O yere varan pek çok yol olduğunu biliyorsunuz. Ancak, otoyolda bilmediğiniz, daha önce hiç gitmediğiniz yol sapakları ile karşı karşıya kaldınız. Hangi yola sapmanız gerektiğini bilmiyorsunuz. Pek çok yol arasından gelişigüzel seçtiğiniz bir yolun varacağınız yere giden en kısa yol ve doğru bir yol olması, şansınıza kahretmenizi gerektirir mi? Sanmıyorum. Bir başka örnek, acıkmış bir aslan, ceylan yerine öküzü avladı diye tabiat aslana ceza keser mi? Eğitimin amacı bireyin tabiatla uyumsallaştırılması, değil midir? Okullar, doğanın küçük modelleri, değil miydi? Öğretim programlarının amacı, bireylere yaşantılar sağlamak değil miydi? Doğada canlılar, yaptıkları seçimlerle cezalandırılmakta mıdır? Ispanak yemeği yemek yerine pırasa yemeğini seçmiş bir bireyin pırasayı seçtiği için bir başkası tarafından cezalandırıldığını gördünüz mü? Gerçekte, doğada insanlar yaptıkları seçimler için cezalandırılmıyorsa, yaşantılar geçirdiğimiz eğitim sürecinde ölçülen davranışların sınırlı olasılıklar içinden gelişigüzel seçilmesi eylemini cezalandırmak mantıklı mıdır? Bireylerin yapmış oldukları seçimlerin sorumluluğunu almayı ve sonuçlarına katlanmayı sağlamak yerine “cezalandırmak” bir eğitimin var olma nedeni olabilir mi?
Şansla gelen başarı, gerçekte bilenin, çaba harcayanın başarısıyla kıyas edilmiş ve şans başarısını elimine etmek için ölçme biliminde arayışlar başlamıştır. Belli sayıltılar altında şans başarısını elimine etme formülleri (yanlış cevaplardan doğru cevapların eksiltilmesi gibi) matematiksel olarak kabul görse de bu formüllerin insan psikolojisi ve dolayısıyla eğitim bilimi ile çelişen sonuçları vardır. İrdeleyelim.
Sayıltımız; soruyla ölçülmek istenen davranışa sahip bireyler, soruyu doğru olarak cevaplandırır. Bu sayıltının temel alındığı 20 adet beş seçenekli seçmeli soru ile karşı karşıya kalındığını düşünelim. Tabloda altı bireyin cevap örüntülerini inceleyelim.
Bireyler
|
Doğru cevap sayısı
|
Yanlış cevap sayısı
|
Boş cevap sayısı
|
Şans başarısından arındırılmış doğru cevap sayısı*
|
A
|
16
|
4
|
0
|
15
|
B
|
16
|
0
|
4
|
16
|
C
|
4
|
16
|
0
|
0
|
D
|
20
|
0
|
0
|
20
|
E
|
0
|
0
|
20
|
0
|
F
|
0
|
20
|
0
|
-5
|
* Şans başarısından arındırma ya da düzeltme formülü, her 4 yanlış cevap için 1 doğru cevap eksiltmesidir.
| ||||
Sayıltımızı unutmayalım. Tüm bireyler için geçerlidir ki ölçülmek istenen davranışa sahip olanlar soruları doğru cevaplandıracaklardır veya ölçülmek istenen davranışa sahip olmayanlar soruları yanlış cevaplandıracaklardır.
* A bireyi, ölçülen davranışların 16’sına sahip iken 4’üne sahip değildir. Gerçekte ölçülmek istenen 4 davranışa sahip olmayan A bireyi, 4 soruyu yanlış cevaplamıştır. Şans başarısını elimine ederek (her 4 yanlış cevap için 1 doğru cevabı eksilterek) A bireyine 16 değil, 15 soruyla ölçülmek istenen davranışa sahipsin dedik ve A bireyini eksilttik, göstermiş olduğu performansı azalttık. Gerçekte bilmediği 4 soru için bildiği bir doğru cevapla A bireyini cezalandırdık.
* B bireyi, ölçülen davranışların 16’sına sahip iken 4’üne sahip değildir. Gerçekte ölçülmek istenen 4 davranışa sahip olmadığı için 4 soruyu cevapsız bırakmıştır. Şans başarısını elimine edilmesi, yanlış cevap sayıları üzerinden yapıldığı için B bireyi, A bireyinden daha çok bilen olmuştur. A ve B bireyleri ölçülmek istenen davranışlara eşit sayıda sahip olmalarına ve eşit sayıda ölçülmek istenen davranışa sahip olmamalarına rağmen A bireyini, B bireyine göre düzeltme formülü ile işte böyle cezalandırdık.
* C bireyi, ölçülen davranışların 4’üne sahip iken 16’sına sahip değildir. Gerçekte ölçülmek istenen 16 davranışa sahip olmadığı için 16 soruyu yanlış cevaplamıştır. Şans başarısını elimine ettiğimizde C bireyine 4 puan değil, 0 puan verdik. Yani C bireyine diyoruz ki ölçülmek istenen hiçbir davranışa sen sahip değilsin. C bireyini eksilttik, göstermiş olduğu performansı azalttık. Gerçekte bildiği 4 soruya rağmen onu bilmediği sorularla cezalandırdık. C bireyi, bildiğini bilmiyormuş gibi yapsa idi -bildiği 4 soruyu cevapsız bıraksa idi- acaba daha mı iyi ederdi? 4 soruyu doğru bilmesine rağmen sen hiç bilmiyorsun dedik.
* D bireyi, ölçülen davranışların tamamına sahiptir. Alacağı puan pek tabi ki 20. Yanlış ve cevapsız cevabı bulunmadığı için D bireyini diğer bireylere göre yüce bir insan olarak atfedebiliriz artık. J [Ne kadar iyi ettik, bilemiyorum!?]
* E bireyi, ölçülen davranışların hiçbirine sahip değildir. Gerçekte ölçülmek istenen tüm davranışlara sahip olmadığı için soruları cevapsız bırakmıştır. Bilmediklerinin seçimi, yanlış cevap olsa idi ceza alacaktı ancak bilmedikleri cevapsız cevap olduğu için C bireyine göre E bireyi, 0 puanla bilmemenin psikolojik avantajını sağlamış oldu.
* F bireyi, ölçülen davranışların hiçbirine sahip değildir. Gerçekte ölçülmek istenen tüm davranışlara sahip olmadığı için soruları yanlış cevaplamıştır. Bilmediklerini cevapsız bıraksa idi ceza almayacaktı ancak bilmedikleri yanlış cevap olduğu için F bireyini eksi puanla bilmemenin ötesine geçirmiş olduk. Cevapsız cevap örüntüsüne sahip E bireyini, C ve F bireylerine göre psikolojik üstünlüğü sağladığı için herhalde tebrik edebiliriz.
Şimdi seçmeli sorulara verilecek muhtemel tepkileri üç başlık altında sınıflandıralım. Seçmeli bir soruyu bir birey;
1- doğru cevaplayabilir,
2- yanlış (birden fazla cevabın seçilmesi durumunda da cevabın yanlış sayıldığı notunu düşelim) cevaplayabilir ya da
3- cevapsız cevaplayabilir.
Şimdi bu cevaplama tepkilerinin olası psikolojik örüntülerine bakalım.
Seçmeli sorularda ‘Doğru’ cevabın seçilmesine ilişkin psikolojik örüntüler
- Birey, soruyla ölçülen davranışa gerçekten sahiptir; sorunun doğru cevabını biliyordur, öğrenmiştir ve soruyu doğru cevaplamıştır.
- Birey, soruyla ölçülen davranışa sahip değildir; doğru cevabı tam olarak bilmiyordur ancak tüm çeldiricilerin yanlışlığını (doğru cevap olamayacağını) bildiği için çeldiricileri elemiştir ve soruyu doğru cevaplamıştır.
- Birey, soruyla ölçülen davranışa sahip değildir, doğru cevabı bilmiyordur ancak bazı çeldiricilerin doğru cevap olamayacağını, yanlışlığını bildiği için bazı çeldiricileri elemiştir, seçenek sayısını azaltmıştır ve kalan seçenekler arasından doğru cevabı bulma olasılığını arttırmıştır. Dolayısıyla azaltılan ve kalan seçenekler arasından birey, doğru cevabı gelişigüzel seçerek soruyu doğru cevaplamıştır.
- Birey, soruyla ölçülen davranışa sahip değildir; doğru cevabı bilmiyordur, çeldiricilerin yanlışlığı hakkında da bilgisi yoktur ve soruyu gelişigüzel bir seçenek seçerek soruyu doğru cevaplamıştır. [Gelişigüzel doğru bulunmuş cevaplara “şans başarısı” denilmekte idi. Bu seçme eyleminde “tahmin” yoktur. Tahmin etmenin, şansla kurulacak bir ilişkisi de yoktur. Çünkü tahmin etmek, yöntemi gereği veriye, akla ve sezgiye dayalı olarak yapılır. Bu söylemimin aksi olsa idi herhalde hava tahminleri yapılmaz; şansa bırakılırdı.]
- Bireyin soruyu okumaya vakti kalmamıştır. Bireyin soruyla ölçülen davranışa sahip olup olmadığı, doğru cevabı ya da çeldiricilerin yanlışlığını bilip bilmediği gerçekte bilinmemektedir. Ancak birey soruyu okumadan gelişigüzel bir seçenek seçerek soruyu doğru cevaplamıştır. [Bireyin, soruyu okumadan seçmeli bir soruyu gelişigüzel doğru cevaplaması yine “şans başarısı” olarak adlandırılmaktadır. Tahmin yoktur.]
Seçmeli sorularda ‘Yanlış’ cevabın seçilmesine ilişkin psikolojik örüntüler
- Birey, soruyla ölçülen davranışa gerçekten sahip değildir; sorunun doğru cevabını bilmiyordur, öğrenmemiştir ve soruyu yanlış cevaplamıştır.
- Birey, soruyla ölçülen doğru bilgiye sahip değildir; ancak sorunun doğru cevabıyla ilgili gerçekte yanlış bilgilere sahiptir ve yanlış bilgilere dayanarak soruyu yanlış cevaplamıştır.
- Birey, soruyla ölçülen davranışa sahip değildir; doğru cevabı bilmiyordur, öğrenmemiştir. Ancak bazı çeldiricilerin yanlışlığını (doğru cevap olamayacağını) bildiği için çeldiricileri elemiştir. Şansını arttıran birey kalan seçenekler arasından gelişigüzel bir cevap seçmiştir ve soruyu yanlış cevaplamıştır. [Gelişigüzel yanlış cevabı seçen birey için şansız diyelim mi? Yoksa şansı, başarısız mı diyelim? ]
- Birey, soruyla ölçülen davranışa sahip değildir; doğru cevabı bilmiyordur, çeldiricilerin yanlışlığı hakkında da bilgisi yoktur ve soruyu gelişigüzel bir seçenek seçerek yanlış cevaplamıştır. [Ortada şans başarısı yoksa şans başarısızlığı var diyebilir miyiiz? ]
- Bireyin soruyu okumaya vakti kalmamıştır. Bireyin soruyla ölçülen davranışa sahip olup olmadığı, doğru cevabı ya da çeldiricilerin yanlışlığını bilip bilmediği bilinmemektedir. Ancak birey soruyu okumadan gelişigüzel bir seçenek seçerek yanlış cevaplamıştır.[Bireyin, soruyu okumadan seçmeli bir soruyu gelişigüzel yanlış cevaplaması şans başarısızlığıdır, ne yapsak ki?]
Seçmeli sorularda ‘Cevapsız (Boş)’ cevaba ilişkin psikolojik örüntüler
- Birey, soruyla ölçülen davranışa gerçekte sahip değildir ve soruyu gerçekte bilmediği için cevapsız bırakmıştır.
- Birey, soruyla ölçülen davranışa gerçekte sahip değildir. Ancak birey, puanlamada yanlış cevaplarından doğru cevabının eksiltileceğini bildiği için soruyu cevapsız bırakmıştır. [Yanlış bilgilerin, kavram yanılgılarının tespit edilmesi ya da öğrenme ile ilgili bir geri bildirime dönüşmesi böylece örselenmiştir]
- Birey, soruyla ölçülen davranışa kısmen sahiptir; gerçekte doğru cevabı bilip bilmediğinin kararsızlığındadır. Birey çekimser kalıp soruyu cevapsız bırakmıştır.
- Birey, soruyla ölçülen davranışa kısmen sahiptir; gerçekte doğru cevabı bilip bilmediğinin kararsızlığındadır. Ancak puanlamada yanlış cevaplarından doğru cevabının eksiltileceğini bildiği için soruyu cevapsız bırakmıştır.
- Birey, soruyla ölçülen davranışa gerçekte sahiptir. Ancak puanlamada yanlış cevaplarından doğru cevabının eksiltileceğinin bilgisi ile kararsız kalmıştır. Üstüne bireyin kişilik özelliği (aşırı kaygı, öz güvenin zayıflığı vb) soruyu cevaplama tepkisine bir faktör olarak etki ettiğinden birey, soruyu cevapsız bırakmıştır. [Bireyin doğru bilgileri olsa dahi bu sefer karar verme becerisi örselenmiştir.]
- Bireyin soruyu okumaya vakti kalmamıştır. Bireyin soruyla ölçülen davranışa sahip olup olmadığı, doğru cevabı ya da çeldiricilerin yanlışlığını bilip bilmediği gerçekte bilinmemektedir. Birey, soruya erişemediği için soruyu cevapsız bırakmıştır.
Doğru cevap, yanlış cevap ve cevapsız (boş) cevap örüntülerinin psikolojik temelleri ortadadır. Ancak puanlamada şans başarısını elimine etmek için düzeltme formülünün kullanılması ne doğru cevapların ne de yanlış cevapların “gerçekte ya da pratikte” ne kadarı doğru bilgiden ne kadarı yanlış bilgiden kaynaklı olduğu bilinmemektedir. Bilmediğimiz bir bilgiden yola çıkarak, bireylerin yanlış cevap sayılarından doğru cevap sayılarını eksiltiyoruz. Birey, soruyla ölçülen davranışa sahipse soruyu doğru ve ilgili davranışa sahip değilse soruyu yanlış cevaplandırır olarak ifade edilen temel bir sayıltıyı, şans başarısı varsayımı ile alaşağı ediyoruz. Her şeyden önce eğitimin insani ilkelerini görmezden geliyoruz. Şans başarısı elde eden bireylere (üstelik “gerçekte” ne kadar şanslı olduklarını dahi bilmeden) ceza puanı uygulamak doğru bir yaklaşım değildir. Eğitimde yanlış yapmanın, öğrenmenin bir yolu olduğunu kabul ediyorsak, bireylere yanlış cevapları için neden ceza puanı kesiyoruz? Yanlış bileni doğrulamak(bilmediğini öğrenme fırsatını tanımak) yerine neden cezalandırıyoruz? Üstüne gerçekten yanlış bilgiye sahip bireyleri, ceza puanı uygulaması ile daha çok eksiltiyoruz. Gerçekte yanlış ya da eksik bilgiye sahip olan bireyleri hiç ama hiç geliştirmiyoruz. Eğitimde; yanlış cevap veren/yanlış bilen bireyleri, doğru bildikleri üzerinden cezalandıramayız. Aksine öğrenmenin fırsatlarını arttırmalıyız. Şans başarısını elimine etmek için düzetme formülünün uygulanması gerçekte bireylerin ne kadar şans başarısına sahip olduğu bilinmeden yapılıyor. Eğitim ve eğitimde değerlendirme felsefemiz, yanlışı cezalandırma olmamalıdır. Yasakçı bir düzenin yıkıcı sonuçları ne ise puanlamalarda şans başarısı adı altında düzeltilme formülünün uygulanması da bireyler için benzer yıkıcı sonuçlara yol açmaktadır.
Yanlış Cevapları, Doğru Cevaplarla Cezalandırmak Yerine Öğrenme Fırsatlarını Arttırma Yollarını Düşünmeliyiz!
Öğrenmenin bir değil pek çok yolu vardır. İnsanlar yanlışlarından pek tabi ki öğrenirler.
Eğitim ile ne yapmak istiyoruz? Belli bir mekânda, belli bir zamanda, belli bir içerikte, nitelikli bir kişinin/kişilerin kılavuzluğunda, belli araç gereçlerle, belli materyallerle, uygun öğretme-öğrenme etkinlikleriyle bireylerin yeteneğini, bilgi edinimlerini, becerilerini, davranışlarını geliştirmek istiyoruz. Bireyin yeteneğinde, bilgi edinimlerinde, becerisinde ya da davranışlarında değişiklik oldu mu? Arttı mı, azaldı mı? Gelişti mi, geriledi mi? Eğitim için harcadığımız zamanı, emeği, kaynakları acaba boşa mı yoksa etkili mi kullandık?
Merak etmeyecek miyiz?
Ölçmeyecek miyiz?
Elbette merak edeceğiz.
Elbette ölçeceğiz.
Eğitim sürecini elbette tesadüflere bırakmayacağız.
Eğitim biliminin kuramsal çerçevesine ve deneysel verilerine dayalı aldığımız kararları her durumda sınayacağız; gerekirse ölçütlerimizi değiştireceğiz. Dolayısıyla sınavlardan asla vazgeçmeyeceğiz. Ölçme ve değerlendirme etkinliklerinden vazgeçemeyiz. Eğitimde ölçme ve değerlendirme etkinlikleri, yalnızca süreç sonlarında bir üst düzey eğitime geçiş için konu edinilen ve sınavların puanlama, değerlendirme, yerleştirme formüllerinden çok, çok daha fazlasıdır. Eğitim sistemimizi ve dolayısıyla ölçme-değerlendirme etkinliklerini, doğayla uyumlu ilkeler ve insanı yücelten değerler üzerine kurmalıyız; kurmaya mecburuz.
Kaynaklar
1- Turgut, M.F. ve Baykul, Y. (2010). Eğitimde Ölçme ve Değerlendirme. Ankara: Pegem Akademi
2- Baykal, A. (2014). Sınav Sorusu Nasıl Yazılmalıdır? https://www.academia.edu/9685890/SINAV_SORUSU_NASIL_YAZILMALI
Not: Bu yazı EPODDER bülteninde Haziran 2017, 4.sayısında yayımlanmıştır. Tıklayınız...
