İçerik Geçerliliği analizleri -2
İçerik geçerliliği. Son yıllarda bazı bilimsel dergiler yeni geliştirilen ölçeklerde içerik geçerliliği bulgularına yer verilmesini talep etmeye başlamışlardır. İçerik geçerliliği yapısal geçerliliği destekleyen temel öğelerden biridir. Araştırmalarda içerik geçerliliği dört farklı şekilde gerçekleştirilebilir. Araştırmacı bu yöntemlerden hangisini uygulayacağına ölçeği ilk defa geliştirme, uyarlama veya mevcut bir ölçeği kullanma durumuna göre kendisi karar verir. İlk defa geliştirilen ölçeklerde içerik geçerliliği mümkün olduğu kadar geniş bir çerçevede analiz edilir. İçerik geçerliliği önceden saptanmış ve/veya alanda sık uygulanmış olan ölçeklerde ise bir veya iki yöntemin uygulanması yeterli görülebilir. Aslında bu tür ölçeklerin içerik geçerliliğinin yapılıp yapılmadığı bilinmediğinden yeniden içerik geçerliliği analizi yapılmaktadır. Bir başka neden orijinal geliştiricinin ölçeğinde sık aralıklarla izinsiz değişikliklerin yapılması nedeniyle ölçeğin gerçekten “orijinal” olup olmadığının saptanamamasıdır. Bilim adamları, orijinal ölçekte yazarından veya geliştiricisinden izin alınmak suretiyle değişiklik yapılması halinde içerik geçerliliğinin yeniden yapılmasını önermişlerdir (Jennifer R. Gray, 2017, s. 380).
Sık başvurulan içerik geçerliliği analiz yöntemleri şunlardır: İçerik Geçerliliği İndeksi (İGİ), Değerlendiriciler Arası Uyuşum (DAU), Lawshe İçerik Geçerlilik Oranı (LİGO), Madde-toplam puan korelasyonu (MTPK).
Bilim adamları içerik geçerliliği analizleri için en azından üç hakem belirlenmesini önermişler, hakem sayısının 10’dan fazla olmasının fazla bir fayda sağlamayacağını belirtmişlerdir. Önerimiz yüksek lisans tezleri için 5; doktora tezlerinde 10 hakemden yararlanılması yönündedir. Bu hakemlerin bir bölümü iç uzman bir bölümü ise dış uzman niteliğindedir. İç uzmanlar ilgili bilim dalında yüksek lisans veya doktora yapmış öğretim üyeleri veya ilgili branşta iş dünyasında çalışan uzman kişilerdir. Dış uzmanlar ise, bilim dalı dışındaki öğretim üyeleri veya ölçüm konularında bilgi ve uzmanlık sahibi olan diğer kişilerdir. Araştırmacı hakemlerin veya KİU’ların cinsiyet, eğitim, unvan ve kurum olarak dağılımları hakkında araştırmasında ve yüzde dağılımları hakkında genel olarak bilgi verir. Hakemlerin yüzde kaçı üniversite öğretim üyelerinden yüzde kaçı alandan belirlenmiştir ve uzmanlık kıdemleri nedir bu konularda okuyucuları bilgilendirir.
İGİ Geçerlilik analizleri. Geliştirilen ölçeklerde İGİ analizleri maddeler bazında ve genel ölçek bazında yapılmaktadır. Maddeler bazında yapılan geçerlilik (M-İGİ) ve ölçek bazında yapılan ise Ö-İGİ olarak nitelendirilmektedir. İGİ analizlerini yapmak için 1 = madde kavramsal yapıyla ilgili değil, 2= bir ölçüde ilgili, 3= büyük ölçüde ilgili, 4= tam ilgili dereceleme şıklarından yararlanılır. Değerlendirmede 3 ve 4 puanı veren hakem sayısı toplam hakem sayısına bölünür. Sonuç ilgililik konusunda uyuşma oranını verir. Dört veya beş hakemden yararlanılması durumunda 0,80 uyuşma oranı kabul edilebilir bir değer olarak görülür (Denise F. Polit, 2008, s. 459). Bir başka çalışmada ise bu oran 0,78 olarak öngörülmüştür (Rajeev Bali, 2013, s. 355). Düşük uyuşma oranına sahip maddeler ölçekten çıkarılır. Rahayu (2017) bu konuda otorite olan Lynn (1986)’den aktararak İGİ değeri >0,60 olan maddelerin ölçekten çıkarılmasını, 0,60 - 0,80 arasında olan maddelerin gözden geçirilmesini önermiştir (Rahayu, 2017). Ölçek düzeyinde uyuşma oranın belirlerken iki yaklaşım söz konusudur. Birincisi “tam uyuşma” halidir. Bu uygulama kısaltma olarak Ö-İGİ/TU sembolü ile gösterilir. Bu uygulamada 4 hakemin kaç madde üzerinde tam bir mutabakat içinde aynı puanları verdiklerine bakılır. Diyelim ki 4 hakem 10 maddeli bir ölçekte 7 maddeye 4 puanını vermiş olsunlar. Böyle bir durumda Ö-İGİ/TU= 0,70 olarak belirlenir. Fakat hakemlerin değerlendirme sonucu ortaya çıkan uyuşumları veya uyuşmazlıkları tesadüfen de ortaya çıkmış olabileceğinden bu değerlendirme “uzman yanlılığı” veya “yanlış anlaşılma” hata paylarını içeriyor olabilir. Çok kesin ve katı olan bu yaklaşım genelde tercih edilmez (Denise F. Polit, 2008). İkinci yaklaşım, Ö-İGİ’yi M-İGİ değerlerinin ortalamasını alarak hesaplamaktır. Bu hesaplama biçimi Ö-İGİ/ort simgesiyle gösterilir ve iyi bir içerik geçerliliği için kriter olarak 0,90 oranı önerilmiştir. Ölçeğin maddelerinde ve genel ölçeğin tamamında kriter puanları yakalama konusunda sorunlar yaşandığı durumda ifadelerde gerekli gözden geçirmeler yapılır ve hakemlere yeniden derecelendirme yaptırılarak gerekli oranlar bulununcaya kadar iyileştirme çalışmalarına devam edilir.
Tablo 1. Manevi Değerler Ölçeği İçerik Geçerliliği İndeksi Değerleri
İlgililik Anlaşılırlık
Madde no hakem sayısı toplam I-CVI Madde no hakem sayısı toplam I-CVI
1 4 4 1,00 1 4 4 0,05
2 4 4 1,00 2 4 4 1,00
3 4 4 1,00 3 4 4 1,00
4 4 4 1,00 4 4 4 1,00
5 4 4 1,00 5 4 4 1,00
6 4 3 0,75 6 4 4 1,00
7 4 4 1,00 7 4 2 0,50
8 4 2 0,50 8 4 3 0,75
9 4 2 0,50 9 4 2 0,50
10 4 3 0,75 10 4 4 1,00
11 4 3 0,75 11 4 4 1,00
12 4 2 0,50 12 4 4 1,00
13 4 4 1,00 13 4 4 1,00
14 4 3 0,75 14 4 3 0,75
15 4 3 0,75 15 4 4 1,00
16 4 4 1,00 16 4 4 1,00
17 4 3 0,75 17 4 3 0,75
18 4 2 0,50 18 4 3 0,75
19 4 3 0,75 19 4 4 1,00
20 4 2 0,50 20 4 2 0,50
S-CVI 0,79 S-CVI 0,83
Not. Hesaplamalarda bir yüksek lisans öğrencisinin verileri kullanılmıştır.
S-CVI of .80 oldukça yüksek bir iç geçerlilik oranıdır.
Tablo 2. Farklılıkların Yönetimi Ölçeği İçerik Geçerliliği İndeksi Değerleri
İlgililik Anlaşılırlık
Madde no hakem sayısı toplam I-CVI Madde no hakem sayısı toplam I-CVI
1 4 4 1,00 1 4 4 1,00
2 4 3 0,75 2 4 4 1,00
3 4 4 1,00 3 4 4 1,00
4 4 4 1,00 4 4 4 1,00
5 4 4 1,00 5 4 3 0,75
6 4 3 0,75 6 4 4 1,00
7 4 3 0,75 7 4 3 0,75
8 4 3 0,75 8 4 4 1,00
9 4 4 1,00 9 4 4 1,00
10 4 2 0,50 10 4 2 0,50
11 4 4 1,00 11 4 3 0,75
12 4 4 1,00 12 4 4 1,00
13 4 3 0,75 13 4 4 1,00
14 4 4 1,00 14 4 3 0,75
15 4 4 1,00 15 4 4 1,00
16 4 3 0,75 16 4 4 1,00
17 4 3 0,75 17 4 4 1,00
18 4 4 1,00 18 4 4 1,00
19 4 3 0,75 19 4 4 1,00
20 4 3 0,75 20 4 4 1,00
21 4 3 0,75 21 4 1,00
22 4 4 1,00 22 4 1
23 4 4 1 23 4 1,00
24 4 3 0,75 24 4 0,75
25 4 3 0,75 25 3 1,00
26 4 4 1,00 26 4 1
0,87 0,93
Değerlendiriciler Arası Uyuşum (DAU). Geliştirilen ölçeklerde DAU analizleri hakemlerin ikili gruplandırılmaları suretiyle yapılmıştır ve sonuçları Tablo 3 ve Tablo 4’te verilmiştir.
Tablo 3. Maneviyat Ölçeği Değerlendiriciler Arası Uyuşma (DAU)
İlgililik Anlaşılırlık
Madde sayısı hakem sayısı Hakemler HAU Madde sayısı hakem sayısı Hakemler HAU
20 2 1-2 0,45 20 2 1-2 0,40
20 2 1-3 0,30 20 2 1-3 0,35
20 2 1-4 0,60 20 2 1-4 0,90
20 2 2-3 0,30 20 2 2-3 0,50
20 2 2-4 0,15 20 2 2-4 0,40
20 2 3-4 0,25 20 2 3-4 0,35
Ortalama 0,34 Ortalama 0,48
HAU: Hakemler arası uyuşum.
DAU oranı ilgililikte 0,34 anlaşılırlık ölçeğinde 0,48 çıkmıştır. Alan yazında 0.40 ila 0,60 arasındaki değerler orta derecede uyuşum olarak yorumlanmaktadır. İlgililik boyutu “makul” ölçülerdedir. Maneviyat ölçeğinde değerlerin düşük çıkması bu tür ölçeklerin Türkiye’de çok yoğun kullanılmamasından kaynaklanıyor olabilir. Bununla birlikte ölçeğin özellikle düşük puan alan dört maddesi yeniden gözden geçirilmiş ve ilgililiğini artırmaya yönelik olarak bazı iyileştirmeler yapılmıştır.
Tablo 4. Farklılıkların Yönetimi Değerlendiriciler Arası Uyuşma (DAU)
İlgililik Anlaşılırlık
Madde sayısı hakem sayısı Hakemler HAU Madde sayısı hakem sayısı Hakemler HAU
26 2 1-2 0,58 26 2 1-2 0,50
26 2 1-3 0,19 26 2 1-3 0,46
26 2 1-4 0,85 26 2 1-4 0,100
26 2 2-3 0,35 26 2 2-3 0,46
26 2 2-4 0,54 26 2 2-4 0,50
26 2 3-4 0,19 26 2 3-4 0,46
Ortalama 0,45 Ortalama 0,56
HAU: Hakemler arası uyuşum.
Lawashe içerik geçerliliği oranı (LİGO). İçerik Geçerliliği Oranı yaklaşımı İçerik Geçerliliği indeksine benzer. Madde düzeyli bu analizde geçerlilik çalışması yapacak hakemlerin sayısının en az 5 olması önerilmiştir (Norashady Mohd Noor, 2017). Geliştirilen ölçeklerde Lawshe (1975) “bireysel madde düzeyli” geçerlilik analizleri formül yardımı aracılığıyla hesaplanmıştır ve sonuçları Tablo 5 ve Tablo 6’de verilmiştir. Geçerlilik analizi formülü şu şekildedir: LİGO = (ne - N/2) / (N/2). N = Toplam hakem sayısı, ng =gerekli veya “ilgililik” etiketi kullanılmışsa 3 ve 4’ü işaretleyen hakem sayısı. Lawashe yaklaşımında “dereceleme etiketi” olarak “gereklilik” temasından yararlanılır. Fakat hakemlere ayrı bir gereklilik ölçeği tanımlanmadığından ilgililik ölçeği aynı zamanda “gereklilik ölçeği” gibi değerlendirilebilir. “Gereklilik” derece etiketleri üç düzeyli olarak şu şekilde belirlenir. 1= gerekli değil 2=yararlı, fakat gerekli değil, 3= gerekli.
Lawshe LİGO oranı için asgari 0,49 değerini belirlemiştir. Bu rakamın altında “LİGO değerine” sahip bir maddenin içerik geçerliliğine sahip olmadığı varsayılır. LİGO 0,49 değeri hakemlerin %75 oranında uyuşum içinde olduklarını gösterir. Başka yazarlar ise 0,80 gibi daha sıkı uyuşum değerleri önermişlerdir. Lawshe’nin yaklaşımı esas olarak maddelerin içerik geçerliliğiyle ilgilidir. Bütün ölçeğin geçerliliği hakkında fazla bir fikir vermez. Bu amaçla bu yöntemin Gregory (1996) ve Topf (1986) yöntemiyle desteklenmesinde yarar vardır. Toplam İçerik Geçerliliği -TİG (%) = B / A + B. Formüldeki B değeri LİGO içerik geçerliliğine sahip maddelerin sayısıdır. A + B ise ölçekteki tüm maddelerin sayısıdır. TİG değerinin 0,79 olması hakemlerin 0,90 oranında uyuşum içinde olduğunu gösterir.
Tablo 5. Lawashe geçerlilik Analizleri sonuçları
Maneviyat ölçeği (İlgililik/gereklilik) Farklılıkların Yönetimi Ölçeği (İlgililik/gereklilik)
ne * N/2 ne-N/2 (ne-N/2)/(N/2) ne * N/2 ne-N/2 (ne-N/2)/(N/2)
4 2 2 1 4 2 2 1
4 2 2 1 3 2 1 0,5
4 2 2 1 4 2 2 1
4 2 2 1 4 2 2 1
4 2 2 1 4 2 2 1
4 2 2 1 3 2 1 0,5
3 2 1 0,5 3 2 1 0,5
2 2 0 0 3 2 1 0,5
3 2 1 0,5 4 2 2 1
3 2 1 0,5 2 2 0 0
3 2 1 0,5 4 2 2 1
2 2 0 0 4 2 2 1
4 2 2 1 3 2 1 0,5
2 2 0 0 4 2 2 1
3 2 1 0,5 4 2 2 1
4 2 2 1 3 2 1 0,5
3 2 1 0,5 3 2 1 0,5
2 2 0 0 4 2 2 1
3 2 1 0,5 3 2 1 0,5
2 2 0 0 3 2 1 0,5
3 2 1 0,7
4 2 2 0,7
4 2 2 0,7
3 2 1 0,7
3 2 1 0,7
4 2 2 0,7
Ortalama 0,58 0,70
* 3 ve 4’ü işaretleyenler.
Madde-Toplam Puan Korelasyonu MTPK. Bu yaklaşımda ölçeğin maddeleri toplam puanla Pearson korelasyon analizine tabi tutulur ve hesaplama sonucunda P anlamlılık (çift yönlü) değerlerine bakılır. Hesaplamada P değeri 0,000 < 0,05 çıkmışsa ilgili maddenin “geçerli” olduğuna karar verilir.
İçerik geçerliliği. Son yıllarda bazı bilimsel dergiler yeni geliştirilen ölçeklerde içerik geçerliliği bulgularına yer verilmesini talep etmeye başlamışlardır. İçerik geçerliliği yapısal geçerliliği destekleyen temel öğelerden biridir. Araştırmalarda içerik geçerliliği dört farklı şekilde gerçekleştirilebilir. Araştırmacı bu yöntemlerden hangisini uygulayacağına ölçeği ilk defa geliştirme, uyarlama veya mevcut bir ölçeği kullanma durumuna göre kendisi karar verir. İlk defa geliştirilen ölçeklerde içerik geçerliliği mümkün olduğu kadar geniş bir çerçevede analiz edilir. İçerik geçerliliği önceden saptanmış ve/veya alanda sık uygulanmış olan ölçeklerde ise bir veya iki yöntemin uygulanması yeterli görülebilir. Aslında bu tür ölçeklerin içerik geçerliliğinin yapılıp yapılmadığı bilinmediğinden yeniden içerik geçerliliği analizi yapılmaktadır. Bir başka neden orijinal geliştiricinin ölçeğinde sık aralıklarla izinsiz değişikliklerin yapılması nedeniyle ölçeğin gerçekten “orijinal” olup olmadığının saptanamamasıdır. Bilim adamları, orijinal ölçekte yazarından veya geliştiricisinden izin alınmak suretiyle değişiklik yapılması halinde içerik geçerliliğinin yeniden yapılmasını önermişlerdir (Jennifer R. Gray, 2017, s. 380).
Sık başvurulan içerik geçerliliği analiz yöntemleri şunlardır: İçerik Geçerliliği İndeksi (İGİ), Değerlendiriciler Arası Uyuşum (DAU), Lawshe İçerik Geçerlilik Oranı (LİGO), Madde-toplam puan korelasyonu (MTPK).
Bilim adamları içerik geçerliliği analizleri için en azından üç hakem belirlenmesini önermişler, hakem sayısının 10’dan fazla olmasının fazla bir fayda sağlamayacağını belirtmişlerdir. Önerimiz yüksek lisans tezleri için 5; doktora tezlerinde 10 hakemden yararlanılması yönündedir. Bu hakemlerin bir bölümü iç uzman bir bölümü ise dış uzman niteliğindedir. İç uzmanlar ilgili bilim dalında yüksek lisans veya doktora yapmış öğretim üyeleri veya ilgili branşta iş dünyasında çalışan uzman kişilerdir. Dış uzmanlar ise, bilim dalı dışındaki öğretim üyeleri veya ölçüm konularında bilgi ve uzmanlık sahibi olan diğer kişilerdir. Araştırmacı hakemlerin veya KİU’ların cinsiyet, eğitim, unvan ve kurum olarak dağılımları hakkında araştırmasında ve yüzde dağılımları hakkında genel olarak bilgi verir. Hakemlerin yüzde kaçı üniversite öğretim üyelerinden yüzde kaçı alandan belirlenmiştir ve uzmanlık kıdemleri nedir bu konularda okuyucuları bilgilendirir.
İGİ Geçerlilik analizleri. Geliştirilen ölçeklerde İGİ analizleri maddeler bazında ve genel ölçek bazında yapılmaktadır. Maddeler bazında yapılan geçerlilik (M-İGİ) ve ölçek bazında yapılan ise Ö-İGİ olarak nitelendirilmektedir. İGİ analizlerini yapmak için 1 = madde kavramsal yapıyla ilgili değil, 2= bir ölçüde ilgili, 3= büyük ölçüde ilgili, 4= tam ilgili dereceleme şıklarından yararlanılır. Değerlendirmede 3 ve 4 puanı veren hakem sayısı toplam hakem sayısına bölünür. Sonuç ilgililik konusunda uyuşma oranını verir. Dört veya beş hakemden yararlanılması durumunda 0,80 uyuşma oranı kabul edilebilir bir değer olarak görülür (Denise F. Polit, 2008, s. 459). Bir başka çalışmada ise bu oran 0,78 olarak öngörülmüştür (Rajeev Bali, 2013, s. 355). Düşük uyuşma oranına sahip maddeler ölçekten çıkarılır. Rahayu (2017) bu konuda otorite olan Lynn (1986)’den aktararak İGİ değeri >0,60 olan maddelerin ölçekten çıkarılmasını, 0,60 - 0,80 arasında olan maddelerin gözden geçirilmesini önermiştir (Rahayu, 2017). Ölçek düzeyinde uyuşma oranın belirlerken iki yaklaşım söz konusudur. Birincisi “tam uyuşma” halidir. Bu uygulama kısaltma olarak Ö-İGİ/TU sembolü ile gösterilir. Bu uygulamada 4 hakemin kaç madde üzerinde tam bir mutabakat içinde aynı puanları verdiklerine bakılır. Diyelim ki 4 hakem 10 maddeli bir ölçekte 7 maddeye 4 puanını vermiş olsunlar. Böyle bir durumda Ö-İGİ/TU= 0,70 olarak belirlenir. Fakat hakemlerin değerlendirme sonucu ortaya çıkan uyuşumları veya uyuşmazlıkları tesadüfen de ortaya çıkmış olabileceğinden bu değerlendirme “uzman yanlılığı” veya “yanlış anlaşılma” hata paylarını içeriyor olabilir. Çok kesin ve katı olan bu yaklaşım genelde tercih edilmez (Denise F. Polit, 2008). İkinci yaklaşım, Ö-İGİ’yi M-İGİ değerlerinin ortalamasını alarak hesaplamaktır. Bu hesaplama biçimi Ö-İGİ/ort simgesiyle gösterilir ve iyi bir içerik geçerliliği için kriter olarak 0,90 oranı önerilmiştir. Ölçeğin maddelerinde ve genel ölçeğin tamamında kriter puanları yakalama konusunda sorunlar yaşandığı durumda ifadelerde gerekli gözden geçirmeler yapılır ve hakemlere yeniden derecelendirme yaptırılarak gerekli oranlar bulununcaya kadar iyileştirme çalışmalarına devam edilir.
Tablo 1. Manevi Değerler Ölçeği İçerik Geçerliliği İndeksi Değerleri
İlgililik Anlaşılırlık
Madde no hakem sayısı toplam I-CVI Madde no hakem sayısı toplam I-CVI
1 4 4 1,00 1 4 4 0,05
2 4 4 1,00 2 4 4 1,00
3 4 4 1,00 3 4 4 1,00
4 4 4 1,00 4 4 4 1,00
5 4 4 1,00 5 4 4 1,00
6 4 3 0,75 6 4 4 1,00
7 4 4 1,00 7 4 2 0,50
8 4 2 0,50 8 4 3 0,75
9 4 2 0,50 9 4 2 0,50
10 4 3 0,75 10 4 4 1,00
11 4 3 0,75 11 4 4 1,00
12 4 2 0,50 12 4 4 1,00
13 4 4 1,00 13 4 4 1,00
14 4 3 0,75 14 4 3 0,75
15 4 3 0,75 15 4 4 1,00
16 4 4 1,00 16 4 4 1,00
17 4 3 0,75 17 4 3 0,75
18 4 2 0,50 18 4 3 0,75
19 4 3 0,75 19 4 4 1,00
20 4 2 0,50 20 4 2 0,50
S-CVI 0,79 S-CVI 0,83
Not. Hesaplamalarda bir yüksek lisans öğrencisinin verileri kullanılmıştır.
S-CVI of .80 oldukça yüksek bir iç geçerlilik oranıdır.
Tablo 2. Farklılıkların Yönetimi Ölçeği İçerik Geçerliliği İndeksi Değerleri
İlgililik Anlaşılırlık
Madde no hakem sayısı toplam I-CVI Madde no hakem sayısı toplam I-CVI
1 4 4 1,00 1 4 4 1,00
2 4 3 0,75 2 4 4 1,00
3 4 4 1,00 3 4 4 1,00
4 4 4 1,00 4 4 4 1,00
5 4 4 1,00 5 4 3 0,75
6 4 3 0,75 6 4 4 1,00
7 4 3 0,75 7 4 3 0,75
8 4 3 0,75 8 4 4 1,00
9 4 4 1,00 9 4 4 1,00
10 4 2 0,50 10 4 2 0,50
11 4 4 1,00 11 4 3 0,75
12 4 4 1,00 12 4 4 1,00
13 4 3 0,75 13 4 4 1,00
14 4 4 1,00 14 4 3 0,75
15 4 4 1,00 15 4 4 1,00
16 4 3 0,75 16 4 4 1,00
17 4 3 0,75 17 4 4 1,00
18 4 4 1,00 18 4 4 1,00
19 4 3 0,75 19 4 4 1,00
20 4 3 0,75 20 4 4 1,00
21 4 3 0,75 21 4 1,00
22 4 4 1,00 22 4 1
23 4 4 1 23 4 1,00
24 4 3 0,75 24 4 0,75
25 4 3 0,75 25 3 1,00
26 4 4 1,00 26 4 1
0,87 0,93
Değerlendiriciler Arası Uyuşum (DAU). Geliştirilen ölçeklerde DAU analizleri hakemlerin ikili gruplandırılmaları suretiyle yapılmıştır ve sonuçları Tablo 3 ve Tablo 4’te verilmiştir.
Tablo 3. Maneviyat Ölçeği Değerlendiriciler Arası Uyuşma (DAU)
İlgililik Anlaşılırlık
Madde sayısı hakem sayısı Hakemler HAU Madde sayısı hakem sayısı Hakemler HAU
20 2 1-2 0,45 20 2 1-2 0,40
20 2 1-3 0,30 20 2 1-3 0,35
20 2 1-4 0,60 20 2 1-4 0,90
20 2 2-3 0,30 20 2 2-3 0,50
20 2 2-4 0,15 20 2 2-4 0,40
20 2 3-4 0,25 20 2 3-4 0,35
Ortalama 0,34 Ortalama 0,48
HAU: Hakemler arası uyuşum.
DAU oranı ilgililikte 0,34 anlaşılırlık ölçeğinde 0,48 çıkmıştır. Alan yazında 0.40 ila 0,60 arasındaki değerler orta derecede uyuşum olarak yorumlanmaktadır. İlgililik boyutu “makul” ölçülerdedir. Maneviyat ölçeğinde değerlerin düşük çıkması bu tür ölçeklerin Türkiye’de çok yoğun kullanılmamasından kaynaklanıyor olabilir. Bununla birlikte ölçeğin özellikle düşük puan alan dört maddesi yeniden gözden geçirilmiş ve ilgililiğini artırmaya yönelik olarak bazı iyileştirmeler yapılmıştır.
Tablo 4. Farklılıkların Yönetimi Değerlendiriciler Arası Uyuşma (DAU)
İlgililik Anlaşılırlık
Madde sayısı hakem sayısı Hakemler HAU Madde sayısı hakem sayısı Hakemler HAU
26 2 1-2 0,58 26 2 1-2 0,50
26 2 1-3 0,19 26 2 1-3 0,46
26 2 1-4 0,85 26 2 1-4 0,100
26 2 2-3 0,35 26 2 2-3 0,46
26 2 2-4 0,54 26 2 2-4 0,50
26 2 3-4 0,19 26 2 3-4 0,46
Ortalama 0,45 Ortalama 0,56
HAU: Hakemler arası uyuşum.
Lawashe içerik geçerliliği oranı (LİGO). İçerik Geçerliliği Oranı yaklaşımı İçerik Geçerliliği indeksine benzer. Madde düzeyli bu analizde geçerlilik çalışması yapacak hakemlerin sayısının en az 5 olması önerilmiştir (Norashady Mohd Noor, 2017). Geliştirilen ölçeklerde Lawshe (1975) “bireysel madde düzeyli” geçerlilik analizleri formül yardımı aracılığıyla hesaplanmıştır ve sonuçları Tablo 5 ve Tablo 6’de verilmiştir. Geçerlilik analizi formülü şu şekildedir: LİGO = (ne - N/2) / (N/2). N = Toplam hakem sayısı, ng =gerekli veya “ilgililik” etiketi kullanılmışsa 3 ve 4’ü işaretleyen hakem sayısı. Lawashe yaklaşımında “dereceleme etiketi” olarak “gereklilik” temasından yararlanılır. Fakat hakemlere ayrı bir gereklilik ölçeği tanımlanmadığından ilgililik ölçeği aynı zamanda “gereklilik ölçeği” gibi değerlendirilebilir. “Gereklilik” derece etiketleri üç düzeyli olarak şu şekilde belirlenir. 1= gerekli değil 2=yararlı, fakat gerekli değil, 3= gerekli.
Lawshe LİGO oranı için asgari 0,49 değerini belirlemiştir. Bu rakamın altında “LİGO değerine” sahip bir maddenin içerik geçerliliğine sahip olmadığı varsayılır. LİGO 0,49 değeri hakemlerin %75 oranında uyuşum içinde olduklarını gösterir. Başka yazarlar ise 0,80 gibi daha sıkı uyuşum değerleri önermişlerdir. Lawshe’nin yaklaşımı esas olarak maddelerin içerik geçerliliğiyle ilgilidir. Bütün ölçeğin geçerliliği hakkında fazla bir fikir vermez. Bu amaçla bu yöntemin Gregory (1996) ve Topf (1986) yöntemiyle desteklenmesinde yarar vardır. Toplam İçerik Geçerliliği -TİG (%) = B / A + B. Formüldeki B değeri LİGO içerik geçerliliğine sahip maddelerin sayısıdır. A + B ise ölçekteki tüm maddelerin sayısıdır. TİG değerinin 0,79 olması hakemlerin 0,90 oranında uyuşum içinde olduğunu gösterir.
Tablo 5. Lawashe geçerlilik Analizleri sonuçları
Maneviyat ölçeği (İlgililik/gereklilik) Farklılıkların Yönetimi Ölçeği (İlgililik/gereklilik)
ne * N/2 ne-N/2 (ne-N/2)/(N/2) ne * N/2 ne-N/2 (ne-N/2)/(N/2)
4 2 2 1 4 2 2 1
4 2 2 1 3 2 1 0,5
4 2 2 1 4 2 2 1
4 2 2 1 4 2 2 1
4 2 2 1 4 2 2 1
4 2 2 1 3 2 1 0,5
3 2 1 0,5 3 2 1 0,5
2 2 0 0 3 2 1 0,5
3 2 1 0,5 4 2 2 1
3 2 1 0,5 2 2 0 0
3 2 1 0,5 4 2 2 1
2 2 0 0 4 2 2 1
4 2 2 1 3 2 1 0,5
2 2 0 0 4 2 2 1
3 2 1 0,5 4 2 2 1
4 2 2 1 3 2 1 0,5
3 2 1 0,5 3 2 1 0,5
2 2 0 0 4 2 2 1
3 2 1 0,5 3 2 1 0,5
2 2 0 0 3 2 1 0,5
3 2 1 0,7
4 2 2 0,7
4 2 2 0,7
3 2 1 0,7
3 2 1 0,7
4 2 2 0,7
Ortalama 0,58 0,70
* 3 ve 4’ü işaretleyenler.
Madde-Toplam Puan Korelasyonu MTPK. Bu yaklaşımda ölçeğin maddeleri toplam puanla Pearson korelasyon analizine tabi tutulur ve hesaplama sonucunda P anlamlılık (çift yönlü) değerlerine bakılır. Hesaplamada P değeri 0,000 < 0,05 çıkmışsa ilgili maddenin “geçerli” olduğuna karar verilir.
İSTATİSTİK
ÖRNEKLEM BÜYÜKLÜĞÜ
Örneklem Büyüklüğü
NORMALLİK TESTLERİ
QQ Plots
SONUÇLARIN RAPORLANMASI
Raporlama Biçimi
Demografik Tabloların Sunumu
Çarpıklık ve Basıklık
Boyutların Sunumu
Ölçeğin Maddeleri Kimden Alındı
Doğrulayıcı Faktör Analizi Sonuçları
Maddeler Arası Korelasyon Sonuçları
ANOVA Sonuçları
ARAŞTIRMANIN SINIRLILIKLARI
Açıklama
Birinci Örnek
İSTATİSTİKÎ ANALİZLER
Analiz Aşamaları
ANOVA Sonuçları
Tek Demografik / Kompozit Değişken
Çoklu Demografik / Kompozit Değişken
Kompozit / Kompozit Değişken
Moderator - Katalizör Değişken
ICC Küme içi korelasyon analizi
GEÇERLİLİK ANALİZLERİ
Yüzey Geçerliliği
İçerik Geçirliliği-1
İçerik Geçerliliği-2
Yüzey ve İçerik geçerliliği (Word belgesi)
AÇIKLAYICI FAKTÖR ANALİZİ
DOĞRULAYICI FAKTÖR ANALİZİ
Regresyon Analizi
Etki Büyüklüğü
Etki Büyüklüğü
Etki Büyüklüğü--2
Faktör Analizi Varsayımları
Değişkenlerin Çoklu Normallik Testi
Birleşme geçerliliği
Linkler
Örneklem Büyüklüğü
NORMALLİK TESTLERİ
QQ Plots
SONUÇLARIN RAPORLANMASI
Raporlama Biçimi
Demografik Tabloların Sunumu
Çarpıklık ve Basıklık
Boyutların Sunumu
Ölçeğin Maddeleri Kimden Alındı
Doğrulayıcı Faktör Analizi Sonuçları
Maddeler Arası Korelasyon Sonuçları
ANOVA Sonuçları
ARAŞTIRMANIN SINIRLILIKLARI
Açıklama
Birinci Örnek
İSTATİSTİKÎ ANALİZLER
Analiz Aşamaları
ANOVA Sonuçları
Tek Demografik / Kompozit Değişken
Çoklu Demografik / Kompozit Değişken
Kompozit / Kompozit Değişken
Moderator - Katalizör Değişken
ICC Küme içi korelasyon analizi
GEÇERLİLİK ANALİZLERİ
Yüzey Geçerliliği
İçerik Geçirliliği-1
İçerik Geçerliliği-2
Yüzey ve İçerik geçerliliği (Word belgesi)
AÇIKLAYICI FAKTÖR ANALİZİ
DOĞRULAYICI FAKTÖR ANALİZİ
Regresyon Analizi
Etki Büyüklüğü
Etki Büyüklüğü
Etki Büyüklüğü--2
Faktör Analizi Varsayımları
Değişkenlerin Çoklu Normallik Testi
Birleşme geçerliliği
Linkler