Psikolojik Araştırmaların Bilinçli Bir Tüketicisi Olabilirsiniz

İyi araştırma geçerli araştırmadır. Araştırma geçerli olduğunda, araştırmacının vardığı sonuçlar da meşru olur. Örneğin, bir araştırmacı psikoterapiye katılmanın kaygıyı azalttığı veya uzun boylu insanların kısa boylu insanlardan daha zeki olduğu sonucuna varırsa, araştırma ancak terapi gerçekten işe yarıyorsa veya uzun boylu insanlar gerçekten daha zeki ise geçerlidir. Ne yazık ki, araştırmanın geçerliliğine yönelik birçok tehdit vardır ve bu tehditler bazen yersiz sonuçlara yol açabilir. Çoğu zaman ve araştırmacıların en iyi niyetlerine rağmen, web sitelerinin yanı sıra gazetelerde, dergilerde ve hatta bilimsel dergilerde bildirilen araştırmaların bazıları geçersizdir. Geçerlilik ya hep ya hiç önermesi değildir; bu da bazı araştırmaların diğerlerinden daha geçerli olduğu anlamına gelir. Sadece geçerliliğe yönelik potansiyel tehditleri anlayarak, bir araştırma projesinden çıkarılabilecek veya çıkarılamayacak sonuçlar hakkında bilgili kararlar verebilirsiniz. Araştırmanın geçerliliğine yönelik dört ana tehdit türü vardır ve bilinçli araştırma tüketicileri her bir türün farkındadır.

Araştırmanın Geçerliliğine Yönelik Tehditler
1. Yapı geçerliliğine yönelik tehditler. Ölçülen değişkenlerin ilgilenilen kavramsal değişkenleri ölçtüğü iddia edilse de, aslında ölçmüyor olabilirler.

2. İstatistiksel sonuç geçerliliğine yönelik tehditler. İstatistiksel testler yapılmadığı veya istatistiksel testler yanlış yorumlandığı için araştırmaya ilişkin sonuçlar yanlış olabilir.

3. İç geçerliliğe yönelik tehditler. Bağımsız değişkenin bağımlı değişkene neden olduğu iddia edilse de, bağımlı değişken aslında karıştırıcı bir değişkenden kaynaklanmış olabilir.

4. Dış geçerliliğe yönelik tehditler. Sonuçların daha genel olduğu iddia edilse de, gözlemlenen etkiler aslında sadece sınırlı koşullar altında veya belirli insan grupları için bulunmuş olabilir. (Stangor, 2011)

Geçerli araştırmalara yönelik bir tehdit, yapı geçerliliğine yönelik bir tehdit olduğunda ortaya çıkar. Yapı geçerliliği, araştırmada kullanılan değişkenlerin ölçmek üzere tasarlandıkları kavramsal değişkenleri ne ölçüde yeterli bir şekilde değerlendirdiğini ifade eder. Yapı geçerliliği için bir gereklilik, ölçümün güvenilir olmasıdır; burada güvenilirlik, ölçülen bir değişkenin tutarlılığını ifade eder. Banyo tartısı genellikle güvenilirdir, çünkü birkaç kez üzerine çıkıp inersek tartı her seferinde tutarlı bir şekilde aynı ağırlığı ölçecektir. Bazı psikolojik testler de dahil olmak üzere diğer ölçümler daha az güvenilir ve dolayısıyla daha az yararlı olabilir.

Normalde, araştırmacıların ölçümlerinin yapı geçerliliğini sağlamak için ellerinden geleni yaptıklarını varsayabiliriz, ancak bilinçli bir araştırma tüketicisi olarak sizin bunu sorgulamanız uygunsuz değildir. Bir araştırma hipotezindeki kavramsal değişkenler arasındaki ilişkiyi öğrenebilmenin, ölçülen değişkenlerin operasyonel tanımlarına bağlı olduğunu unutmamak her zaman önemlidir. Eğer ölçümler, değerlendirmek üzere tasarlandıkları kavramsal değişkenleri gerçekten ölçmüyorsa (örneğin, sözde bir IQ testi zekayı gerçekten ölçmüyorsa), o zaman kavramsal değişkenler arasındaki ilişki hakkında çıkarımlar yapmak için kullanılamazlar (Nunnally, 1978).

Bilim insanlarının araştırma hipotezlerini test etmek için kullandıkları istatistiksel yöntemler olasılık tahminlerine dayanır. Araştırma raporlarında sonuçların "istatistiksel olarak anlamlı" veya "istatistiksel olarak anlamlı değil" olduğunu belirten ifadeler göreceksiniz. Bu ifadelere, genellikle "p < 0,05" veya güven aralıkları gibi ifadeleri içeren istatistiksel testler eşlik edecektir. Bu ifadeler, toplanan verilerin istatistiksel anlamlılığını tanımlamaktadır. İstatistiksel anlamlılık, bir bilim insanının verilerin şans veya rastgele hatadan kaynaklanmadığı sonucuna varabileceği güven anlamına gelir. Bir araştırmacı bir sonucun istatistiksel olarak anlamlı olduğu sonucuna vardığında, gözlemlenen verilerin yalnızca şans faktörlerinden kaynaklanma ihtimalinin çok düşük olduğunu belirlemiş olur. Dolayısıyla, araştırma tasarımındaki değişkenler arasında veya değişkenler arasında gerçek bir ilişki olması muhtemeldir. Aksi takdirde, araştırmacı sonuçların istatistiksel olarak anlamlı olmadığı sonucuna varır.

İstatistiksel sonuç geçerliliği, araştırmacının araştırmanın istatistiksel önemi hakkında doğru sonuçlar çıkardığından ne ölçüde emin olabileceğimizi ifade eder. Toplanan verilerle ilgili istatistiksel çıkarımlar hatalı olduğu için araştırma hipotezi hakkında varılan sonuçlar yanlışsa araştırma geçersiz olacaktır. Bu hatalar ya bilim insanının verilerin aslında şansa bağlı olduğu halde araştırma hipotezini desteklediğini uygunsuz bir şekilde çıkarması ya da araştırmacının yanlışlıkla araştırma hipotezine destek bulamaması nedeniyle ortaya çıkabilir. Normalde, araştırmacıların bir araştırma tasarımının istatistiksel sonuç geçerliliğini sağlamak için ellerinden geleni yaptıklarını varsayabiliriz, ancak verilerle ilgili çıkarımların olasılıklı olduğunu ve asla kesin olmadığını her zaman aklımızda tutmalıyız - bu nedenle araştırma asla bir teoriyi "kanıtlamaz".

İç geçerlilik, bağımsız ve bağımlı değişkenler arasındaki nedensel ilişki hakkında çıkarılan sonuçlara ne ölçüde güvenebileceğimizi ifade eder (Campbell & Stanley, 1963). İç geçerlilik öncelikle, araştırmacının bağımsız değişkenin bağımlı değişkene neden olduğu sonucuna varmayı umduğu deneysel araştırma tasarımları için geçerlidir. Araştırma, karıştırıcı değişkenlerin (bir deney koşulundaki katılımcıların diğer koşullardaki katılımcılardan sistematik olarak farklı olduğu bağımsız değişken dışındaki değişkenler) varlığından arındırıldığında iç geçerlilik en üst düzeye çıkar.

Bir araştırmacının alkol almanın karşı cinsin daha çekici görünmesini sağladığı hipotezini test ettiği bir deneyi düşünün. Yaşları 21'den büyük olan katılımcılara rastgele olarak ya votka ile karıştırılmış portakal suyu içmeleri ya da sadece portakal suyu içmeleri söylenmiştir. Aldatma ihtiyacını ortadan kaldırmak için katılımcılara içeceklerinin votka içerip içermediği söylenmiştir. Alkolün etkisini göstermesi için yeterli zaman geçtikten sonra, katılımcılardan karşı cinsten kişilerin resimlerinin çekiciliğini değerlendirmeleri istenmiştir. Deneyin sonuçları, tahmin edildiği gibi, votka içen katılımcıların fotoğrafları önemli ölçüde daha çekici olarak değerlendirdiğini gösterdi.

Bu deney hakkında bir dakika düşünürseniz, araştırmacının algılanan çekicilikteki farklılıklara alkolün neden olduğu sonucuna varmak istemesine rağmen, alkol tüketmiş olma beklentisinin alkolün varlığıyla karıştırıldığı aklınıza gelebilir. Yani, alkol içenler alkol içtiklerini de biliyorlardı ve alkol içmeyenler içmediklerini biliyorlardı. Alkolün kendi etkisinden ziyade sadece alkol aldıklarını bilmeleri farklılıklara neden olmuş olabilir (bkz. Aşağıdaki şekil "Bir Karıştırma Örneği"). Potansiyel beklenti etkileri sorununa bir çözüm, her iki gruba da portakal suyu ve votka içtiklerini söylemek ancak gerçekten katılımcıların sadece yarısına alkol vermektir (bunu yapmak mümkündür çünkü votkanın çok az kokusu veya tadı vardır). Algılanan çekicilikte farklılıklar bulunursa, deneyci bunları alkol tüketmiş olmakla ilgili beklentilerden ziyade güvenle alkole bağlayabilir.

Şekil; Bir Karıştırma Örneği

Karıştırma, araştırma hipotezinin bir parçası olmayan bir değişkenin araştırma hipotezindeki değişkenle "karışması" veya karıştırılması durumunda ortaya çıkar. Alt panelde tüketilen alkol ve alkol beklentisi birbirine karışmıştır, ancak üst panelde ayrıdırlar (bağımsızdırlar). Karıştırma, bağımsız değişkenin (karıştırıcı değişken yerine) bağımlı değişkene neden olduğundan emin olmayı imkansız hale getirir.

İç geçerliliğe yönelik bir başka tehdit de deneycinin araştırma hipotezini ve katılımcıların hangi deneysel koşulda olduğunu bilmesi durumunda ortaya çıkabilir. Sonuç, deneycinin çeşitli deneysel koşullardaki araştırma katılımcılarına kurnazca farklı davrandığı ve araştırma hipotezinin geçersiz bir şekilde doğrulanmasıyla sonuçlanan bir durum olan deneyci yanlılığı potansiyelidir. Deneyci yanlılığını gösteren bir çalışmada, Rosenthal ve Fode (1963) sıçanlarda labirent öğrenimi ile ilgili bir araştırma hipotezini test etmek üzere on iki öğrenci göndermiştir. Başlangıçta öğrencilere açıklanmamış olsa da, aslında onlar bir deneyin katılımcılarıydı. Öğrencilerden altısına rastgele bir şekilde test edecekleri farelerin çok zeki olarak yetiştirildiği söylenirken, diğer altı öğrenci farelerin zeki olmayacak şekilde yetiştirildiğine inandırıldı. Gerçekte iki öğrenci grubuna verilen fareler arasında hiçbir fark yoktu. Öğrenciler verileriyle birlikte geri döndüklerinde şaşırtıcı bir sonuç ortaya çıktı. Zeki olduklarını düşünen öğrencilerin çalıştırdığı sıçanlar, zeki olmadıklarını düşünen öğrencilerin çalıştırdığı sıçanlara kıyasla önemli ölçüde daha iyi labirent öğrenimi göstermiştir. Bir şekilde öğrencilerin beklentileri verilerini etkilemiştir. Belli ki fareleri test ederken farklı bir şey yapmışlar, belki de labirentte koşma sürelerini ya da farelere davranışlarını ince bir şekilde değiştirmişler. Ve bu deneyci yanlılığı muhtemelen tamamen onların farkındalığı dışında gerçekleşmiştir.

Deneyci yanlılığından kaçınmak için araştırmacılar sıklıkla araştırmacıların koşullara kör olduğu deneyler yürütürler. Bu, deneycilerin araştırma hipotezlerini bilmelerine rağmen, katılımcıların hangi koşullara atandığını bilmedikleri anlamına gelir. Araştırmacının koşullara kör olması durumunda deneyci yanlılığı oluşamaz. Çift kör bir deneyde, hem araştırmacı hem de araştırma katılımcıları koşullara karşı kördür. Örneğin, bir ilacın çift kör denemesinde, araştırmacı verilen ilacın gerçek ilaç mı yoksa etkisiz plasebo mu olduğunu bilmez ve hastalar da hangisini aldıklarını bilmezler. Çift kör deneyler, deneyci etkileri potansiyelini ortadan kaldırır ve aynı zamanda katılımcı beklenti etkilerini de ortadan kaldırır.

İç geçerlilik, deney içinde meydana gelen olaylar hakkında çıkarılan sonuçlara atıfta bulunurken, dış geçerlilik, bir araştırma tasarımının sonuçlarının orijinal deneyin yürütüldüğü belirli yolun ötesine ne ölçüde genelleştirilebileceğini ifade eder. Genelleme, kavramsal değişkenler arasındaki ilişkilerin çok çeşitli insanlarda ve çok çeşitli manipüle edilen veya ölçülen değişkenlerde ne ölçüde gösterilebileceğini ifade eder.

Araştırmalarında üniversite öğrencilerini katılımcı olarak kullanan psikologlar, araştırmalarının üniversite öğrencisi olmayan kişilere de genellenip genellenmeyeceğini merak ederek genelleme konusunda endişe duyabilirler. Ve bir şirketteki çalışanların davranışlarını inceleyen araştırmacılar, aynı bulguların diğer şirketlere de yansıyıp yansımayacağını merak edebilirler. Bir katılımcı örneklemi için bulunan bir sonucun başka bir örneklem için geçerli olmayacağından şüphelenmek için bir neden olduğunda, genellemeyi test etmek için bu diğer popülasyonlarla araştırma yapılabilir.

Son zamanlarda birçok psikolog, bir sonucun farklı kültürlerden insanlar arasında ne ölçüde tekrarlanacağına ilişkin hipotezleri test etmekle ilgilenmektedir (Heine, 2010). Örneğin, bir araştırmacı Japon ve Amerikalı okul çocuklarından oluşan bir örnekleme şiddet içeren ve içermeyen filmler göstererek şiddet içeren video oyunları izlemenin saldırganlık üzerindeki etkilerinin Japon çocuklar için Amerikalı çocuklar için olduğu gibi aynı olup olmadığını test edebilir. Sonuçlar her iki kültürde de aynıysa, sonuçların genellendiğini söyleriz, ancak farklıysa, o zaman etkinin sınırlayıcı bir koşulunu öğrenmiş oluruz (bkz. aşağıdaki şekil "Kültürler Arası Bir Çoğaltma").

Şekil; Kültürler Arası Bir Çoğaltma

Kültürler arası bir kopyalamada, bir kültürde bulunan aynı etkiler başka bir kültürde de tekrarlanırsa dış geçerlilik gözlemlenir. Eğer bu etkiler yeni kültürde tekrarlanmazsa, o zaman orijinal sonuçların sınırlayıcı bir koşulu bulunmuş olur.

Araştırmacının genellemenin geçerli olmayacağına inanmak için özel bir nedeni olmadıkça, bir popülasyonda bulunan bir sonucun (bu popülasyon üniversite öğrencileri olsa bile) diğer popülasyonlara da genelleneceğini varsaymak uygundur. Araştırmacı, araştırma sonuçlarının tüm popülasyonlara genellenebileceğini asla gösteremeyeceğinden, araştırmacının bunu yapmaya çalışması beklenmez. İspat yükü daha ziyade, bir sonucun genellenmeyeceğini iddia edenlere aittir.

Bir araştırma hipotezinin tek başına test edilmesi, gösterebilecekleri açısından her zaman sınırlı olacağından, bilimdeki önemli ilerlemeler hiçbir zaman tek bir araştırma projesinin sonucu değildir. İlerlemeler, aynı teori veya araştırma hipotezinin birçok farklı testinden elde edilen bilgi birikimi yoluyla gerçekleşir. Bu testler, farklı araştırmacılar tarafından farklı araştırma tasarımları, katılımcılar ve bağımsız ve bağımlı değişkenlerin operasyonelleştirilmesi kullanılarak gerçekleştirilmektedir. Tüm bilimsel araştırmaların temelini oluşturan önceki araştırmaların tekrarlanması süreci replikasyon olarak bilinir.

Bilim insanları, araştırma bulgularının tekrarlarını özetlemek için genellikle meta-analiz olarak bilinen bir prosedürü kullanırlar. Meta-analiz, mevcut çalışmaların sonuçlarını bütünleştirmek ve bu çalışmalar hakkında sonuçlar çıkarmak için kullanan istatistiksel bir tekniktir. Meta-analizler çok fazla bilgi sağladığından, araştırma literatürünü özetlemenin çok popüler ve kullanışlı yollarıdır.

Bir meta-analiz, araştırma bulgularını gözden geçirmek için nispeten objektif bir yöntem sağlar çünkü (1) tam olarak hangi çalışmaların analize dahil edileceğini veya edilmeyeceğini gösteren dahil etme kriterlerini belirler, (2) dahil etme kriterlerini karşılayan tüm çalışmaları sistematik olarak arar ve (3) gözlemlenen ilişkilerin gücünün objektif bir ölçüsünü sağlar. Araştırmacılar sıklıkla, bulabildikleri takdirde, dergilerde yayınlanmamış çalışmaları da dahil etmektedirler.

Günlük Yaşamda Psikoloji: Web Sitelerinin Geçerliliğinin Eleştirel Değerlendirmesi
Bilimsel dergilerde yayınlanan araştırma raporlarının geçerliliğinin yüksek olması muhtemeldir çünkü araştırmanın hipotezleri, yöntemleri, sonuçları ve vardığı sonuçlar, araştırma yayınlanmadan önce diğer bilim insanları tarafından akran değerlendirmesi yoluyla titizlikle değerlendirilmiştir. Bu nedenle, psikolojik araştırmalar hakkında temel bilgi kaynağınız olarak hakemli dergi makalelerini kullanmak isteyeceksiniz.

Araştırma makaleleri geçerlilik için altın standart olsa da, diğer kaynaklardan da en azından bazı bilgiler edinmeniz gerekebilir ve bunu isteyebilirsiniz. İnternet, psikoloji de dahil olmak üzere neredeyse her şey hakkında bilgi edinebileceğiniz geniş bir bilgi kaynağıdır. Google veya Bing gibi arama motorları bir konu hakkında yüzlerce veya binlerce hit getirmekte ve Wikipedia gibi çevrimiçi ansiklopediler ilgili konular hakkında makaleler sunmaktadır.

Psikoloji gibi alanlar hakkında bilgi bulmak için doğal olarak web’i kullanacak olsanız da, web’den edindiğiniz bilgilerin geçerliliğini dikkatle değerlendirmenin önemli olduğunun da farkında olmalısınız. Ampirik araştırmalara dayanan bilgileri görüşlere dayanan bilgilerden ve geçerli ve geçersiz verilerden ayırt etmeye çalışmalısınız. Aşağıdaki materyal bu ayrımları yapmayı öğrenmenizde size yardımcı olabilir.

Web sitelerinin geçerliliğini değerlendirmek için kullanılan teknikler, diğer bilgi kaynaklarını değerlendirmek için kullanılanlara benzerdir. Önce bilginin kaynağını sorun. Alan adı bir “.com” (işletme), “.gov” (devlet) veya “.org” (kar amacı gütmeyen) kuruluş mu? Bu bilgi, yazarın (veya kuruluşun) web sitesini yayınlama amacını belirlemenize yardımcı olabilir. Bilginin nereden geldiğini belirlemeye çalışın. Veriler dergi makaleleri veya akademik ya da devlet kurumları gibi objektif kaynaklardan mı özetleniyor? Yazarın bilgileri mümkün olduğunca objektif bir şekilde yorumladığı görülüyor mu, yoksa veriler belirli bir bakış açısını desteklemek için mi yorumlanıyor? Hangi grupların, bireylerin ve siyasi ya da ticari çıkarların siteden kazanç sağlayacağını göz önünde bulundurun. Web sitesi, web sayfaları grubun belirli pozisyonlarını yansıtan bir savunuculuk grubunun potansiyel bir parçası mı? Herhangi bir grubun sitesindeki materyaller faydalı olabilir, ancak grubun amaçlarının ve potansiyel önyargılarının farkında olmaya çalışın.

Ayrıca, yazarların kendilerinin güvenilir bir bilgi kaynağı olarak görünüp görünmediğini sorun. Akademik bir kurumda pozisyonları var mı? Bilimsel dergilerde hakemli yayınları var mı? Birçok faydalı web sayfası kurumsal sitelerin bir parçası olarak görünür ve o kuruluşun çalışmalarını yansıtır. Amerikan Psikoloji Derneği veya Amerikan Psikoloji Topluluğu gibi profesyonel bir kuruluş tarafından destekleniyorsa, bilgilerin geçerliliğinden daha emin olabilirsiniz.

Materyalin doğruluğunu kontrol etmeye çalışın ve bilgi kaynaklarının güncel görünüp görünmediğini ayırt edin. Alıntı yapılan bilgiler orijinal haliyle okuyabileceğiniz şekilde mi? Saygın web siteleri muhtemelen dergi makaleleri ve bilimsel kitaplar gibi diğer saygın kaynaklara bağlantı verecektir. Bu kaynaklardan en azından bazılarını kendiniz okuyarak bilgilerin doğruluğunu kontrol etmeye çalışın.

Tüm yazarların, araştırmacıların ve kuruluşların en azından bir miktar önyargıya sahip olduğunu ve herhangi bir siteden alınan bilgilerin geçersiz olabileceğini söylemek doğru olacaktır. Ancak iyi bir materyal, diğer olası pozisyonları, yorumları veya sonuçları kabul ederek adil olmaya çalışır. Bilgi almak için göz attığınız web sitelerinin niteliğinin eleştirel bir şekilde incelenmesi, bilgilerin geçerli olup olmadığını belirlemenize yardımcı olacak ve buradan aldığınız bilgilere daha fazla güvenmenizi sağlayacaktır.

Önemli Çıkarımlar
-Araştırmacı tarafından varılan sonuçlar meşru olduğunda araştırmanın geçerli olduğu söylenir. Tüm araştırmalar geçersiz olma potansiyeline sahip olduğundan, hiçbir araştırma bir teoriyi veya araştırma hipotezini “kanıtlayamaz”.

-Yapı geçerliliği, istatistiksel sonuç geçerliliği, iç geçerlilik ve dış geçerlilik, araştırmayı okuyan ve yorumlayan kişilerin farkında olması gereken geçerlilik türleridir.

-Yapı geçerliliği, ölçülen değişkenlerin kavramsal değişkenleri yeterince ölçtüğüne dair güvenceyi ifade eder.

-İstatistiksel sonuç geçerliliği, istatistiksel anlamlılığa ilişkin çıkarımların uygun olduğuna dair güvenceyi ifade eder.

-İç geçerlilik, bağımsız değişkenin bağımlı değişkene neden olduğuna dair güvence anlamına gelir. Karıştırıcı değişkenler azaltıldığında veya ortadan kaldırıldığında iç geçerlilik daha yüksektir.

-Etkiler farklı manipülasyonlar, ölçümler ve popülasyonlar arasında tekrarlanabildiğinde dış geçerlilik daha yüksektir. Bilim insanları araştırmanın dış geçerliliğini daha iyi anlamak için meta-analizleri kullanmaktadır.

Alıştırmalar ve Eleştirel Düşünme
1. Pepsi Cola Corporation, şimdiki adıyla PepsiCo Inc., “Pepsi Challenge”ı bireylere rastgele Pepsi ya da Kola tattırarak gerçekleştirdi. Araştırmacılar bardakları sadece “M” (Pepsi için) veya “Q” (Kola için) ile etiketlediler ve katılımcılardan içeceği ne kadar beğendiklerini değerlendirmelerini istediler. Araştırma, deneklerin ezici bir çoğunlukla “M” bardağını “Q” bardağına tercih ettiğini göstermiş ve araştırmacılar Pepsi’nin Kola’ya tercih edildiği sonucuna varmıştır. Bu araştırma tasarımında hangi karıştırıcı değişkenin mevcut olduğunu söyleyebilir misiniz? Karıştırıcı değişkeni ortadan kaldırmak için araştırmayı nasıl yeniden tasarlardınız?

2. Bir meta-analiz araştırma raporunu bulunuz. Çalışmaları seçmek için kullanılan kriterleri belirleyin ve araştırmanın bulgularını raporlayın.

  • Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Chicago: Rand McNally.
  • Heine, S. J. (2010). Cultural psychology. In S. T. Fiske, D. T. Gilbert, & G. Lindzey (Eds.), Handbook of social psychology (5th ed., Vol. 2, pp. 1423–1464). Hoboken, NJ: John Wiley & Sons.
  • Nunnally, J. C. (1978). Pyschometric theory. New York, NY: McGraw-Hill.
  • Rosenthal, R., & Fode, K. L. (1963). The effect of experimenter bias on the performance of the albino rat. Behavioral Science, 8, 183–189.
  • Stangor, C. (2011). Research methods for the behavioral sciences (4th ed.). Mountain View, CA: Cengage.




    Yorumlar

    Bu blogdaki popüler yayınlar

    Gelişim ve Kalıtım Eleştirel Düşünme Soruları

    Periodonsiyum Klinik Uygulamalar

    Dentin Oluşumu