E-Siber.com
M. Mekin Pesen
Sitede 1775 okunmaya değer yazı var.

Google'ýn Web Sitelerini Tarayamama Nedenleri

Google, kendi webmaster forumlarýnda web site sahiplerinin sýklýkla þikayet ettiði hosting ile alakalý olan site tarama ve sonuçlarda görünmeme problemlerini ve de bu durumlarýn web site yöneticisinden (webmaster) mi yoksa barýndýrma (hosting) hizmetini alýnan yerden mi kaynaklandýðýný anlatan bir rehber yayýnlandý. Sizin için bu rehberden genelde herkesin muzdarip olduðu bu ortak problemleri derleyerek neler yapýlabileceði konusunda çözüm önerilerini paylaþtýk.

 

1.) Googlebot taramalarýnýn sunucularda engellenmesi:

Sitenizi barýndýrmak için kullandýðýnýz hosting firmasý, bazen güvenlik iþini fazla abartýp, firewall ayarlarýný DoS saldýrýlarý için daha güvenlikli hale getirmek amacýyla Googlebot'un bile sunucuda tarama yapmasýný farkýnda olmadan engelleyebilmektedir. Ýþte bundan ötürü Googlebot sitenizin bulunduðu sunucuya giremez, girse bile güvenlik duvarý ayarlarýndaki sýký koruma nedeniyle eksik tarama yapabilir.

Ýþte bu durumu anlamak için öncelikle Google Web Yöneticisi Araçlarý'na gidip tarama hatalarýna bakmanýz gerekmekdir. Bunun için Google'ýn saðlamýþ olduðu Googlebot gibi Tara ve Tarama hatalarý araçlarýný kullanarak problemlerin tam olarak kimden kaynaklandýðýný net bir þekilde öðrenebilirsiniz. Bu problemler "Eriþilemiyor", "HTTP", "Oluþturulan 404 hatalarý" , "Site Haritalarý içerisinde‎" þeklinde kategorize ediliyor.

 

2.) Kullanýlabilirlik (Mevcudiyet) sorunlarý:

Googlebot'un sýklýkla karþýlaþtýðý sorunlardan biri de, taramak istediði siteye gittiðinde ilgili sitenin bulunduðu sunucunun (server) bir an için resetlenmiþ olmasý, kapalý olmasý, elektrik baðlantýsýnýn kesilmesi ya da DNS hatasýnda ötürü elinin boþ dönmesidir. Ya da büyük sitelerin kullandýðý CDN (içerik daðýtým aðlarý) sunucularýndaki hatalardan ötürü eksik tarama yapýlmasýdýr. Google karþýlaþtýðý bu tip sorunlarý genel baþlýklar halinde burada listediði gibibu sorunlarý Tarama hatalarý sayfasýnda da gösteriyor.

 

3.) Geçersiz SSL sertifikalarý:

Ziyaretçilerinin kiþisel bilgilerini alan sitelerde olmasý hereken HTTPS://'li gezinmede ilgili domain için satýn alýnan SSL sertifakasýnýn geçerlilik süresinin dolmasý veya sunucudaki ayarlarýnýn yanlýþ yapýlmasýndan ötürü Googlebot siteleri düzgün tarayamamaktadýr. Bu tür durumlarda SSL sertifikalarýnýn geçerliliðini kontrol etmek ve sertifkayý sadece ilgili adresinde kullanýlmakta fayda var. Yine Google bu tarz sorunlarla karþýlaþtýðýnda site sahiplerini Google Web Yöneticisi Araçlarý üzerinden mesajla bilgilendirmektedir.

 

4.) Wildcard DNS:

Sitelerin DNS yönetim alanlarýnda ilgili domainin alt sayfalarý ve servisleri için düzenlenen ve * iþaretiyle ifade edilen hizmetin ayarlarýnýn yanlýþ yapýlandýrýlmasý sonucu Googlebot'un siteyi tarayamama sorunu ortaya çýkýyor. Örneðin kullanýcýlarýna kendi domaini altýnda kullanici.domainadresi.com þeklinde sayfalar hazýrlamak isteyenlerin karþýlaþabileceði bu problemde Googlebot tüm bir domaini alt domainler bazýnda taramak yerine tek ve ortak bir domain þeklinde tarabiliyor. Bu tarz ayarlamalarý yaparken konunun uzmanlarýyla çalýþmakta fayda var.

 

5.) Yanlýþ yapýlandýrýlmýþ sanal hostingler:

Bu hata þeklinde, ayný sunucuda çalýþan birden çok web sitesinin ayrý ayrý taranmasý yerine sanki o sunucuda bir site varmýþ gibi sadece birinin taranmasýyla neticelenen ciddi bir problem var. Bu hatadan emin olmak için sunucunun host için doðru HTTP baþlýðýný (header) yanýt olarak verip vermediðini kontrol etmelisiniz.

 

6.) Ayný domaine baðlý farklý adreslerdeki benzer içerikler:

Bazý sitelerin kendilerini fazlaca zeki zannetmesinden ötürü (!) ayný içeriði götürüp farklý farklý sayfalara yazmalarý, Googlebot'un da bunlardan hangisini temsilci URL olarak tanýmlamasý gerektiðini bilmemesinden ötürü hatalý taramalar yapýlmasý çok sýk karþýlaþýlan bir sorundur. Bu durum örneðin http://a.site.com'un içeriðinin http://site.com/a veya http://site.com/~a adresinde de aynen olmasý sonucu  ya da özellikle online alýþveriþ sitelerinde karþýlaþýlan ve bir içeriðin;

- http://example.com/dresses/greendress.html?gclid=ABCD
- http://example.com/dresses/index.php?product_id=32&highlight=green+dress&cat_id=1&sessionid=123
- http://example.com/shop/index.php?product_id=32&highlight=green+dress&cat_id=1&sessionid=123&affid=431
- http://www.example.com/dresses/greendress.html

adreslerinin tümünde aynen çýkmasý sonucu Googlebot'un yanlýþ indekslemesiyle neticeleniyor.

Bu duruma engel olmak için öncelikle düzgün bir SEO ve htaccess çalýþmasýnýn yapýlmasý ve canonical etiket çalýþmalarýnýn doðru bir þekilde yapýlmasý gerekmektedir.

 

7.) Yazýlýmsal hata sayfalarý:

Bazý hosting saðlayýcýlarýnýn normalde ulaþýlamayan ve hata kodu vermesi gereken web sayfalarý için HTTP 404 veya HTTP 503 hata kodlarý yerine doðrudan HTTP 200 yani eriþimin baþarýldýðýna dair bir veri göndermesi Googlebot'unun sýklýkla karþýlaþtýðý hatalardan biridir. Bunu bilerek ve sýkça yapanlar Google sýralamasýnda cezaya da tabi tutulurlar.

Eðer sizin de ulaþýlamayan web sayfalarýnýz için ayný durum söz konusu ise bunu acilen normal þekline dönüþtürmeniz gerekmektedir. Ayrýca Googlebot gibi Tara aracýný kullanarak bu tip olasý hatalarý gözlem altýnda tutmanýz gerekmektedir.

 

8.) Ýzinsiz içerik deðiþiklikleri ve çerçeveler (frame):

Bazý hosting saðlayýcýlarý hizmet verdiði sitenin kodlarýný izinsiz bir þekilde deðiþtirmektedir. Aslýnda bunu doðrudan sizin kodlarýnýza müdahale ederek deðil de, sitenizin onun sunucusundan ziyaretçinin ekranýna yansýdýðý anda otomatik scriptler ve uygulamalar yoluyla yapmakta ya da gizli reklamlar iliþtirebilmektedir. Bu durumun farkýna da sitenizi web tarayýcýsýnýn kaynaðý görüntüleme özelliðini kullanarak, sayfanýzýn kaynak kodlarýný dikkatle inceleyerek varabilirsiniz. Ayrýca bazen kimi hostingler size ait içeriklerin bazýlarýný iframe/frame methodunu kullanarak baþka yerlerde izinsiz kullanabilmektedirler. Bunun üzerinden reklam geliri saðlanabilmektedir.

Bu tip durumlarda hosting firmanýzý acilen deðiþtirmeniz daha iyi olacaktýr. Zira sizden habersiz siteniz üzerinizde müdahale yapýlmaktadýr.

 

9.) Spam ve kötücül içerik:

Bazý hosting sunucularý özellikle spam yaymak için tasarlanabiliyor. Ya da yüzlerce siteyi ayný IP adresi üzerinden yayýnlayan hosting saðlayýcýlarý araya bir iki tane de spam yayan siteyi iliþtirerek spam yayma iþlemini gizlemeye çalýþýyorlar. Fakat geliþen sistemler ve að takipleri sayesinde artýk bunlar da yavaþ yavaþ engellenmeye baþladý. Google'ýn að yöneticileri için devreye soktuðu güvenli gezinme bildirim (safebrowsing alerts) hizmeti ve uygulama geliþtiricileri için çýkarmýþ olduðu güvenli gezinme API'si bunlardan sadece birkaçýdýr.

Bunun yanýnda site sahiplerinin virüslü ve trojanlý bilgisayarlardan FTP ile sitelerine baðlanarak kod düzenlemesi yapmalarý sonucu, kendileri farkýnda olmadan sitelerindeki neredeyse bütün dosyalara malware yayan scriptler otomatik olarak iliþtirilmektedir. Bu durumdan sakýnmak için sitenizin kaynak kodlarýný çalýþtýðýnýz ve FTP'ye baðlandýðýnýz bilgisayarlarýn güvenliðine çok dikkat etmelisiniz.


· · · · · · · · · · ·
Yazan: | 10.12.2011 | 2964 kez okundu.

Yazılar E-Posta Kutunuza Gelsin:

Bu yazıyı izinsiz olarak alıp başka herhangi bir yerde yayınlayamazsınız (Bkz "dijital at hırsızı" kimdir?). Yazıların başka yerlerde yayınlanmasına ücreti mukabili izin veriyoruz. Yazıları izinsiz olarak başka bir yerde yayınlamanız, her türlü hukuki sonucu kabul ettiğiniz manasına gelir. Yazıları izin almak ve kaynak göstermek kaydıyla sadece kamu kurumları ve akademik araştırmacılar ücretsiz olarak kullanabilir. Bunların dışında kalan herkes ücret öder. Detaylar için bize ulaşın.

Yorum altyapısı: Disqus

Yukarı Çık

M. MEKİN PESEN
© 2007-2015 E-SİBER BİLGİ-İLETİŞİM TEKNOLOJİLERİ
E-Siber.com | E-Siber.net | ESiber.com | ESiber.net | RSS | Facebook | Twitter | E-Posta Aboneliği
IP: 54.166.85.29 | Yüklenme: 0.57 saniye. | Hakkımızda | İletişim | Reklam Verin | Site Politikaları | Atıflar