Robots.txt İçerisinde Neler Bulunmalı?

Location

Gelecek bizim!
Yönetici
Administrator
Doğrulanmış Üye
Katılım
8 Kas 2013
Mesajlar
10,787
Tepkime puanı
63
Konum
South Caroline
Robots.txt sitenize giren botların nasıl hareket edeceğini belirten, onları yönelten bir dosyadır. Sitenize giren tüm botlara izin veren genel bir Wordpress robots.txt dosyası:


XML:
User-agent: *

Sitemap: https//www.siteadresi.com/sitemap.xml
User-agent: * Tüm botların girişine izin verir.
Disallow: /engellenen-link/ komutu ile botların sitenizde giriş yapmasını istemedğiniz sayfalara ekleyebilirsiniz örneğin admin paneli gibi.
 

#Master

Aktif Üye
Kayıtlı Üye
Katılım
19 Tem 2011
Mesajlar
4,071
Tepkime puanı
18
Yaş
24
Konum
İZMİR
Google robots.txt yi kaldiracağını soylemisti ne oldu o olay
 

#Respect

Yönetici
Yönetici
Yönetici
Platin Üye
Katılım
30 Eki 2012
Mesajlar
30,838
Tepkime puanı
24
Yaş
25
Teşekürler.
 

Bu çeriği görüntüleyen kullanıcılar (Kullanıcı: 0, Ziyaretçi: 1)

Yeni Konular

Sponsor Link

Üst