Hızlı başlangıç
-
Seçme politikası
Tümüne varsayılan olarak izin verin veya izin vermez yolları listeleyin.
-
Sitemap Ekle
Tam sitemap.xml URL 'sini kullanın.
robots.txt Jeneratörü
Standart bir robots.txt dosyası oluşturmak için Allow/Disallow yolları ve sitemap URL'sini yapılandırın.
Gizlilik: yerel olarak işlenir, asla yüklenmez.
Anında sonuçları görmek için aşağıdaki giriş alanına yapıştırın
生成 robots.txt 爬虫规则草案，可指定 sitemap 与 Disallow 路径。
Sitemap URL
robots.txt
robots.txt
User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Notlar
部署提示
将输出保存为站点根目录 /robots.txt; 生产环境请结合 SEO 策略调整规则。
Standart bir robots.txt dosyası oluşturmak için Allow/Disallow yolları ve sitemap URL'sini yapılandırın.
Deploy
Site kökünde /robots.txt olarak kaydedin; CDN'nin eski kopyalarını sunmaktan kaçının.
Tipik iş akışı
Robots.txt jeneratörü kullanırken, önce engellemek için hassas dizinleri belirleyin (örneğin, /admin/ veya /tmp/) genel sayfaları erişilebilir tutarak. Araç, elle kodlamadan izin vermez kuralları oluşturmak için görsel onay kutuları sunar. Son olarak, sitemap URL ' nizi ekleyin ve tüm arama motorları için standartlara uygun bir dosya elde etmek için ürete düğmesini tıklatın.
Oluşturduktan sonra, önce test ortamında tarayıcı davranışını doğrulayın. Kural etkinliğini doğrulamak için Google Arama Konsolunun robots.txt test cihazını kullanın. Onaylandıktan sonra, dosyayı web sitenizin köcine yükleyin. Not: Değişikliklerin yayılması 24-48 saat sürebilir, bu dönemde tarayıcı günlüklerini izleyin.
Örnekler
Örnek
Input
Allow all + sitemap
Output
User-agent: * Allow: / Sitemap: ...
FAQ
Birden fazla kullanıcı ajansı mı?
Wildcard * sadece kuralları; gerekirse bot-özel bloklar manuel olarak ekleyin.
Arama motorları neden robots.txt değişikliklerini hemen yansıtmıyor?
Arama motorları robots.txt dosyalarını periyodik olarak (tipik olarak 24-48 saat) önbelleğe alır. Acil güncelleştirmeler için, Search Console aracılığıyla yeniden tarama isteğini gönderin, ancak tam yayım hala önbellek süresi dolması gerektirir. Not: robots.txt yalnızca tarayıcılara rehberlik eder ve dizinli sayfaların kaldırılmasını zorlayamaz.