robots.txt'in AI çağındaki kardeşi olarak sunulan llms.txt dosyasının ne olduğunu, nasıl yazılacağını ve hangi durumlarda gerçekten fark yarattığını inceliyoruz.
llms.txt, alan adınızın kök dizinine (example.com/llms.txt) koyduğunuz ve yapay zeka sistemlerine sitenizi nasıl kullanacaklarını açıkladığınız bir Markdown dosyasıdır. Resmi bir standart değil; Anthropic'in önerdiği bir konvansiyondur. Ancak Perplexity ve bazı AI araçları tarafından aktif olarak okunmaktadır.
Temel yapı şöyle: `# Şirket Adı` ile başlayın, ardından `> Kısa açıklama` ile bir özet satırı ekleyin. Sonra `## Docs`, `## Blog`, `## About` gibi bölümler altında en önemli sayfalarınızı bağlantı ve kısa açıklamayla listeleyin. Ayrıca `llms-full.txt` ile tüm içeriği tek dosyada sunabilirsiniz.
Zorunlu değil. Ama iki durumda anlamlı fark yaratır: (1) Büyük veya karmaşık siteler için AI sistemlerinin hangi sayfaların öncelikli olduğunu anlamasına yardımcı olur. (2) Belgesel içerik sunan, SaaS veya API ürünleri olan siteler için LLM kullanıcılarına doğrudan erişim sağlar.
robots.txt erişim izinlerini tanımlar (izin ver / engelle). llms.txt ise erişime izin verilen içeriğin ne anlama geldiğini ve nasıl kullanılması gerektiğini açıklar. İkisi birbirini tamamlar; llms.txt, robots.txt'in yerini almaz.
OAI-SearchBot ve GPTBot crawler'larını doğru yönetmek, sayfa okunabilirliğini artırmak ve ChatGPT'nin sayfanızı güvenilir kaynak olarak değerlendirmesi için gereken minimum teknik altyapı.
ChatGPT, Gemini ve Perplexity bir soruya cevap oluştururken hangi sinyallere bakıyor? İçeriğinizi kaynak havuzuna sokmak için schema, tanım blokları ve otorite sinyallerini nasıl kurarsınız.