llms.txt nedir, siteniz ChatGPT, Claude ve Perplexity yanıtlarında nasıl görünür?

llms.txt, sitenizin kök dizinine konan ve yapay zekâ sistemlerine sitenizi Markdown biçiminde özetleyen bir dosya önerisidir; resmî bir standart değildir ve yapay zekâ şirketlerinin bu dosyayı okuyacağı garanti değildir. Sitenizin ChatGPT, Claude ya da Perplexity yanıtlarında yer alıp almayacağını pratikte belirleyen şey, bu şirketlerin tarayıcılarının sayfalarınıza erişip erişemediği ve sayfalarınızdaki bilgiyi okuyup okuyamadığıdır. Bu erişimi robots.txt dosyanız ve kullanıyorsanız CDN'inizin bot ayarları yönetir.

llms.txt nedir?

llms.txt, Jeremy Howard tarafından llmstxt.org adresinde 3 Eylül 2024'te yayımlanan bir öneridir. Sayfada önerinin 10 Ağustos 2026'da güncellendiği ve bunun ikinci sürüm olduğu belirtiliyor. Amaç, dil modellerinin karmaşık HTML sayfalarıyla uğraşmadan bir sitenin en önemli bilgilerine hızlıca ulaşabilmesi.

Öneriye göre dosya /llms.txt adresinde durur ve Markdown ile yazılır. Yapısı sırasıyla şöyledir:

1. Sitenin ya da projenin adını taşıyan bir # Başlık satırı. Öneride tek zorunlu bölüm budur.
2. > ile başlayan, sitenin kısa özetini veren bir alıntı bloğu.
3. İsteğe bağlı, serbest açıklama paragrafları.
4. ## Bölüm adı başlıkları altında, önemli sayfalara bağlantı listeleri. Her bağlantının yanına kısa bir açıklama eklenebilir.
5. Geleneksel olarak ## Optional adlı bir bölüm: daha ikincil bilgiler için.

Öneri ayrıca, önemli sayfaların temiz bir Markdown sürümünün aynı adreste, sonuna .md eklenerek sunulmasını da tavsiye ediyor.

Destekleniyor mu?

llmstxt.org, OpenAI, Anthropic ve Gemini'nin kendi geliştirici belgeleri için llms.txt yayımladığını belirtiyor. Ancak bir şirketin kendi belgeleri için bu dosyayı yayımlaması, tarayıcılarının başka sitelerdeki llms.txt dosyalarını okuduğu anlamına gelmez. Aşağıda kaynak gösterdiğimiz OpenAI, Anthropic ve Perplexity tarayıcı sayfalarında, bu şirketlerin sitelerdeki llms.txt dosyasını kullandığına dair bir taahhüt yer almıyor.

Bu yüzden llms.txt'yi, hazırlaması kolay ve zararsız bir ek olarak görün. Sitenizin asıl bilgileri yine sayfalarınızın kendisinde okunur durumda olmalı.

Yapay zekâ tarayıcıları: eğitim, arama ve kullanıcı isteği

Yapay zekâ şirketleri sitenize tek bir botla gelmez. Resmî belgelerine göre hem OpenAI hem Anthropic, farklı amaçlar için farklı adlarla (user-agent) tarama yapar. Perplexity de arama dizini ile kullanıcı isteğini ayrı botlarla yürütür.

Bu ayrımın pratik anlamı şudur: içeriğinizin model eğitiminde kullanılmasını istemeyebilirsiniz, ama bir kullanıcı ChatGPT'ye ya da Claude'a sizin sektörünüzü sorduğunda sitenizin kaynak olarak görünmesini isteyebilirsiniz. Bu iki tercih birbirinden bağımsız yönetilebilir.

• OpenAI, OAI-SearchBot'un sitelerin ChatGPT'nin arama özelliklerinde gösterilmesi için, GPTBot'un ise temel modellerin eğitiminde kullanılabilecek içeriği taramak için kullanıldığını yazıyor ve her ayarın diğerlerinden bağımsız olduğunu belirtiyor. ChatGPT-User kullanıcı eylemiyle başladığı için robots.txt kurallarının ona uygulanmayabileceğini de not ediyor.
• Anthropic, ClaudeBot'u engellemenin sitenizin gelecekteki içeriğinin eğitim veri setlerinden çıkarılması isteği olarak değerlendirildiğini; Claude-SearchBot ve Claude-User'ı engellemenin ise sitenizin arama yanıtlarındaki görünürlüğünü azaltabileceğini belirtiyor. Anthropic'e göre üç botu da robots.txt kurallarına uyar.
• Perplexity, PerplexityBot'un sitelerin Perplexity arama sonuçlarında gösterilmesi için kullanıldığını ve temel modellerin eğitimi için içerik toplamadığını yazıyor. Perplexity-User ise kullanıcı isteğiyle çalıştığı için genellikle robots.txt kurallarını dikkate almıyor.

robots.txt ile nasıl kontrol edersiniz?

robots.txt, sitenizin kök dizininde duran ve botlara hangi yolları tarayabileceklerini söyleyen düz metin dosyasıdır. Kurallar user-agent adına göre yazılır. Örneğin model eğitimine kapalı, aramaya açık bir tercih şöyle ifade edilebilir:

• User-agent: GPTBot ve altında Disallow: /
• User-agent: ClaudeBot ve altında Disallow: /
• User-agent: OAI-SearchBot ve altında Allow: /
• User-agent: Claude-SearchBot ve altında Allow: /

Bu bir öneri değil, yalnızca yazım örneğidir; hangi botlara izin vereceğiniz işinizin tercihidir. Birkaç noktaya dikkat edin:

• Anthropic, engellemek istediğiniz her alt alan adı için robots.txt'nin ayrıca düzenlenmesi gerektiğini belirtiyor. www ve blog alt alan adlarınız varsa her ikisini de kontrol edin.
• Anthropic, IP adresine göre engellemeyi önermiyor; bu yöntem botun robots.txt dosyanızı okumasını da engellediği için tercihinizin kalıcı olarak uygulanmasını garanti etmeyebilir.
• Yukarıda gördüğünüz gibi, kullanıcı isteğiyle çalışan bazı botlar robots.txt'ye uymayabilir. Bu yüzden robots.txt'yi bir erişim kilidi değil, bir tercih bildirimi olarak düşünün.

CDN'inizin bot ayarlarını kontrol edin

Sitenizi bir CDN arkasında sunuyorsanız, robots.txt'de izin verdiğiniz bir bot CDN katmanında engellenmiş olabilir. Örneğin Cloudflare, yapay zekâ botlarını davranışlarına göre üç gruba ayırarak engelleme seçeneği sunuyor:

• Search: içeriğinizi daha sonra sorulara yanıt vermek üzere toplayan ya da dizinleyen tarayıcılar.
• Agent: bir kişi adına gerçek zamanlı hareket eden otomatik etkinlik; örneğin sohbet asistanlarının sayfa getiren botları ve tarayıcı kullanan ajanlar.
• Training: içeriğinizi bir modeli eğitmek ya da ince ayar yapmak için alan tarayıcılar; hem eğitim hem arama için kullanılan karma amaçlı tarayıcılar da bu gruptadır.

Cloudflare belgelerine göre her grup için tüm sayfalarda engelleme, yalnızca reklam gösteren sayfalarda engelleme ya da engellememe seçeneklerinden birini seçebilirsiniz. Başka bir CDN ya da güvenlik duvarı kullanıyorsanız benzer bir ayar olup olmadığını sağlayıcınızın belgelerinden kontrol edin. Önemli olan, robots.txt'deki tercihinizle CDN ayarınızın birbiriyle çelişmemesidir.

Kısa kontrol listesi

1. Temel bilgileri HTML'de okunur tutun. Ne sattığınız, kime hizmet verdiğiniz, fiyat yaklaşımınız, iletişim bilgileriniz sayfanın metninde yazılı olsun. Yalnızca görselin içinde ya da sayfa yüklendikten sonra JavaScript ile gelen metin, her tarayıcı tarafından okunamayabilir.
2. Açık bir özet sayfanız olsun. "Hakkımızda" ya da ürün sayfanızın ilk paragrafı, şirketinizi iki üç cümlede doğru tanımlasın. Yapay zekâ asistanları bu tür net cümleleri alıntılamaya elverişlidir.
3. robots.txt dosyanızı okuyun. Tarayıcınızda alanadiniz.com/robots.txt adresini açın; istemeden tüm botları ya da yukarıdaki botlardan birini engelleyen bir satır olup olmadığına bakın.
4. CDN ve güvenlik duvarı ayarlarınızı kontrol edin. Yapay zekâ botlarına ilişkin bir engelleme açıksa, bunun bilinçli bir tercih olduğundan emin olun.
5. llms.txt'yi isteğe bağlı ekleyin. Sitenizin adını, kısa özetini ve en önemli sayfalarınızın bağlantılarını içeren sade bir dosya yeterli. Sayfalarınızla çelişen bilgi içermemesine ve güncel kalmasına dikkat edin.
6. Sonucu gözlemleyin. Hangi botların sitenize geldiğini sunucu kayıtlarınızdan ya da bir trafik aracından izleyin. JavaScript çalıştırmayan bir bot, yalnızca tarayıcıda çalışan ziyaretçi sayaçlarında görünmez; bu yüzden sunucu tarafındaki kayıtlar daha güvenilir bir kaynaktır.