# =================================================================== # robots.txt for https://haberkeyfi.com.tr # =================================================================== # Tüm botlar için genel kurallar User-agent: * # Engellenen Alanlar # ------------------------------------------------------------------- # Admin paneli, giriş ve kullanıcıya özel sayfalar Disallow: /admin/ Disallow: /login/ Disallow: /register/ Disallow: /hesabim/ Disallow: /profile/ # Next.js API rotaları (Sunucu taraflı işlemler, botların girmesi gerekmez) Disallow: /api/ # Arama sonuç sayfaları (Yinelenen içerik ve zayıf içerik riskini önler) Disallow: /search/ Disallow: /arama/ # (Opsiyonel) # Eğer botların etiket ve kategori sayfalarını taramasını istemiyorsanız: # Disallow: /etiket/ # Disallow: /kategori/ # Not: Haber siteleri için bu sayfaların genellikle taranmasına İZİN VERİLİR. # Bu yüzden yukarıdaki iki satırı şimdilik yorumlu bırakmak veya hiç eklememek daha iyidir. # İzin Verilen Alanlar # ------------------------------------------------------------------- # Next.js'in sitenizi render etmesi için GEREKLİ olan dosyalar. # _next klasörünü tamamen engellemek sitenizin Google'da "boş sayfa" # olarak görünmesine neden olur. Bu yüzden /_next/ klasörüne # DOKUNMAYIN veya açıkça izin verin. # Genellikle en iyi pratik, /_next/ klasörünü HİÇ ENGELLEMEMEKTİR. # Eğer yanlışlıkla /_next/ engellenirse, en azından bunlar açık olmalı: # Allow: /_next/static/ # Allow: /_next/image/ # Allow: /_next/data/ # Reklam dosyaları (Google AdSense ve Yandex için) Allow: /ads.txt Allow: /yandex_*.html # Site Haritaları # ------------------------------------------------------------------- # Botlara site haritalarınızın yerini gösterir. # Kendi site haritası URL'leriniz ile değiştirmelisiniz. Sitemap: https://haberkeyfi.com.tr/sitemap.xml Sitemap: https://haberkeyfi.com.tr/haber-sitemap.xml Sitemap: https://haberkeyfi.com.tr/video-sitemap.xml Sitemap: https://haberkeyfi.com.tr/galeri-sitemap.xml