# Robots.txt для сайта "Вяртанне"
# https://www.robotstxt.org/

# Разрешить всем поисковым роботам
User-agent: *

# Разрешить индексацию всего сайта
Allow: /

# Запретить индексацию админ-панели
Disallow: /admin/
Disallow: /api/
Disallow: /admin/login
Disallow: /admin/dashboard
Disallow: /admin/articles
Disallow: /admin/categories
Disallow: /admin/authors

# Запретить индексацию служебных файлов
Disallow: /src/uploads/
Disallow: /assets/
Disallow: /main.js
Disallow: /styles/
Disallow: /favicon.ico

# Запретить индексацию временных и служебных страниц
Disallow: /login
Disallow: /logout
Disallow: /error
Disallow: /404

# Запретить индексацию системных страниц
Disallow: /pages/system/
Disallow: /pages/system/404.html

# Указать расположение sitemap
Sitemap: https://viartanne.org/sitemap.xml

# Дополнительные настройки для популярных поисковиков

# Google
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /api/
Crawl-delay: 1

# Yandex
User-agent: Yandex
Allow: /
Disallow: /admin/
Disallow: /api/
Crawl-delay: 1

# Bing
User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /api/
Crawl-delay: 1

# Baidu
User-agent: Baiduspider
Allow: /
Disallow: /admin/
Disallow: /api/
Crawl-delay: 2

# DuckDuckBot
User-agent: DuckDuckBot
Allow: /
Disallow: /admin/
Disallow: /api/
Crawl-delay: 1

# Facebook
User-agent: facebookexternalhit
Allow: /
Disallow: /admin/
Disallow: /api/

# Twitter
User-agent: Twitterbot
Allow: /
Disallow: /admin/
Disallow: /api/

# LinkedIn
User-agent: LinkedInBot
Allow: /
Disallow: /admin/
Disallow: /api/

# WhatsApp
User-agent: WhatsApp
Allow: /
Disallow: /admin/
Disallow: /api/

# Telegram
User-agent: TelegramBot
Allow: /
Disallow: /admin/
Disallow: /api/

# Скорость обхода для всех остальных ботов
Crawl-delay: 1