User-agent: *
Allow: /
Allow: /photos/

Disallow: /api/
Disallow: /admin/
Disallow: /teacher/
Disallow: /student/
Disallow: /_

# Явный блок для Яндекса: робот YandexBot собирает данные и для обычного поиска,
# и для Нейро/YandexGPT (отдельного ИИ-бота у Яндекса нет). Пускаем на всю публичную часть.
User-agent: Yandex
Allow: /
Allow: /photos/
Disallow: /api/
Disallow: /admin/
Disallow: /teacher/
Disallow: /student/
Disallow: /_
# Параметрические варианты страниц (реклама/фильтры) — склеить с чистым URL,
# canonical на страницах уже стоит; Clean-param ускоряет склейку в Яндексе
Clean-param: phrase_id&etext&ref&fav&subject&grade&tutor

# ИИ-боты: пускаем на публичную часть (нужно для ИИ-поиска — Claude, ChatGPT, Perplexity),
# закрываем те же служебные разделы, что и для обычных поисковиков.
User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /teacher/
Disallow: /student/
Disallow: /_

User-agent: OAI-SearchBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /teacher/
Disallow: /student/
Disallow: /_

User-agent: ChatGPT-User
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /teacher/
Disallow: /student/
Disallow: /_

User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /teacher/
Disallow: /student/
Disallow: /_

User-agent: Claude-Web
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /teacher/
Disallow: /student/
Disallow: /_

User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /teacher/
Disallow: /student/
Disallow: /_

User-agent: Google-Extended
Allow: /

Sitemap: https://ctg.school/sitemap.xml