Настройка robots.txt и rate limiting для AI-краулеров

Введение

Вы уже знаете, как поисковые роботы читают ваш сайт, но AI‑краулеры (модели, которые сканируют веб‑страницы для обучения) работают по чуть‑чуть другим правилам. Правильная настройка файла robots.txt и ограничение частоты запросов (rate limiting) позволяют:

• Защитить сервер от перегрузки, когда несколько сотен запросов приходят одновременно.
• Сохранить «чистоту» данных, которые используют для обучения, исключив конфиденциальные или низкокачественные страницы.
• Улучшить индексацию, потому что краулер получает именно те ресурсы, которые вы хотите ему показать.

В этом уроке мы разберём, как создать и поддерживать robots.txt для AI‑краулеров, а также как реализовать rate limiting на уровне веб‑сервера и CDN. Всё подано простыми словами, с аналогиями и готовыми примерами, которые вы сможете сразу применить.

1. Что такое robots.txt и почему он важен для AI

Ключевой термин: User‑agent — в robots.txt вы указываете, какие правила применимы к какому агенту. AI‑краулеры часто используют свои собственные User‑agent‑ы, например OpenAI‑Crawler или Meta‑AI‑Bot. Если вы не задаёте правила, такие боты могут сканировать всё без ограничений, что приводит к:

• Перегрузке сервера (много запросов в секунду).
• Утечке конфиденциальных данных (страницы, которые не предназначены для публичного доступа).

2. Синтаксис robots.txt для AI‑краулеров

Файл состоит из блоков, каждый из которых начинается с директивы User-agent: и заканчивается Disallow:/Allow:. Пример базовой структуры:

User-agent: *
Disallow: /private/
Allow: /public/

2.1. Как добавить отдельный AI‑краулер

User-agent: OpenAI-Crawler
Disallow: /admin/
Disallow: /test-data/
Allow: /

• User-agent: OpenAI-Crawler — правило применяется только к этому боту.
• Disallow: — путь, который бот не будет сканировать.
• Allow: — путь, который бот может сканировать, даже если выше стоит более общий Disallow:.

2.2. Приоритет правил

1. Более конкретный User-agent переходит над глобальным *.
2. Если один и тот же путь указан в обоих Disallow и Allow, Allow берёт приоритет (по спецификации Google).

2.3. Специальные директивы для AI

Важно: Не все AI‑краулеры поддерживают Crawl-delay. Поэтому в следующем разделе мы покажем, как задать ограничение частоты запросов на уровне сервера.

3. Ограничение частоты запросов (Rate Limiting)

3.1. Почему robots.txt не всегда спасает

• Crawl-delay иногда игнорируется (особенно у экспериментальных ботов).
• Боты могут использовать многопоточные запросы, обходя задержку.

Поэтому необходимо серверное решение, которое будет контролировать количество запросов от одного IP‑адреса или от одного User-agent.

3.2. Основные стратегии

3.3. Реализация в популярных веб‑серверах

3.3.1. Nginx (модуль ngx_http_limit_req_module)

http {
    # Параметры лимитера
    limit_req_zone $binary_remote_addr zone=ai_zone:10m rate=5r/s;

    server {
        location / {
            # Применяем к AI‑User‑agent
            if ($http_user_agent ~* "OpenAI-Crawler|Meta-AI-Bot") {
                limit_req zone=ai_zone burst=10 nodelay;
            }
            # Обычная обработка запросов
            proxy_pass http://backend;
        }
    }
}

• rate=5r/s — 5 запросов в секунду с одного IP.
• burst=10 — допускает до 10 «взрывных» запросов, после чего начинает отклонять.

3.3.2. Apache (модуль mod_ratelimit)

<IfModule mod_ratelimit.c>
    # Ограничиваем только для AI‑User‑agent
    SetEnvIfNo User-Agent "OpenAI-Crawler|Meta-AI-Bot" ai_crawler
    <Location "/">
        RateLimitSet 200 K
        RateLimitEnable on
        Order allow,deny
        Allow from all
        # Применяем только к переменной
        SetEnvIf Request_URI ".*" ai_crawler
    </Location>
</IfModule>

• RateLimitSet 200 K ограничивает скорость передачи до 200 KB/s, что косвенно снижает количество запросов в секунду.

3.3.3. CDN (Cloudflare, Fastly)

Большинство CDN‑служб предоставляют Rate Limiting Rules в UI. Пример правила для Cloudflare:

Совет: Сочетайте robots.txt (для указания что сканировать) с серверным лимитером (для указания как быстро).

4. Лучшие практики и типичные ошибки

4.1. Что следует включать в robots.txt для AI

4.2. Частые ошибки

4.3. Мониторинг и отладка

1. Проверка синтаксиса — онлайн‑инструменты (например, robots.txt validator).
2. Логи сервера — ищите строки User-Agent: OpenAI-Crawler и смотрите, сколько запросов в минуту.
3. Метрики CDN — часто есть графики «Rate Limiting Events».

5. Пример полного robots.txt для сайта, который хочет контролировать AI‑краулеров

# Общие правила для всех ботов
User-agent: *
Disallow: /tmp/
Disallow: /cgi-bin/
Allow: /

# Правила для OpenAI‑Crawler
User-agent: OpenAI-Crawler
Disallow: /admin/
Disallow: /user-data/
Allow: /public/
Crawl-delay: 3

# Правила для Meta‑AI‑Bot
User-agent: Meta-AI-Bot
Disallow: /secret/
Allow: /
Crawl-delay: 2

# Карта сайта
Sitemap: https://example.com/sitemap.xml

• Общие правила защищают временные и системные каталоги.
• Отдельные блоки позволяют задать разные задержки и пути для каждого AI‑бота.

6. Как проверить, что всё работает

1. Запрос к robots.txt

   curl -I https://example.com/robots.txt

   Должен вернуть 200 OK и правильный контент.

2. Тестовый запрос от AI‑User‑agent (симуляция)

   curl -A "OpenAI-Crawler" -I https://example.com/admin/dashboard

   Ожидаем 403 Forbidden или 404 Not Found (в зависимости от настройки сервера).

3. Проверка лимитера
   Сгенерируйте 20 запросов за 5 секунд и убедитесь, что после 5‑го запрос отклоняется (получаем 429 Too Many Requests).

7. Практика для закрепления

1. Создайте файл robots.txt для сайта myblog.com, где нужно закрыть /drafts/ и /private/ от всех ботов, но открыть /public/ для OpenAI-Crawler. Укажите Crawl-delay: 4 для этого бота.

2. Настройте Nginx‑лимитер так, чтобы OpenAI-Crawler мог делать не более 3 запросов в секунду с одного IP, но позволял «взрывные» до 6 запросов. Приведите конфигурацию.

3. Симулируйте запросы с помощью curl (или любого HTTP‑клиента) и покажите, как выглядит ответ сервера, когда лимит превышен.

4. Проанализируйте логи (пример в виде фрагмента) и ответьте: сколько запросов от Meta‑AI‑Bot было отклонено за последнюю минуту?

5. Объясните в двух‑трёх предложениях, почему стоит использовать одновременно robots.txt и серверный rate limiting.

Готово! После выполнения упражнений вы будете уверенно управлять доступом AI‑краулеров к вашему сайту, защищая ресурсы и поддерживая стабильную работу сервера. 🚀