Расширенные настройки задач: полное руководство

Расширенные настройки задач раскрывают весь потенциал нашего сервиса отслеживания, позволяя вам справляться со сложными сценариями, такими как сайты с большим количеством JavaScript, требования к аутентификации, настраиваемые заголовки и сложные системы обнаружения ботов. Это подробное руководство охватывает все расширенные параметры настройки, чтобы максимально повысить эффективность отслеживания.

Уровни рендеринга: выбор подходящего движка

Уровень рендеринга определяет, как обрабатывается ваш целевой сайт, и влияет как на точность, так и на стоимость токенов:

Без рендеринга (только HTTP)

• Стоимость: минимальное использование токенов (только базовая стоимость)
• Скорость: самое быстрое время обработки
• Пример использования: статический контент, API, простые HTML-страницы
• Ограничения: нет выполнения JavaScript, нет динамического контента
• Лучше всего подходит для: RSS-каналов, API цен, контента, который обрабатывается на сервере

Рендеринг на сервере

• Стоимость: умеренное использование токенов (+8 токенов)
• Скорость: среднее время обработки
• Пример использования: сайты с минимальными требованиями к JavaScript
• Особенности: базовое выполнение JavaScript, простые манипуляции с DOM
• Лучше всего подходит для: сайтов WordPress, простых платформ электронной коммерции

Расширенная обработка браузером

• Стоимость: максимальное использование токенов (+15 токенов)
• Скорость: более медленная обработка (полная симуляция браузера)
• Когда использовать: сложные приложения JavaScript, SPA, приложения React/Vue
• Особенности: полная среда браузера, расширенная поддержка JavaScript
• Лучше всего подходит для: современных веб-приложений, контента, загружаемого с помощью AJAX, сложных взаимодействий

Пользовательские методы запросов

Управляйте тем, как HTTP-запросы отправляются на ваши целевые веб-сайты:

Запросы GET (по умолчанию)

• Пример использования: стандартное получение веб-страниц
• Совместимость с браузерами: работает со всеми уровнями рендеринга
• Кэширование: может кэшироваться серверами и CDN
• Лучше всего подходит для: общедоступных страниц, списков продуктов, новостного контента

POST-запросы

• Пример использования: отправка форм, конечные точки API
• Ограничения: не подходит для рендеринга в браузере
• Поддержка тела: Может включать данные тела запроса
• Лучше всего подходит для: результатов поиска, контента на основе форм, мониторинга API

Другие методы (PUT, DELETE, PATCH)

• Пример использования: мониторинг конечных точек API
• Требования: только режим HTTP (без рендеринга браузера)
• Аутентификация: часто нужны настраиваемые заголовки
• Лучше всего подходит для: мониторинга RESTful API, тестирования веб-хуков

Настройка пользовательских заголовков

Добавляйте пользовательские HTTP-заголовки для аутентификации, настройки запросов или обхода ограничений:

Заголовки аутентификации

Authorization: Bearer your-jwt-token-here
API-Key: your-api-key-here
X-API-Token: custom-token-format

Настройка User-Agent

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
User-Agent: YourBot/1.0 (contact@yourdomain.com)
User-Agent: Mobile Browser Simulation String

Тип контента и заголовки Accept

Accept: application/json, text/plain, */*
Content-Type: application/json
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br

Заголовки для обхода антиботов

X-Forwarded-For: 203.0.113.1
X-Real-IP: 203.0.113.1
Referer: https://google.com/
Cache-Control: no-cache

Настройка тела запроса

Отправляй данные в теле запроса для запросов POST, PUT и PATCH:

Данные JSON

{
    "query": "search term",
    "filters": {
        "category": "electronics",
        "price_max": 500
    },
    "page": 1
}

Данные формы

username=testuser&password;=testpass&action;=login
search_term=laptop&category;=computers&sort;=price_asc

Данные XML

<?xml version="1.0" encoding="UTF-8"?>
<request>
    <action>search</action>
    <query>product name</query>
</request>

Управление файлами cookie

Управляйте сессионными файлами cookie для аутентификации и сохранения состояния:

Сессионные файлы cookie

session_id=abc123def456; Path=/; HttpOnly
auth_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9; Secure
user_pref=theme=dark⟨=en; Max-Age=86400

Файлы cookie для аутентификации

login_cookie=user123:hashedpassword
remember_me=1; Expires=Wed, 21 Jan 2026 07:28:00 GMT
csrf_token=random-csrf-token-here

Правила форматирования файлов cookie

• Формат: имя=значение; имя2=значение2
• Атрибуты: путь, домен, срок действия, максимальный срок хранения, безопасность, только HTTP
• Безопасность: никогда не кладите в куки конфиденциальные данные
• Тестирование: копируйте из инструментов разработчика браузера, чтобы всё было точно

Эмуляция устройств в браузере

Моделируйте разные устройства и браузеры, когда используете расширенную визуализацию:

Типы устройств

• Настольный компьютер: стандартный браузер (по умолчанию)
• Мобильное устройство: браузер смартфона с поддержкой сенсорного управления
• Планшет: браузер планшета со средним размером экрана

Настройки окна просмотра

Управление контекстом сеанса и состоянием

Расширенная визуализация поддерживает контекст сеанса для сохранения состояния между запросами:

Преимущества контекста сеанса

• Сохранение состояния: поддержка сеансов входа в систему и состояния пользователя
• Корзины покупок: отслеживание содержимого корзины при загрузке страниц
• Пользовательские настройки: запоминание настроек и индивидуальных настроек
• Многоэтапные процессы: работа с формами и мастерами

Управление сессиями

• Автоматическое создание: сессии создаются автоматически, когда эта функция включена
• Срок действия сеанса: сеансы сохраняются на время отслеживания
• Общий доступ к файлам cookie: файлы cookie доступны для связанных запросов
• Изоляция хранилища: у каждой задачи свой контекст сессии

Примеры расширенной настройки

Мониторинг цен в электронной коммерции

Сценарий: отслеживание цен на сайте, где много JavaScript

Мониторинг конечной точки API

Сценарий: следить за изменениями данных в REST API

Мониторинг отправки форм

Сценарий: следить за результатами поиска или ответами на формы

Отслеживание сайта с приоритетом для мобильных устройств

Сценарий: отслеживание контента или макетов, специфичных для мобильных устройств

Решение проблем с настройками

Контент не загружается

• Повысь уровень рендеринга: переключи с HTTP на серверный рендеринг или расширенный браузерный рендеринг
• Проверь зависимости JavaScript: для некоторых контентов нужна полная среда браузера
• Проверь селекторы: убедись, что CSS-селекторы нацелены на нужные элементы
• Время ожидания: увеличь время ожидания для медленно загружаемого контента

Ошибки аутентификации

• Истечение срока действия токена: проверьте, не истек ли срок действия токенов API
• Формат заголовка: убедись, что заголовки аутентификации правильно оформлены
• Проблемы с файлами cookie: убедитесь, что сессионные файлы cookie действительны и актуальны
• Объем разрешений: убедись, что у токенов API есть нужные разрешения

Большое потребление токенов

• Уровень рендеринга: используй минимальный уровень, нужный для твоего контента
• Оптимизация частоты: настройте частоту проверок в зависимости от изменений контента
• Эффективность селекторов: используйте точные селекторы, чтобы сократить время обработки
• Условные скриншоты: делайте скриншоты только когда это нужно

Оптимизация производительности

Эффективная настройка

• Минимальное количество заголовков: добавляйте только нужные пользовательские заголовки
• Подходящий уровень рендеринга: не усложняйте простые случаи использования
• Выборочные скриншоты: включайте только тогда, когда нужно визуальное подтверждение
• Оптимальная частота: баланс между своевременностью и использованием ресурсов

Управление ресурсами

• Бюджетирование токенов: планируйте использование токенов для всех ваших задач
• Приоритетные задачи: используйте расширенные настройки для отслеживания самых важных задач
• Пакетное тестирование: эффективно тестируйте несколько конфигураций
• Мониторинг использования: следи за показателями производительности и успешностью

Если освоишь расширенные настройки задач, сможешь успешно отслеживать практически любой сайт или конечную точку API. Главное — понять, когда и как использовать эти мощные функции, оптимизируя точность и эффективность.