Перейти к основному содержимому

ScrapeJobRead

Задача импорта сайта. Создаётся в статусе queued, выполняется в фоне; терминальные статусы — completed, failed и expired.

idIdrequired

Уникальный числовой идентификатор записи.

product_idProduct Idrequired

Идентификатор продукта (рабочего пространства), которому принадлежит запись. Большинство эндпоинтов разграничивают доступ по продукту.

agent_idAgent Idrequired

Идентификатор агента (настроенного ИИ-ассистента/бота), которому принадлежит запись.

directory_id objectrequired

Директория базы знаний, в которую загружаются документы; заполняется сразу после начала загрузки.

anyOf
integer
urlUrlrequired

URL, для которого создана задача.

modeScrapeDiscoveryModerequired

Определённый режим обхода (site или page).

Possible values: [site, page]

context objectrequired

Контекст клиента, используемый при отборе страниц и очистке контента.

anyOf
string
max_pages objectrequired

Действующий лимит страниц задачи.

anyOf
integer
statusScrapeJobStatusrequired

Состояние задачи (queued, in_progress, completed, failed, expired).

Possible values: [queued, in_progress, completed, failed, expired]

stage objectrequired

Текущий этап выполнения (discover, select, fetch, normalize, ingest).

anyOf
ScrapeJobStage

Possible values: [discover, select, fetch, normalize, ingest]

selection objectrequired

Аудит отбора — каждый рассмотренный URL с оценкой, категорией, краткой причиной и признаком, был ли он выбран.

anyOf
  • Array [
    • property name*any
  • ]
    • stats objectrequired

    Живые счётчики страниц (pages_discovered, pages_selected, pages_fetched, pages_normalized, pages_ingested, pages_failed), обновляются по ходу выполнения.

    anyOf
    object
    error_message objectrequired

    Причина ошибки для статусов failed и expired.

    anyOf
    string
    status_changed_atdate-timerequired

    Время последнего изменения статуса или сигнала активности (UTC, ISO 8601).

    started_at objectrequired

    Когда воркер взял задачу в работу (UTC, ISO 8601).

    anyOf
    date-time
    completed_at objectrequired

    Когда задача перешла в терминальный статус (UTC, ISO 8601).

    anyOf
    date-time
    created_atdate-timerequired

    Время создания (UTC, ISO 8601).

    updated_atdate-timerequired

    Время последнего изменения (UTC, ISO 8601).

    ScrapeJobRead
    {
      "id": 0,
      "product_id": 0,
      "agent_id": 0,
      "directory_id": 0,
      "url": "string",
      "mode": "site",
      "context": "string",
      "max_pages": 0,
      "status": "queued",
      "stage": "discover",
      "selection": [
        {}
      ],
      "stats": {},
      "error_message": "string",
      "status_changed_at": "2024-07-29T15:51:28.071Z",
      "started_at": "2024-07-29T15:51:28.071Z",
      "completed_at": "2024-07-29T15:51:28.071Z",
      "created_at": "2024-07-29T15:51:28.071Z",
      "updated_at": "2024-07-29T15:51:28.071Z"
    }