1. Початок Роботи та Базові Команди
openclaw --version
Перевіряє встановлену версію OpenClaw CLI.
Завжди перевіряйте версію для сумісності з новітніми функціями.
openclaw init
Створює новий проект OpenClaw у поточній директорії.
Використовуйте осмисленні назви проектів для кращої організації.
openclaw help
Виводить загальну довідку та список доступних команд OpenClaw.
Додайте назву команди (наприклад, openclaw help scrape) для детальної довідки по конкретній команді.
openclaw config view
Відображає поточну конфігурацію OpenClaw, включаючи налаштування проксі та User-Agent.
Перевіряйте конфігурацію, щоб переконатися, що всі параметри налаштовані правильно перед виконанням складних завдань.
2. Скрапінг та Вилучення Даних
openclaw scrape --selector "css_selector"
Вилучає текст або атрибути елементів, що відповідають CSS-селектору, з вказаної URL.
Використовуйте інструменти розробника браузера для точного визначення CSS-селекторів.
openclaw extract --json-ld
Автоматично вилучає структуровані дані у форматі JSON-LD зі сторінки, якщо вони доступні.
JSON-LD є відмінним джерелом чисто структурованих даних, якщо веб-сайт його надає.
openclaw table --index 0
Вилучає першу HTML-таблицю зі сторінки в структурований формат.
Змініть значення --index, щоб витягнути іншу таблицю, якщо на сторінці їх декілька.
openclaw follow --pattern "/blog/*" --depth 1
Слідує за посиланнями, що відповідають шаблону, на вказану глибину для глибшого скрапінгу.
Будьте обережні з глибиною, щоб не перевантажити веб-сайт і не бути заблокованим.
openclaw capture --screenshot "output.png"
Створює скріншот веб-сторінки та зберігає його у вказаний файл.
Корисно для візуального аудиту або документування стану веб-сторінки.
3. Робота з Проектами та Сценаріями
openclaw run .js
Виконує користувацький JavaScript-сценарій, що дозволяє складну логіку скрапінгу.
Сценарії JS забезпечують максимальну гнучкість для обробки динамічного контенту.
openclaw project list
Відображає список усіх існуючих проектів OpenClaw.
Використовуйте цю команду, щоб швидко переглянути всі ваші робочі простори.
openclaw project use
Переключає поточний робочий контекст на інший проект OpenClaw.
Це дозволяє легко перемикатися між різними завданнями скрапінгу.
openclaw script create .js
Створює новий порожній сценарій JavaScript у поточному проекті для подальшого редагування.
Почніть з шаблону для поширених завдань, щоб прискорити розробку.
4. Фільтрація та Обробка Даних
openclaw filter "price>100" --input data.json
Фільтрує витягнуті дані за певним критерієм або регулярним виразом.
Комбінуйте з командою scrape, щоб фільтрувати дані безпосередньо після вилучення.
openclaw transform --map "old_field:new_field,another_field:new_name" --input data.json
Перетворює структуру витягнутих даних, перейменовуючи або реструктуризуючи поля.
Використовуйте для стандартизації форматів даних з різних джерел.
openclaw sort --by "price" --order "desc" --input data.json
Сортує витягнуті дані за вказаним полем у зростаючому або спадному порядку.
Сортування перед експортом може значно полегшити подальший аналіз.
openclaw unique --field "URL" --input data.json
Видаляє дублікати записів на основі значень у вказаному полі.
Важливо для очищення даних та уникнення повторного оброблення.
5. Експорт та Збереження Даних
openclaw export --format json --output "data.json" --input scraped_data.txt
Експортує витягнуті дані у формат JSON до вказаного файлу.
JSON є ідеальним для обміну даними між програмами.
openclaw export --format csv --output "data.csv" --input scraped_data.txt
Експортує дані у формат CSV, сумісний з більшістю табличних редакторів.
Використовуйте CSV для швидкого перегляду або аналізу в Excel/Google Sheets.
openclaw export --format excel --output "data.xlsx" --input scraped_data.txt
Експортує дані у файл Microsoft Excel (XLSX).
Зручно для великих наборів даних, що потребують розширених функцій електронних таблиць.
openclaw save --to-db "sqlite://mydatabase.db" --table "products" --input scraped_data.txt
Зберігає витягнуті дані безпосередньо в базу даних SQLite або іншу підтримувану БД.
Пряме збереження в БД спрощує інтеграцію з іншими системами та аналітичними інструментами.
6. Розширені Можливості та Оптимізація
openclaw proxy use "http://proxy.example.com:8080"
Налаштовує використання проксі-сервера для всіх наступних запитів OpenClaw.
Використовуйте ротуючі проксі для розподілу запитів і уникнення блокувань IP.
openclaw headless false
Відключає безголовий режим браузера, дозволяючи візуально відстежувати процес скрапінгу.
Корисно для налагодження та розуміння, як веб-сайт реагує на запити.
openclaw user-agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
Встановлює користувацький User-Agent для імітації різних браузерів.
Зміна User-Agent допомагає уникнути виявлення як бота.
openclaw throttle 500ms
Обмежує частоту запитів, додаючи затримку між ними, щоб уникнути блокувань.
Почніть з більшої затримки і поступово зменшуйте, щоб знайти оптимальний баланс.
openclaw cache enable
Увімкнення кешування для прискорення повторних запитів до одних і тих же URL.
Ідеально для розробки та тестування, коли ви неодноразово звертаєтеся до одних і тих же сторінок.