Pamata Skrāpēšana un Datu Ieguve
openclaw scrape
Veic pamata tīmekļa lapas skrāpēšanu un atgriež visu lapas saturu. Piemērots ātrai satura iegūšanai.
Izmantojiet cauruļvadus (pipes), lai pārsūtītu izvadi citām komandām apstrādei.
openclaw extract --selector ""
Iegūst specifiskus datus no tīmekļa lapas, izmantojot norādīto CSS selektoru vai XPath izteiksmi.
Pārbaudiet selektorus pārlūkprogrammas izstrādātāja rīkos, pirms tos izmantojat OpenClaw.
openclaw list-links --depth 2
Parāda visus saites no norādītā URL, ar iespēju norādīt dziļumu, cik daudz līmeņu pārskatīt.
Izmantojiet `--external-only`, lai filtrētu tikai ārējās saites.
openclaw capture-screenshot --output
Uzņem tīmekļa lapas ekrānuzņēmumu un saglabā to norādītajā failā.
Pievienojiet `--full-page`, lai uzņemtu visas lapas, ne tikai redzamās daļas, ekrānuzņēmumu.
Datu Pārveidošana un Filtrēšana
openclaw transform --jq '.data[] | select(.price < 100)'
Pārveido JSON datus, izmantojot JQ filtru, lai atlasītu, filtrētu vai formatētu rezultātus.
Apgūstiet JQ pamatus, lai veiktu sarežģītas datu manipulācijas tieši komandrindā.
openclaw filter --column "Cena" --operator "gt" --value "50"
Filtrē datus CSV failā, pamatojoties uz kolonnas vērtību, operatoru (piemēram, 'gt', 'lt', 'eq') un vērtību.
Atbalsta dažādus operatorus, piemēram, 'eq' (vienāds), 'ne' (nav vienāds), 'contains' (satur).
openclaw clean --remove-duplicates --trim-whitespace
Tīra teksta datus, noņemot dublikātus, atstarpes vai citus nevajadzīgus elementus.
Var izmantot arī ar JSON vai CSV failiem, lai noņemtu tukšas rindas vai nederīgas ierakstus.
openclaw format --to csv --output
Pārveido datus no viena formāta (piemēram, JSON) uz citu (piemēram, CSV, XML, TXT).
Izmantojiet `--header` ar CSV izvadi, lai norādītu pielāgotas kolonnu galvenes.
Automatizācija un Plānošana
openclaw schedule '*/5 * * * *' 'scrape example.com' --name "IkdienasSkrāpēšana"
Ieplāno OpenClaw komandas izpildi regulāros intervālos, izmantojot Cron izteiksmes.
Pārbaudiet ieplānoto uzdevumu statusu ar `openclaw list-schedules`.
openclaw monitor --changes-only --output new_changes.json
Uzrauga tīmekļa lapu izmaiņas un saglabā tikai jaunu vai mainītu saturu.
Norādiet `--interval
openclaw workflow
Izpilda sarežģītu darbplūsmu, kas definēta JSON konfigurācijas failā, apvienojot vairākas OpenClaw komandas.
Darbplūsmas var ietvert loģiku, piemēram, nosacījumus un cilpas.
openclaw run-script --args " "
Izpilda pielāgotu Python skriptu, kas integrējas ar OpenClaw API vai apstrādā datus.
Skriptus var izmantot sarežģītākai loģikai vai datu apstrādei, kas nav pieejama tieši CLI.
Autentifikācija un Sesiju Pārvaldība
openclaw login --username --password --session-name "ManaSesija"
Piesakās tīmekļa vietnē un saglabā autentifikācijas sīkfailus sesijai turpmākai izmantošanai.
Izmantojiet `--interactive`, lai ievadītu pieteikšanās datus droši, ja nevēlaties tos rādīt komandā.
openclaw use-session "ManaSesija" scrape
Izmanto iepriekš saglabātu sesiju, lai veiktu skrāpēšanu, saglabājot autentifikācijas statusu.
Sesijas nodrošina, ka varat piekļūt aizsargātām lapām bez atkārtotas pieteikšanās.
openclaw store-cookie --name "session_id" --value "abc123def" --expire "2024-12-31"
Manuāli saglabā specifisku sīkfailu norādītajam domēnam ar definētu nosaukumu un vērtību.
Noder, lai iestatītu pielāgotus sīkfailus, kas nepieciešami piekļuvei.
openclaw clear-sessions --name "ManaSesija"
Notīra visas vai norādītās saglabātās sesijas un ar tām saistītos sīkfailus.
Izmantojiet `--all`, lai notīrītu visas sesijas, kas ir saglabātas OpenClaw.
Izejas Datu Apstrāde un Eksports
openclaw export --format csv --output output.csv
Eksportē iegūtos datus no JSON (vai cita formāta) uz norādīto izvades formātu un failu.
Atbalsta tādus formātus kā CSV, JSON, XML, Parquet un citi.
openclaw merge --output combined.json
Apvieno vairākus datu failus (piemēram, JSON vai CSV) vienā izvades failā.
Izmantojiet `--deduplicate`, lai noņemtu dublikātus apvienošanas laikā.
openclaw upload --to s3://my-bucket/path/ --region eu-central-1
Augšupielādē iegūtos datus mākoņkrātuvē, piemēram, AWS S3, Google Cloud Storage vai citos.
Pārliecinieties, ka jūsu vides mainīgie vai konfigurācija ir pareizi iestatīta autentifikācijai.
openclaw view-output
Parāda iepriekšējās OpenClaw uzdevuma izvadi, izmantojot uzdevuma ID.
Uzdevuma ID tiek parādīts pēc katras OpenClaw komandas izpildes.
Papildu Funkcijas un AI Integrācija
openclaw ai-extract --prompt "Izgūt produktu nosaukumus un cenas"
Izmanto AI, lai inteliģenti izgūtu datus no lapas, pamatojoties uz dabisku valodu promptu.
Eksperimentējiet ar dažādiem promptiem, lai iegūtu precīzākus rezultātus.
openclaw solve-captcha --method "reCAPTCHA"
Mēģina atrisināt CAPTCHA, izmantojot integrētus AI risinājumus vai trešo pušu pakalpojumus.
Pārliecinieties, ka jūsu API atslēgas ir konfigurētas CAPTCHA risināšanas pakalpojumiem.
openclaw proxy --use-rotating scrape
Veic skrāpēšanu, izmantojot rotējošus starpniekserverus, lai izvairītos no IP bloķēšanas.
Konfigurējiet starpniekserveru sarakstu OpenClaw konfigurācijas failā vai norādiet ar `--proxy-list
openclaw headless scrape --js-render
Veic skrāpēšanu bezgalvas režīmā, atveidojot JavaScript, lai iegūtu dinamiskas lapas.
Šis režīms ir nepieciešams lapām, kas intensīvi izmanto JavaScript satura ielādei.
openclaw debug --verbose --log-level debug
Atkļūdo skrāpēšanas procesu, sniedzot detalizētu informāciju par pieprasījumiem, atbildēm un kļūdām.
Izmantojiet atkļūdošanas režīmu, lai precīzi noteiktu problēmas ar selektoriem vai pieteikšanos.