Alustamine ja Seadistamine
openclaw install
Paigaldab OpenClaw CLI tööriista ja selle sõltuvused süsteemi.
Kasutage seda käsku OpenClaw'i esmakordseks seadistamiseks.
openclaw init
Initsialiseerib uue OpenClaw projekti praeguses kaustas, luues vajalikud konfiguratsioonifailid.
Käivitage see enne kraapimisülesannete alustamist.
openclaw config set api_key
Seadistab teie OpenClaw API võtme. See on vajalik AI-põhiste funktsioonide kasutamiseks.
Asendage
openclaw config show
Kuvab praeguse OpenClaw konfiguratsiooni, sealhulgas API võtme ja muud seaded.
Kontrollige oma seadeid, et veenduda õiges konfiguratsioonis.
Põhilised Kraapimiskäsud
openclaw fetch
Toob ette antud URL-i HTML-sisu ja kuvab selle standardväljundisse.
Hea viis veebilehe sisu kiireks kontrollimiseks.
openclaw extract --selector "h1.title"
Ekstraheerib andmeid konkreetselt URL-ilt, kasutades CSS-selektorit. Tulemused on JSON-formaadis.
Kasutage täpseid CSS-selektoreid soovitud elementide sihtimiseks.
openclaw scrape --css "div.item > a" --attr "href"
Kraapib etteantud URL-ilt mitu elementi, ekstraheerides iga elemendi määratud atribuudi.
Ideaalne linkide, pildiallikate või muude atribuutide loendite hankimiseks.
openclaw crawl --depth 1 --output links.json
Käivitab veebilehe roomamise, järgides linke määratud sügavuseni ja salvestades tulemused.
Määrake sügavus hoolikalt, et vältida soovimatult suurt andmemahtu.
Andmete Ekstraheerimine AI-ga
openclaw extract --ai "toote_nimi, hind, kirjeldus"
Kasutab tehisintellekti etteantud URL-ilt struktureeritud andmete automaatseks tuvastamiseks ja ekstraheerimiseks, tuginedes märksõnadele.
See on võimas funktsioon, mis vähendab vajadust keeruliste selektorite järele.
openclaw extract --schema "{\"product_name\": \"string\", \"price\": \"number\"}"
Ekstraheerib andmeid, sundides AI-d vastama etteantud JSON-skeemile.
Tagab andmete ühtsuse ja vastavuse teie ootustele. Kasutage escape märke JSON-i jaoks.
openclaw ai-parse --query "summeeri see tekst"
Analüüsib tehisintellekti abil etteantud teksti vastavalt esitatud päringule, nt kokkuvõtte loomine.
Kasulik mittestruktureeritud andmete töötlemiseks ja teabe eraldamiseks.
openclaw analyze --goal "leia kontaktinfo"
Palub AI-l analüüsida veebilehte konkreetse eesmärgi saavutamiseks, näiteks kontaktandmete leidmiseks.
Suunake AI-d oma kraapimisvajadustele vastavalt.
Automaatika ja Töövoog
openclaw batch urls.txt --output results.json
Töötleb loendi URL-e failist (üks URL rea kohta), rakendades neile kraapimiskäsku ja salvestades tulemused.
Ideaalne suurte veebisaitide või mitme lehe kraapimiseks korraga.
openclaw schedule "0 0 * * *" "openclaw crawl example.com"
Planeerib OpenClaw käsu käivitamise Cron-stiilis ajakavaga.
Automatiseerige korduvad kraapimisülesanded igapäevaseks või iganädalaseks andmevärskenduseks.
openclaw pipeline run my_pipeline.yml
Käivitab määratud töövoo torujuhtme YAML-failist, mis sisaldab mitmeid kraapimis- ja töötlemisetappe.
Looge keerulisi andmete ekstraheerimise töövooge mitme sammuga.
openclaw monitor
Jälgib käimasoleva OpenClaw toimingu olekut ja progressi.
Hoidke silm peal pikaajalistel kraapimistöödel.
Interaktiivne Sirvimine ja Lehekülgede Navigeerimine
openclaw browse --click "button#next"
Simuleerib brauseri käitumist, navigeerib URL-ile ja klõpsab määratud CSS-selektoriga elemendil.
Kasulik lehtedel navigeerimiseks või interaktiivsete elementidega suhtlemiseks.
openclaw browse --fill "#username" "kasutaja" --fill "#password" "parool" --submit "#login-form"
Täidab vormiväljad ja esitab vormi, simuleerides kasutaja sisselogimist või andmete sisestamist.
Vajalik kaitstud sisu kraapimiseks, mis nõuab autentimist.
openclaw screenshot --output page.png
Teeb etteantud URL-i veebilehest ekraanipildi ja salvestab selle pildifailina.
Hea visuaalseks kontrolliks või lehe kujunduse jäädvustamiseks.
openclaw navigate --wait-for-selector "div.content"
Navigeerib URL-ile ja ootab, kuni konkreetne CSS-selektor ilmub DOM-i, enne kui jätkab.
Tagab, et JavaScriptiga laetud sisu on enne ekstraheerimist täielikult saadaval.
Andmete Väljund ja Eksport
openclaw extract --output data.csv
Ekstraheerib andmeid ja salvestab need CSV-failina. Toetab ka JSON ja JSONL formaate.
Määrake väljundfaili laiend, et valida formaat (.csv, .json, .jsonl).
openclaw extract --output-format jsonl
Ekstraheerib andmed ja vormindab iga kirje JSON-objektina eraldi real (JSON Lines formaat).
JSONL on kasulik suurte andmekogumite puhul, kuna iga rida on iseseisev JSON-objekt.
openclaw export results.json --to "mongodb://localhost:27017/db.collection"
Ekspordib varem salvestatud tulemused JSON-failist otse andmebaasi (nt MongoDB).
Integreerige oma kraapimisandmed otse andmebaasisüsteemidega.
openclaw export results.json --to "s3://my-bucket/data/" --format parquet
Ekspordib andmed pilvesalvestusse (nt Amazon S3) määratud formaadis (nt Parquet).
Skaleeritav lahendus suurte andmekogumite salvestamiseks ja analüüsimiseks pilves.
openclaw transform data.json --jq ".items[] | {id, name}"
Töötleb JSON-andmeid, kasutades jq-stiilis päringut, et filtreerida, teisendada või ümber struktureerida andmeid.
Vormindage ja puhastage oma andmeid enne eksportimist või edasist analüüsi.