OpenClaw CLI: Cheat Sheet Web Scraping & Otomatisasi Data Terlengkap

Instalasi & Konfigurasi Awal


                            openclaw install

Menginstal OpenClaw CLI di sistem Anda. Memastikan semua dependensi terpasang dengan benar untuk memulai.

Jalankan dengan hak akses administrator jika ada masalah izin selama instalasi.


                            openclaw config --set api_key

Mengatur kunci API untuk otentikasi dengan layanan OpenClaw. Penting untuk mengakses fitur premium dan memantau penggunaan.

Dapatkan kunci API Anda dari dashboard akun OpenClaw resmi.


                            openclaw update

Memperbarui OpenClaw CLI ke versi terbaru. Dianjurkan untuk mendapatkan fitur, perbaikan bug, dan peningkatan performa terbaru.

Periksa log rilis untuk melihat perubahan terbaru sebelum memperbarui untuk kompatibilitas.


                            openclaw doctor

Mendiagnosis masalah umum dengan instalasi dan konfigurasi OpenClaw. Membantu memecahkan masalah dan memastikan lingkungan siap.

Gunakan ini jika Anda mengalami perilaku yang tidak terduga atau kesalahan saat menjalankan perintah.

Perintah Dasar Web Scraping


                            openclaw scrape --url "https://example.com" --output data.json

Melakukan scraping sederhana pada URL yang diberikan dan menyimpan hasilnya dalam format JSON.

Gunakan `--output csv` untuk format CSV atau `--output html` untuk mendapatkan HTML mentah dari halaman.


                            openclaw extract --url "https://example.com" --selector ".product-title"

Mengekstrak elemen spesifik dari halaman web menggunakan selector CSS. Mendapatkan teks atau atribut dari elemen.

Gunakan selector CSS atau XPath yang presisi untuk hasil ekstraksi yang akurat dan spesifik.


                            openclaw list --url "https://example.com/blog" --items ".post-card" --fields "title:.post-title, link:.post-link@href"

Mengekstrak daftar item (misalnya, kartu produk, artikel) dengan bidang tertentu dari halaman. Ideal untuk daftar berulang.

Tentukan beberapa bidang dengan sintaks `nama_bidang:selector`. Gunakan `@attr` untuk mengekstrak nilai atribut.


                            openclaw crawl --start-url "https://example.com" --max-pages 5 --depth 2 --output crawled_data.json

Melakukan crawling situs web, mengikuti tautan hingga kedalaman atau jumlah halaman tertentu. Mengumpulkan data dari banyak halaman.

Hati-hati dengan `--max-pages` dan `--depth` untuk menghindari beban berlebih pada server target.

Ekstraksi Data Tingkat Lanjut


                            openclaw parse --html-file page.html --template "product_name:h1, price:.price-tag"

Menganalisis file HTML lokal menggunakan template ekstraksi yang ditentukan. Berguna untuk memproses data offline.

Berguna untuk menguji template tanpa harus mengakses web secara langsung, menghemat waktu dan bandwidth.


                            openclaw table --url "https://example.com/data" --selector "table#data-table" --output table.csv

Mengekstrak data dari tabel HTML yang ditentukan oleh selector dan menyimpannya ke CSV. Ideal untuk data terstruktur.

Pastikan selector menunjuk langsung ke elemen `

` yang ingin Anda ekstrak.


                            openclaw paginate --start-url "https://example.com/catalog?page={}" --page-range 1-10 --selector ".item-card"

Mengumpulkan data dari beberapa halaman yang dipaginasi, mengganti `{}` dengan nomor halaman. Otomatisasi penelusuran halaman.

Perhatikan pola URL paginasi, bisa juga menggunakan offset atau parameter lain seperti `offset={}`.


                            openclaw regex --url "https://example.com" --pattern "Email: (\S+@\S+)"

Mengekstrak data menggunakan ekspresi reguler dari konten halaman web. Fleksibel untuk pola data yang kompleks.

Uji pola regex Anda secara terpisah di alat online sebelum menggunakannya di OpenClaw untuk memastikan keakuratan.

Interaksi & Otomatisasi Web


                            openclaw click --url "https://example.com" --selector "#next-button"

Mensimulasikan klik pada elemen tertentu di halaman web. Memungkinkan navigasi melalui interaksi pengguna.

Gunakan ini untuk menavigasi halaman yang membutuhkan interaksi pengguna seperti tombol 'Muat Lebih Banyak'.


                            openclaw fill --url "https://example.com/login" --selector "#username" --value "myuser"

Mengisi bidang input formulir dengan nilai yang ditentukan. Otomatisasi pengisian formulir.

Pasangkan dengan perintah `openclaw click` untuk tombol submit formulir.


                            openclaw wait --url "https://example.com" --selector ".dynamic-content" --timeout 10

Menunggu hingga elemen tertentu muncul di halaman sebelum melanjutkan operasi. Penting untuk konten dinamis.

Sangat penting untuk halaman yang memuat konten secara dinamis (AJAX) untuk memastikan semua elemen tersedia.


                            openclaw screenshot --url "https://example.com" --output screenshot.png --full-page

Mengambil screenshot halaman web, opsional untuk seluruh halaman. Berguna untuk debugging dan verifikasi visual.

Berguna untuk debugging atau memverifikasi tampilan halaman setelah interaksi atau ekstraksi.

Pengaturan & Opsi Lanjutan


                            openclaw proxy --url "https://example.com" --proxy "http://user:[email protected]:8080"

Menggunakan server proxy untuk permintaan HTTP, membantu menghindari pemblokiran IP dan mengakses konten terbatas.

Rotasi proxy dapat dilakukan dengan daftar proxy untuk anonimitas yang lebih baik.


                            openclaw header --url "https://example.com" --header "User-Agent: MyCustomAgent"

Mengatur header HTTP kustom untuk permintaan. Memungkinkan peniruan browser atau agen lainnya.

Berguna untuk meniru browser tertentu atau melewati deteksi bot yang sensitif terhadap User-Agent.


                            openclaw throttle --delay 500 --concurrency 2

Mengontrol kecepatan permintaan dengan menunda antar permintaan dan membatasi konkurensi. Penting untuk etika scraping.

Gunakan untuk bersikap sopan kepada server dan menghindari pemblokiran atau penandaan sebagai bot.


                            openclaw debug --url "https://example.com"

Menjalankan operasi dalam mode debug, menampilkan informasi verbose tentang permintaan dan respons. Membantu pemecahan masalah.

Sangat berguna untuk memecahkan masalah ekstraksi atau deteksi bot yang kompleks.

Manajemen Proyek & Ekspor


                            openclaw project init my_scraper

Menginisialisasi proyek OpenClaw baru dengan struktur direktori default. Membantu dalam organisasi kode.

Organisasi proyek yang baik membantu dalam pengelolaan scraper yang kompleks dan kolaborasi tim.


                            openclaw export --format json --input results.json --output results.csv

Mengonversi data yang diekstrak dari satu format ke format lain. Memungkinkan fleksibilitas dalam penggunaan data.

Mendukung konversi antara JSON, CSV, dan XML untuk integrasi yang mudah.


                            openclaw schedule --project my_scraper --cron "0 0 * * *"

Menjadwalkan proyek OpenClaw untuk berjalan secara otomatis pada interval tertentu menggunakan sintaks cron. Untuk otomatisasi berkelanjutan.

Pastikan lingkungan eksekusi memiliki akses ke OpenClaw CLI dan dependensi yang diperlukan.


                            openclaw validate --template template.yml --data data.json

Memvalidasi template ekstraksi terhadap data sampel untuk memastikan struktur dan keakuratan yang benar.

Penting untuk menjaga kualitas data dan konsistensi ekstraksi seiring waktu.

Pertanyaan Umum (FAQ) tentang OpenClaw CLI

Apa itu OpenClaw CLI?

OpenClaw CLI adalah alat baris perintah bertenaga AI yang dirancang untuk web scraping, ekstraksi data, dan otomatisasi tugas-tugas web dengan efisiensi tinggi dan kemampuan adaptif.

Apakah OpenClaw mendukung JavaScript rendering?

Ya, OpenClaw memiliki kemampuan untuk merender JavaScript, memungkinkan ekstraksi data dari situs web yang sangat dinamis dan SPA (Single Page Applications).

Bagaimana cara menghindari pemblokiran IP saat scraping?

Anda dapat menggunakan fitur proxy OpenClaw (`openclaw proxy`), mengatur delay antar permintaan (`openclaw throttle`), dan mengubah User-Agent (`openclaw header`) untuk mengurangi risiko pemblokiran IP atau deteksi bot.

Bisakah saya mengintegrasikan OpenClaw dengan skrip lain?

Tentu, OpenClaw dirancang untuk bekerja dengan baik dalam skrip shell, Python, Node.js, atau bahasa pemrograman lainnya, memungkinkan integrasi ke dalam alur kerja otomatisasi yang lebih besar dan kompleks.