مرجع نهایی

چیت شیت OpenClaw CLI: راهنمای نهایی اسکرپینگ وب با هوش مصنوعی

دستورات ضروری و نکات حرفه‌ای برای OpenClaw، ابزار پیشرفته CLI برای استخراج داده و اتوماسیون وب.

شروع به کار و نصب

openclaw install
Copied!

دستور نصب OpenClaw را اجرا می‌کند. این دستور وابستگی‌ها را بررسی و نصب می‌کند تا ابزار آماده استفاده شود.

برای نصب بدون مشکل، اطمینان حاصل کنید که Node.js و npm روی سیستم شما نصب شده‌اند.

openclaw init
Copied!

یک پروژه OpenClaw جدید را در دایرکتوری فعلی آغاز می‌کند. این کار فایل‌های پیکربندی و ساختار پروژه اولیه را ایجاد می‌کند.

برای سازماندهی بهتر، همیشه قبل از شروع یک پروژه جدید، یک دایرکتوری جداگانه ایجاد کنید.

openclaw --version
Copied!

نسخه فعلی نصب شده OpenClaw را نمایش می‌دهد. این برای اطمینان از به‌روز بودن ابزار یا بررسی سازگاری مفید است.

به‌روز نگه داشتن OpenClaw با استفاده از `openclaw update` (اگر موجود باشد) برای دسترسی به جدیدترین ویژگی‌ها و رفع اشکالات ضروری است.

openclaw help
Copied!

راهنمایی و توضیحات مربوط به یک دستور خاص OpenClaw را نمایش می‌دهد. اگر `command` مشخص نشود، راهنمای کلی را نشان می‌دهد.

برای کشف گزینه‌های پنهان یا نحوه استفاده صحیح از یک دستور، همیشه از `help` استفاده کنید.

اسکرپینگ پایه

openclaw scrape
Copied!

محتوای کامل HTML یک صفحه وب را از URL مشخص شده اسکرپ می‌کند و آن را به خروجی استاندارد چاپ می‌کند.

این دستور برای بررسی اولیه ساختار یک صفحه وب قبل از استخراج داده‌های خاص عالی است.

openclaw scrape --selector "css_selector"
Copied!

فقط محتوای مطابق با انتخابگر CSS مشخص شده را از URL اسکرپ می‌کند. این برای هدف‌گیری عناصر خاص صفحه مفید است.

از ابزارهای توسعه‌دهنده مرورگر (Inspect Element) برای یافتن دقیق‌ترین و پایدارترین انتخابگرهای CSS استفاده کنید.

openclaw scrape --xpath "//xpath/expression"
Copied!

داده‌ها را با استفاده از یک عبارت XPath به جای انتخابگر CSS استخراج می‌کند. XPath برای ناوبری پیچیده‌تر DOM قدرتمندتر است.

XPath انعطاف‌پذیری بیشتری در انتخاب گره‌ها بر اساس ویژگی‌ها، متن یا موقعیت نسبی ارائه می‌دهد.

openclaw scrape --limit 10
Copied!

تعداد نتایج استخراج شده را به ۱۰ مورد اول محدود می‌کند. این برای تست سریع یا زمانی که فقط به نمونه‌ای از داده‌ها نیاز دارید مفید است.

استفاده از `--limit` در هنگام توسعه اسکریپت‌ها می‌تواند زمان اجرا را به شدت کاهش دهد و به شما در تکرار سریع‌تر کمک کند.

استخراج پیشرفته داده

openclaw extract --schema '{"title": "h1", "price": ".price"}'
Copied!

داده‌ها را بر اساس یک اسکیما JSON مشخص شده استخراج می‌کند. هر کلید در اسکیما به یک انتخابگر CSS یا XPath نگاشت می‌شود.

اسکیماهای پیچیده را می‌توان برای استخراج چندین فیلد با انواع داده‌های مختلف به طور همزمان تعریف کرد.

openclaw extract --ai-parse "جزئیات محصول"
Copied!

از هوش مصنوعی برای تجزیه و تحلیل محتوای صفحه و استخراج اطلاعات مرتبط با درخواست متنی (مانند 'جزئیات محصول') استفاده می‌کند.

این ویژگی زمانی بسیار قدرتمند است که ساختار صفحه نامنظم باشد یا انتخابگرهای سنتی به خوبی کار نکنند.

openclaw extract --follow-links ".next-page"
Copied!

پس از استخراج از URL اولیه، لینک‌های مطابق با انتخابگر CSS مشخص شده (مانند دکمه 'صفحه بعدی') را دنبال می‌کند و داده‌ها را از آنها نیز استخراج می‌کند.

این برای اسکرپینگ صفحات چندگانه (pagination) یا پیمایش وبسایت‌ها بسیار کارآمد است.

openclaw extract --interaction 'click .load-more'
Copied!

قبل از استخراج، با صفحه وب تعامل برقرار می‌کند (مثلاً روی یک دکمه کلیک می‌کند) تا محتوای پویا بارگذاری شود.

از این گزینه برای صفحات وب با محتوای بارگذاری شده با JavaScript یا AJAX استفاده کنید که نیاز به تعامل کاربر دارند.

مدیریت خروجی و فرمت‌ها

openclaw scrape --output products.json
Copied!

خروجی اسکرپ شده را به جای چاپ در کنسول، در یک فایل مشخص (در اینجا products.json) ذخیره می‌کند.

همیشه از گزینه `--output` برای ذخیره نتایج طولانی مدت یا برای پردازش بعدی استفاده کنید.

openclaw scrape --format csv
Copied!

فرمت خروجی داده‌ها را به CSV (Comma Separated Values) تغییر می‌دهد. فرمت پیش‌فرض معمولاً JSON است.

OpenClaw از فرمت‌های خروجی مختلفی مانند JSON, CSV, TSV و HTML پشتیبانی می‌کند. مناسب‌ترین فرمت را برای نیازهای خود انتخاب کنید.

openclaw scrape --append
Copied!

داده‌های جدید را به انتهای یک فایل خروجی موجود اضافه می‌کند، به جای اینکه محتوای آن را بازنویسی کند.

این گزینه برای جمع‌آوری داده‌ها از چندین منبع یا در طول زمان، بدون از دست دادن داده‌های قبلی، بسیار مفید است.

openclaw scrape --output-dir ./data
Copied!

فایل‌های خروجی را در یک دایرکتوری مشخص (در اینجا ./data) ذخیره می‌کند. این به سازماندهی پروژه‌های بزرگ کمک می‌کند.

برای پروژه‌هایی که چندین نوع داده یا خروجی را تولید می‌کنند، استفاده از دایرکتوری‌های خروجی جداگانه توصیه می‌شود.

تعامل با وبسایت‌ها

openclaw visit --wait 5s
Copied!

به یک URL مشخص مراجعه می‌کند و برای مدت زمان مشخصی (در اینجا ۵ ثانیه) منتظر می‌ماند تا صفحه کاملاً بارگذاری شود یا عملیات JavaScript اجرا شود.

زمان انتظار را بر اساس پیچیدگی صفحه و سرعت بارگذاری آن تنظیم کنید تا از بارگذاری کامل محتوا اطمینان حاصل شود.

openclaw fill --form '#login-form' --data '{"username":"user", "password":"pass"}'
Copied!

یک فرم HTML را در URL مشخص شده با داده‌های ارائه شده پر می‌کند. از انتخابگر CSS برای شناسایی فرم استفاده می‌شود.

برای تعامل با وبسایت‌هایی که نیاز به ورود به سیستم یا پر کردن فرم دارند، این دستور ضروری است.

openclaw click --selector '#submit-button'
Copied!

روی یک عنصر خاص در صفحه وب (مانند یک دکمه یا لینک) کلیک می‌کند. این برای فعال کردن رویدادهای JavaScript یا ناوبری مفید است.

می‌توانید کلیک‌های متوالی را با استفاده از چندین دستور `click` یا ترکیب با `--interaction` در یک دستور `extract` انجام دهید.

openclaw screenshot --output page.png
Copied!

از یک صفحه وب در URL مشخص شده اسکرین‌شات می‌گیرد و آن را به عنوان یک فایل تصویری (در اینجا page.png) ذخیره می‌کند.

این برای دیباگ کردن مشکلات اسکرپینگ، مستندسازی یا نظارت بر تغییرات بصری صفحات وب مفید است.

ویژگی‌های هوش مصنوعی

openclaw summarize --ai-model "gpt-4"
Copied!

محتوای یک صفحه وب را خلاصه می‌کند و از مدل هوش مصنوعی مشخص شده (در اینجا GPT-4) برای تولید خلاصه استفاده می‌کند.

این برای درک سریع محتوای طولانی یا استخراج اطلاعات کلیدی از مقالات و گزارش‌ها بسیار مفید است.

openclaw classify --ai-prompt "آیا این یک مقاله خبری است؟"
Copied!

صفحه وب را بر اساس یک درخواست متنی (مانند 'آیا این یک مقاله خبری است؟') با استفاده از هوش مصنوعی طبقه‌بندی می‌کند.

برای فیلتر کردن محتوا، دسته‌بندی صفحات یا شناسایی نوع محتوا بدون نیاز به قوانین پیچیده استفاده کنید.

openclaw generate-schema
Copied!

با استفاده از هوش مصنوعی، یک اسکیما استخراج داده پیشنهادی را برای URL مشخص شده تولید می‌کند. این کار نقطه شروع خوبی برای استخراج داده است.

این ویژگی زمان زیادی را در نوشتن دستی انتخابگرها صرفه‌جویی می‌کند. اسکیما تولید شده را می‌توان ویرایش و بهینه کرد.

openclaw monitor --ai-alert "کاهش قیمت"
Copied!

یک صفحه وب را برای تغییرات خاص (مانند 'کاهش قیمت') با استفاده از هوش مصنوعی نظارت می‌کند و در صورت تشخیص تغییر، هشدار می‌دهد.

برای ردیابی قیمت محصولات، موجودی کالا، یا هر تغییر محتوایی که برای شما اهمیت دارد، از این دستور استفاده کنید.

سوالات متداول OpenClaw

OpenClaw چیست؟

OpenClaw یک ابزار خط فرمان (CLI) پیشرفته است که از هوش مصنوعی برای اسکرپینگ وب، استخراج داده و اتوماسیون کارهای مبتنی بر وب استفاده می‌کند. این ابزار به شما کمک می‌کند تا به راحتی داده‌ها را از اینترنت جمع‌آوری و ساختاردهی کنید.

آیا OpenClaw از JavaScript پشتیبانی می‌کند؟

بله، OpenClaw دارای یک موتور مرورگر داخلی است که می‌تواند صفحات پویا و مبتنی بر JavaScript را رندر و با آنها تعامل داشته باشد. این قابلیت به شما امکان می‌دهد تا از وبسایت‌های مدرن نیز داده استخراج کنید.

چگونه می‌توانم یک اسکیما برای استخراج داده تعریف کنم؟

شما می‌توانید از گزینه `--schema` با یک شیء JSON استفاده کنید تا انتخابگرهای CSS یا XPath را برای فیلدهای خاص مشخص کنید. همچنین OpenClaw می‌تواند اسکیما را با هوش مصنوعی تولید کند که نقطه شروع عالی برای شما خواهد بود.

آیا OpenClaw برای اسکرپینگ در مقیاس بزرگ مناسب است؟

بله، با ویژگی‌هایی مانند مدیریت پروکسی، محدودیت نرخ درخواست، و قابلیت‌های موازی‌سازی، OpenClaw برای پروژه‌های اسکرپینگ در مقیاس بزرگ طراحی شده است. همچنین قابلیت‌های هوش مصنوعی آن به مدیریت پیچیدگی‌های صفحات وب کمک می‌کند.