OpenClaw CLI: Tu Referencia Definitiva para Web Scraping con IA

Inicializa un nuevo proyecto OpenClaw en el directorio actual, creando los archivos de configuración necesarios.

Usa este comando al inicio de cada nuevo proyecto para una estructura organizada.

Autentica tu sesión de OpenClaw usando una clave API, permitiendo acceso a funciones avanzadas y recursos de la nube.

Mantén tu clave API segura y no la compartas. Considera usar variables de entorno.

Configura un User-Agent personalizado para tus solicitudes HTTP, útil para evitar bloqueos y simular navegadores reales.

Rotar User-Agents puede mejorar la tasa de éxito en sitios con defensas anti-scraping.

Agrega una configuración de proxy a tu proyecto para enmascarar tu dirección IP durante las solicitudes de scraping.

Utiliza proxies rotativos o de alta calidad para proyectos de gran volumen y evitar bloqueos.

Extrae texto de elementos HTML que coincidan con un selector CSS específico de una URL dada y guarda los resultados en un archivo JSON.

Puedes usar múltiples selectores CSS separados por comas para extraer diferentes tipos de datos.

Realiza una extracción estructurada de datos de una URL utilizando un archivo de esquema JSON predefinido que detalla los selectores y tipos de datos.

Define esquemas robustos para garantizar la consistencia y la calidad de los datos extraídos.

Descarga el contenido HTML completo de una URL sin aplicar ninguna lógica de extracción, guardándolo en un archivo.

Útil para inspeccionar el HTML original de una página antes de definir selectores.

Toma una captura de pantalla de una URL específica, capturando la página completa y guardándola como una imagen PNG.

Ideal para monitorear cambios visuales o documentar el estado de una página web.

Navega a través de enlaces en una URL inicial, siguiendo patrones de enlaces específicos hasta una profundidad definida.

Controla la profundidad y los patrones de enlaces para evitar rastreos infinitos o irrelevantes.

Automatiza la navegación por páginas consecutivas haciendo clic en un botón de 'siguiente' o siguiendo un selector de enlace de paginación, con un límite de páginas.

Asegúrate de que el selector del botón 'siguiente' sea único y estable en todas las páginas.

Simula interacciones de usuario como clics, llenado de formularios y envío, útil para acceder a contenido detrás de muros de acceso o formularios.

Prueba las interacciones manualmente en el navegador para asegurar la secuencia correcta de acciones.

Desplaza la página web hacia abajo, útil para cargar contenido dinámico en sitios con 'scroll infinito'.

Ajusta el retraso para permitir que el contenido se cargue completamente antes de intentar extraerlo.

Aplica una consulta JQ a un archivo JSON para filtrar, transformar o reestructurar los datos extraídos.

JQ es una herramienta poderosa; invierte tiempo en aprender su sintaxis para manipulaciones complejas.

Filtra filas de un archivo CSV basándose en el valor de una columna específica.

Puedes combinar múltiples filtros usando operadores lógicos en consultas más avanzadas.

Combina dos archivos de datos (JSON o CSV) basándose en una clave común, útil para unir información de diferentes fuentes.

Asegúrate de que la clave de unión tenga el mismo nombre y formato en ambos archivos.

Elimina registros duplicados de un archivo de datos basándose en el valor de una o más claves.

La limpieza de datos es crucial para la calidad y la precisión de tus análisis.

Convierte y exporta los datos extraídos de un formato (ej. JSON) a otro (ej. CSV).

OpenClaw soporta varios formatos de exportación como CSV, JSON, XML y XLSX.

Genera un informe resumido de los datos extraídos, incluyendo estadísticas básicas y conteos.

Personaliza los informes con plantillas para obtener análisis más específicos.

Sube un archivo de datos a un servicio de almacenamiento en la nube como AWS S3, Google Cloud Storage o Azure Blob Storage.

Configura tus credenciales de la nube de forma segura antes de usar este comando.

Envía un archivo adjunto (como un informe o los datos extraídos) por correo electrónico a una o varias direcciones.

Integra esto en tus flujos de trabajo de automatización para notificaciones periódicas.

Programa una tarea de OpenClaw para que se ejecute automáticamente a intervalos definidos, usando una sintaxis cron.

Prueba tus tareas manualmente antes de programarlas para asegurar su correcto funcionamiento.

Ejecuta una tarea predefinida de un archivo JSON que contiene una secuencia de comandos y configuraciones de OpenClaw.

Las tareas complejas permiten encapsular flujos de trabajo completos de scraping.

Configura un webhook para que OpenClaw envíe una notificación HTTP a una URL específica cuando un evento de tarea ocurra (ej. completada, fallida).

Los webhooks son excelentes para integrar OpenClaw con otros sistemas y disparar acciones posteriores.

Monitorea el progreso y el estado de una tarea de OpenClaw en tiempo real, mostrando actualizaciones periódicas.

Utiliza el ID de tarea para rastrear ejecuciones específicas, especialmente en entornos concurrentes.

Ejecuta una operación de scraping en modo de depuración, proporcionando información detallada sobre cada paso y posibles errores.

El modo verbose te ayudará a identificar problemas con selectores CSS o interacciones de página.

Muestra los últimos 50 registros de una tarea específica, útil para revisar errores o el progreso reciente.

Filtra los logs por nivel (INFO, WARN, ERROR) para una depuración más rápida.

Valida un archivo de datos extraídos contra un esquema JSON, asegurando que los datos cumplen con la estructura esperada.

La validación de esquema es fundamental para mantener la calidad y consistencia de los datos.

Muestra el estado actual del servicio OpenClaw, incluyendo recursos utilizados, tareas en ejecución y configuraciones activas.

Revisa el estado regularmente para asegurar que OpenClaw está operando como se espera.