L'anti-bot qui devient crawler
Cloudflare, connu pour protéger les sites contre les bots, vient de lancer /crawl — un endpoint API qui permet de crawler un site web entier en un seul appel. Annoncé le 10 mars 2026, le service est disponible en open beta sur la plateforme Browser Rendering. Le tweet d'annonce a dépassé 2 millions d'impressions et 8 600 bookmarks en 24 heures.
Comment ça fonctionne
Le système est asynchrone : on soumet une URL de départ via POST, on reçoit un job ID, puis on récupère les résultats par polling. Le crawler découvre automatiquement les pages via les sitemaps, les liens internes ou les deux. Il retourne le contenu en trois formats : HTML, Markdown et JSON structuré (via Workers AI).
Deux modes de rendu sont disponibles : render: true exécute le JavaScript via un Chrome headless (idéal pour les SPA), tandis que render: false fait un simple fetch HTTP, beaucoup plus rapide.
Contrôles et limites
Le /crawl offre des contrôles fins : profondeur configurable, limite de pages, patterns d'inclusion/exclusion par wildcards, et crawl incrémental via modifiedSince et maxAge. Point crucial pour le SEO : le crawler respecte robots.txt par défaut, s'identifie comme bot signé, et ne peut pas contourner les CAPTCHAs ni les protections anti-bot de Cloudflare.
Tarifs agressifs
| Plan | Temps navigateur | Pages max | Prix |
|---|---|---|---|
| Free | 10 min/jour | 100 | 0 $ |
| Paid | 10 h/mois + 0,09 $/h | 100 000 | 5 $/mois |
À titre de comparaison, Firecrawl facture 47 $/mois pour des fonctionnalités similaires.
La polémique
L'annonce a déclenché un débat éthique dans la communauté tech. Un développeur l'a qualifié de « plus grande trahison tech de l'année » — Cloudflare, champion de la protection anti-scraping, vend désormais un outil de crawl. La PM Kathy Liao a nuancé : /crawl respecte les protections anti-bot et s'auto-identifie, contrairement aux scrapers sauvages.
Cas d'usage pour le SEO
Au-delà du RAG et du machine learning, /crawl ouvre des possibilités pour l'audit SEO technique : crawl de sites complets en Markdown pour analyse de contenu, monitoring de prix concurrents, et suivi de conformité. Avec le modèle pay-per-crawl lancé avec Stack Overflow en février, Cloudflare construit un écosystème où les éditeurs web gardent le contrôle tout en monétisant l'accès à leur contenu.
