SEO Spider pour crawler un site et repérer les blocages SEO

Lancez un crawl interne depuis une URL de départ pour inspecter les pages accessibles, leurs statuts HTTP, leurs balises SEO, leur structure H1/H2, leurs images et leurs liens internes ou externes.

Crawl interne BFS Title / H1 / canonical Statuts HTTP & redirections

Le spider parcourt le même domaine de lien en lien, normalise les URLs, ignore les fragments et schémas non web, conserve les redirections comme des résultats à part entière et limite le nombre de pages pour éviter les timeouts.

Un crawler SEO léger pour voir votre site comme un moteur

Le SEO Spider démarre sur une URL racine, récupère chaque page avec le client HTTP Symfony, extrait les liens internes HTML puis ajoute les nouvelles URLs à une file de crawl. Les liens javascript:, mailto:, tel:, ancres et fragments sont écartés pour garder un inventaire exploitable.

Chaque page HTML en statut 2xx est enrichie avec ses balises title, meta description, meta robots, canonical, son H1, ses H2, ses images, son nombre de mots, ses liens internes/externes, son poids, son temps de réponse et les tags analytics détectés.

Résumé

Cet outil est un crawler SEO technique qui aide à identifier rapidement les pages indexables, les redirections, les erreurs HTTP, les balises manquantes et les contenus à optimiser.

Exploration interne

Parcours du même domaine avec déduplication des URLs, résolution des liens relatifs et option pour suivre ou ignorer les liens nofollow.

Balises SEO

Extraction des title, meta descriptions, meta robots, canonicals, H1 et H2 pour repérer les pages vides, dupliquées ou mal structurées.

Santé HTTP

Lecture des statuts 2xx, 3xx, 4xx, 5xx, redirections, types de contenus, poids des pages et temps de réponse.

Images & tracking

Inventaire des images avec src, alt, title et détection de Google Analytics, Tag Manager, Matomo/Piwik ou Microsoft Clarity.

Capture du tableau de résultats avec URL, statut HTTP, Title, H1, nombre de mots, liens et temps de réponse

Quand lancer un crawl SEO ?

Le SEO Spider est utile avant une mise en ligne, après une migration, lors d'une refonte, après une modification de maillage interne ou pour auditer rapidement un site client sans lancer un crawler lourd.

Trouver les pages sans balise Title ou sans H1.
Repérer les erreurs 404, 500 et redirections internes inattendues.
Contrôler les canonicals, meta robots et pages potentiellement non indexables.
Identifier les images sans texte alternatif et les pages pauvres en contenu.

Questions fréquentes sur le SEO Spider

Le spider crawle-t-il tout Internet ?

Non. Il suit les liens internes du même host que l'URL de départ. Les liens externes sont comptés, mais ne sont pas explorés.

Pourquoi limiter le nombre de pages ?

La limite, 50 pages par défaut et jusqu'à 200 dans le formulaire, évite les temps d'exécution trop longs sur l'interface web.

Les redirections sont-elles suivies ?

Le spider force max_redirects à 0 et met les redirections internes en file pour les afficher clairement comme résultats séparés.

Est-ce équivalent à Screaming Frog ?

C'est une alternative légère pour un diagnostic rapide. Elle couvre les signaux essentiels, sans remplacer un audit SEO complet sur de gros volumes.

Envie de crawler votre site comme un moteur ?

Débloquez le SEO Spider pour parcourir vos pages internes, identifier les balises manquantes, les erreurs HTTP et les signaux techniques à corriger en priorité.

Crawl interne avec limite configurable jusqu'à 200 pages.
Analyse des Title, H1, meta robots, canonicals, images et liens.
Détection des redirections, erreurs 4xx/5xx et temps de réponse.
Rapport exploitable pour préparer une migration, une refonte ou un audit SEO.

Lancer un crawl SEO

Guide d'utilisation

À propos du SEO Spider

Cet outil parcourt un site à partir d'une URL de départ et suit les liens internes découverts sur le même domaine. Il analyse chaque page HTML pour produire un inventaire SEO : statut HTTP, balises Title, meta description, canonical, H1, H2, images, liens, poids, temps de réponse et outils d'analytics détectés.

Comment interpréter les résultats ?

Signaux rassurants

Status 200 : la page répond correctement et peut être analysée.
Title et H1 présents : la page dispose des repères SEO minimum pour son sujet principal.
Canonical cohérent : l'URL canonique aide à éviter les problèmes de duplication.
Images avec alt : les visuels sont mieux compris par les moteurs et les technologies d'assistance.

Points à corriger

4xx / 5xx : erreurs à corriger ou à rediriger selon le contexte.
Title ou H1 manquant : page difficile à qualifier clairement pour les moteurs.
Redirections internes : elles ralentissent le crawl et peuvent diluer le maillage.
Images sans alt : opportunités d'accessibilité et de compréhension sémantique.

Technique et options avancées

Nombre maximum de pages : Limite le crawl pour éviter les timeouts. La valeur par défaut est 50 pages, avec un maximum de 200 sur le formulaire.
User-Agent personnalisé : Permet de tester le comportement du site avec un robot ou un navigateur spécifique.
Liens nofollow : Par défaut, ils ne sont pas suivis. Activez l'option pour inclure aussi ces chemins dans l'exploration.
Redirections : Elles sont volontairement conservées comme résultats distincts afin de visualiser les chaînes et destinations internes.
Limites : Le crawl analyse le HTML accessible côté serveur. Les contenus injectés uniquement après exécution JavaScript peuvent ne pas apparaître.