Indexabilitate 8 min de citit Actualizat în august 2026

Indexabilitate: robots meta, X-Robots-Tag și accesul crawlerului

Un URL poate fi accesibil crawlerului, dar neindexabil, blocat înainte ca noindex să fie văzut sau tehnic indexabil, însă canonicalizat în altă parte. Raportul evaluează împreună robots meta și X-Robots-Tag, inclusiv valorile specifice crawlerelor.

Pe scurt

Crawlingul, randarea, indexarea și afișarea sunt decizii diferite

Folosește robots.txt pentru controlul accesului crawlerului și noindex la nivel de pagină pentru excluderea unei resurse accesate. Verifică apoi statusul, canonical, conținutul și autentificarea: absența noindex nu garantează indexarea.

  • Nu bloca în robots.txt un URL al cărui noindex trebuie citit.
  • Combină toate directivele aplicabile și respectă rezultatul cel mai restrictiv.
  • Verifică meta tagurile HTML și headerele HTTP X-Robots-Tag.
  • Tratează „indexabil” drept condiție tehnică, nu garanție.
01

Controalele au roluri diferite

  • robots.txt Controlează accesul crawlerului la path-uri; nu este o metodă sigură de eliminare din rezultate.
  • robots meta Aplică directive de indexare și preview pentru HTML atunci când pagina poate fi accesată.
  • X-Robots-Tag Aplică directive prin HTTP și funcționează pentru resurse HTML și non-HTML.
  • Canonical Indică URL-ul reprezentativ dintre echivalente; nu înlocuiește noindex.
02

Rezolvă directivele după crawler și locație

O pagină poate avea o regulă generală robots, una pentru Googlebot și mai multe valori în headere. Normalizează numele, identifică user agent-ul vizat și combină valorile în loc să te oprești la primul tag.

Headerele neașteptate provin adesea din CDN, middleware de staging, plugin de securitate sau framework. Inspectează răspunsul public final după redirecturi, nu doar template-ul.

03

De ce poate lipsi o pagină permisă

După eliminarea noindex, confirmă status 200, lipsa autentificării, canonical către sine, conținut vizibil util și descoperire prin linkuri ori sitemap.

Folosește URL Inspection pentru răspunsul accesat de Google, pagina randată, canonical-ul ales și statusul de indexare. Acordă timp pentru recrawl.

Listă de acțiuni

Auditează întregul traseu al deciziei

  1. 01Verifică accesul robots.txt pentru URL și resursele necesare.
  2. 02Inspectează fiecare robots meta și X-Robots-Tag.
  3. 03Confirmă statusul final, autentificarea și ținta canonical.
  4. 04Fă URL-ul descoperibil prin linkuri crawlable sau sitemap.
  5. 05Validează rezultatul live cu URL Inspection după recrawl.

Referințe oficiale

Recomandările tehnice din acest ghid sunt aliniate cu următoarele surse primare.