L'exploration (crawl) est le parcours des pages par les robots des moteurs ; l'indexation est leur enregistrement dans l'index pour pouvoir être affichées. Le fichier robots.txt contrôle l'exploration, la balise meta robots (noindex) l'indexation, et un sitemap XML aide à découvrir les URL. Une URL bloquée par robots.txt peut quand même apparaître dans l'index.
Exemple
<meta name="robots" content="noindex">