Dans un billet publié à l'occasion du vingtième anniversaire du fichier robots.txt, Olivier Duffez, master-chef de WebRankInfo, est revenu sur l'utilisation de ce fichier et donne plusieurs conseils.
Il évoque le cas d'une URL déjà indexée dans les moteurs de recherche que l'on souhaiterait enlever. Olivier indique, qu'il ne faut pas bloquer cette page avec le robos.txt, car les moteurs de recherche n'auront plus accès à cette page et donc elle ne sera pas traitée.