Personalmente ritengo molto utile il controllo tramite robots.txt sia a livello di singole pagine che di cartelle (questo in condizioni che definiremmo normali).
In caso di standby o abbandono di un dominio, inoltre, il "Disallow" blocca lo spider e libera contenuti che possiamo utilizzare altrove senza rischi di duplicazione di contenuti.
Lo stesso ragionamento vale per Sitemap controllando la pubblicazione di quello che vogliamo.
Danilo.
|