11. hiba: A robots.txt fájl hiánya
Miért hiba? Régen, amikor a Google robotjai amikor megérkeztek egy weboldalra, automatikusan lekérdezték a /robots.txt fájlt, és eszerint folytatták/fejezték be az útjukat. Manapság már nem feltétlenül az indexelendő mappák miatt kell robots.txt fájlt létrehozni, hanem éppen az ellenkezője miatt: a robots.txt fájlban lehet definiálni, hogy mely aloldalakat, mappákat ne indexelje a Google. Ma már a…