So hab mich mal mehr über die robots.txt schlau gemacht. Verwendet hatte ich sie ja ohnehin schon vorher, aber gebracht hats nicht viel, nur die Unterverzeichnisse zu sperren, da ja die index2 die includet :)
Und Javascript - neine danke, bin nämlich auch ein Gegner davon (deshalb bin ich von html auf php umgestiegen und halte das ganze auch sauber).
Nun meine Frage:
Weiß jemand ob das funktioniert, dass er nach dem disallow trotzdem mit allow die index.html prüft?:
User-agent: *
disallow /
allow /index.htmledit:
Ach ja, und in dieser habe ich zur Sicherheit noch den meta mit "index, nofollow" eingebaut
Die Suchmaschinen sollen mich ja alle finden, nur die leidigen mail-sauger sollen blöd sterben :lol: