robots spiders usw.

[itsme]

Habe in letzter Zeit ein Problem mit den Robots, Spiders - oder wie die schon alle heißen. - Die gehen mir schon ganz schön auf den Zeiger.

Inzwischen habe ich die ganzen mail-Adressen von name@domain.tld in name(at)domain.tld umgewandelt und auf die Seite einen Hinweis gesetzt, dass diese (at) durch @ zu entfernen sind.

Das einzige, das ich bisher kenne ist ein java-script, damit man die mail-Adressen "unsichtbar" machen kann.

Gibts da auch in php eine einfache Funktion dafür - oder dass man die spiders gleich generell ausbremsen kann?

[spiegelei]

hm, setz ein bild von deiner mailaddy auf die seite, erkennen die dann nicht

im code können die aus <a href="mailto:bla@bla.bla">mail</a>
auch schon auslesen.

deine besucher können sich die email dann abschreiben ;)

[galle]

hi,
du kannst es auch "einfach" so lösen, indem du ne robots.txt anlegst.
damit kann (soll) mensch diese kleinen maschinchen von seiner seite fernhalten.

siehe dazu bei selfhtml: http://selfhtml.teamone.de/diverses/...tm#allgemeines


zb:
Wenn man einen bestimmten Robot komplett von der Site fernhalten möchte, kann man das tun, indem der Name und dann kein Verzeichnis genannt wird. Wichtig ist der Slash /.

User-agent: EmailCollector
Disallow: /


greetings,

;))))))))))))))))))))))

ps: is aber ziemlich OT :-)

[itsme]

Tja - aber für die robots.txt muss ich die jeweiligen robots auch kennen - gibts da irgendwo Listen - oder steh ich nur auf der Seife?

[galle]

hi again,
hmm, nach listen müßte ich selbst schauen, also einfach mal *ausgoogeln* ;)

generell suchen fast alle robots zuerst nach einer robot.txt.
so kannst du dann alle ausschliessen:

User-agent: *
Disallow:/bla/blabla/
Disallow: /cgi-bin/
Disallow: /logs/
Disallow:/testpages/

greetings,

;))))))))))))))))))))))))))))))))))))

[|Coding]

wie wäre es mit meta tags?

<meta name="robots" content="noindex, nofollow">


btw: das ist ein OT thread.

~MOVED~

[Nev]

Hi @ll
eine andere Möglichkeit wäre es die Email addresse per UNI-Code anzeigen zu lassen.

Die Spider sind noch ned so schlau das zu finden.

test@test.com
schaut dann so aus:

PHP-Code:

test@test.com  


und siehe da, das Board erkennt es auch ned:
test@test.com

[Matt]

Wenn sie es doch mal werden, wäre es eventuell ein interessanter ansatz, alle @'s auf einer seite durch ein
<script language="javascript">document.write("@");<script> zu ersetzen, das wird bots glaube ich für alle ewigkeiten aufhalten, weil dass jemand einen javascript parser macht für seinen blöden bot, glaub ich nicht.. die steigerung ist.
<script language="javascript">thegreat_at.printit();</script> Ich glaub ehrlichgesagt nicht, dass bots jemals Javascript objekte handeln können werden ;) Aber das ist schon ziemlich blödsinnig...

[Nev]

@Matt
Da ich ein JS-Gegner bin, beführworte ich meine Lösung.

Wenn der SeitenInhalt dynamisch generiert wird, sollte das auch kein Prolem sein.

Man kann ja auch nur das @ ersetzetn.

[Matt]

Hi, Nev!
Ich wusste garnicht, dass du gegen Javascript bist!
Die methode hat auch noch nen anderen haken, fällt mir grad auf:

<a href="mailto:me<script language="javascript">document.write("@");</script>domain.com">meine E-mail</a>

wird aus mehreren gründen nicht gehen, und ich meine jetzt nicht gehen, weil ich nicht glaube, dass der browser das javascript ausführen wird, weil es ja ein attribut ist.