 |
|
|
Themen-Optionen |
20.03.2008, 20:26
|
Nach oben #1 |
|
Neuer Benutzer
Registriert seit: 12.11.2006
Beiträge: 18
|
Harvester und andere "böse Bots" ausschliessen
Hallihallo,
seit einiger Zeit häufen sich Zugriffe von "bösen Bots" die auf Seiten zugreifen die eigentlich per robots.txt gesperrt sind. Jetzt drängt sich bei mir natürlich die Frage auf wie ich derartiges verhindern kann. Irgendwo habe ich mal gelesen dass die robots.txt eigenltich nur eine Bitte an den Bot ist diese Seiten nicht zu besuchen und keine Garantie dass er sich dran hält. Ich hab mir die logfiles angekuckt und ausser der IP kein sicheres Kriterium gefunden an der ich die Bots erkennen könnte. Gut, den einen oder anderen könnte man über request/sec ausmachen, aber das ist doch eine etwas hakelige Geschichte, denk ich. Leider bin ich in dem Thema gar net fit, deshalb suche ich nach Ansätzen wie ich das Problem angehen könnte. Die betroffenen Seiten sollen "normalen" Usern natürlich zugänglich bleiben, ohne login. Wenn das jetzt zuviel Gequassel und zu wenig Fakten waren, einfach nachfragen  Vielen Dank für jede Anregung. |
|
   
|
|
21.03.2008, 00:00
|
Nach oben #2 |
|
Erfahrener Benutzer
Registriert seit: 12.06.2006
Beiträge: 179
|
www.bot-trap.de - auch wenn der Code besser sein könnte, das Script tut seinen Job gut
. |
|
|
|
|
23.03.2008, 18:27
|
Nach oben #5 |
|
Projektleiter
Registriert seit: 02.12.2004
Ort: Wildeshausen
Beiträge: 2.142
|
Über Erfahrungen dazu darfst du dich dann auch gerne hier äußern!
__________________
Umfragen:  bitte beachten: Vorschläge für künftige Umfragen Woher weißt du vom developers-guide?Wenn du dich in ein interessantes Thema eingearbeitet hast, dann lass andere daran teilhaben! Schreibe ein Tutorial und beschreibe, wie es geht, was nicht klappt, wo man aufpassen muss usw.Danke! |
|
|
|
