Harvester und andere "böse Bots" ausschliessen

NerKnal · 20.03.2008, 20:26

Hallihallo,

seit einiger Zeit häufen sich Zugriffe von "bösen Bots" die auf Seiten zugreifen die eigentlich per robots.txt gesperrt sind.
Jetzt drängt sich bei mir natürlich die Frage auf wie ich derartiges verhindern kann.
Irgendwo habe ich mal gelesen dass die robots.txt eigenltich nur eine Bitte an den Bot ist diese Seiten nicht zu besuchen und keine Garantie dass er sich dran hält.
Ich hab mir die logfiles angekuckt und ausser der IP kein sicheres Kriterium gefunden an der ich die Bots erkennen könnte.
Gut, den einen oder anderen könnte man über request/sec ausmachen, aber das ist doch eine etwas hakelige Geschichte, denk ich.

Leider bin ich in dem Thema gar net fit, deshalb suche ich nach Ansätzen wie ich das Problem angehen könnte.
Die betroffenen Seiten sollen "normalen" Usern natürlich zugänglich bleiben, ohne login.

Wenn das jetzt zuviel Gequassel und zu wenig Fakten waren, einfach nachfragen

Vielen Dank für jede Anregung.

FloB · 21.03.2008, 00:00

www.bot-trap.de - auch wenn der Code besser sein könnte, das Script tut seinen Job gut

.

FloB · 21.03.2008, 00:00

Ups, schluckauf

bitte löschen!

NerKnal · 21.03.2008, 10:12

Dankeschön!
Macht ja einen ganz guten Eindruck, hab mal meine Mitgliedschaft beantragt.

LG

Jann Hendrik · 23.03.2008, 18:27

Über Erfahrungen dazu darfst du dich dann auch gerne hier äußern!

20.03.2008, 20:26	Nach oben #1
NerKnal Neuer Benutzer Registriert seit: 12.11.2006 Beiträge: 18	Harvester und andere "böse Bots" ausschliessen Hallihallo, seit einiger Zeit häufen sich Zugriffe von "bösen Bots" die auf Seiten zugreifen die eigentlich per robots.txt gesperrt sind. Jetzt drängt sich bei mir natürlich die Frage auf wie ich derartiges verhindern kann. Irgendwo habe ich mal gelesen dass die robots.txt eigenltich nur eine Bitte an den Bot ist diese Seiten nicht zu besuchen und keine Garantie dass er sich dran hält. Ich hab mir die logfiles angekuckt und ausser der IP kein sicheres Kriterium gefunden an der ich die Bots erkennen könnte. Gut, den einen oder anderen könnte man über request/sec ausmachen, aber das ist doch eine etwas hakelige Geschichte, denk ich. Leider bin ich in dem Thema gar net fit, deshalb suche ich nach Ansätzen wie ich das Problem angehen könnte. Die betroffenen Seiten sollen "normalen" Usern natürlich zugänglich bleiben, ohne login. Wenn das jetzt zuviel Gequassel und zu wenig Fakten waren, einfach nachfragen Vielen Dank für jede Anregung.

23.03.2008, 18:27	Nach oben #5
Jann Hendrik Jann Hendrik Bekaan Registriert seit: 02.12.2004 Ort: Wildeshausen Beiträge: 2.379	Über Erfahrungen dazu darfst du dich dann auch gerne hier äußern! __________________ Umfragen: bitte beachten: Vorschläge für künftige Umfragen Woher weißt du vom developers-guide? Wenn du dich in ein interessantes Thema eingearbeitet hast, dann lass andere daran teilhaben! Schreibe ein Tutorial und beschreibe, wie es geht, was nicht klappt, wo man aufpassen muss usw. Danke!

Themen-Optionen	Thema durchsuchen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen	Thema durchsuchen: Erweiterte Suche

21.03.2008, 00:00	Nach oben #2
FloB Erfahrener Benutzer Registriert seit: 12.06.2006 Beiträge: 207	www.bot-trap.de - auch wenn der Code besser sein könnte, das Script tut seinen Job gut .

21.03.2008, 00:00	Nach oben #3
FloB Erfahrener Benutzer Registriert seit: 12.06.2006 Beiträge: 207	Ups, schluckauf bitte löschen!

21.03.2008, 10:12	Nach oben #4
NerKnal Neuer Benutzer Registriert seit: 12.11.2006 Beiträge: 18	Dankeschön! Macht ja einen ganz guten Eindruck, hab mal meine Mitgliedschaft beantragt. LG

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)