Unsere Webcrawler
Unsere Webcrawler durchsuchen das Internet gezielt nach Inhalten zur Weiterverarbeitung. Konkret dienen sie dazu, diese Website mit den Daten zu füllen, die dir hier angezeigt werden. Solltest du Probleme mit einem unserer Webcrawler haben, bietet dir diese Seite die nötige Hilfe zur Lösung.
Selbstverständlich kannst du auch jederzeit persönlich mit uns in Kontakt treten.
Was ist ein Webcrawler?
Ein Webcrawler (auch kurz Crawler, Spider, Bot oder Robot genannt) ist ein Computerprogramm, das automatisch das World Wide Web nach Webseiten durchsucht. Der Crawler gelangt dabei über sog. Hyperlinks von einer Website zur Nächsten. Findet der Crawler auf einer Webseite weitere Hyperlinks zu noch nicht von ihm besuchten Webseiten, so werden diese Links gespeichert und zu einem späteren Zeitpunkt zum Besuch der Webseiten verwendet.
Unsere websitedetail.net Crawler durchsuchen Websites gezielt nach den Daten, die auf unserer Webseite angezeigt werden. Diese werden ermittelt und in unserer Datenbank als zur jeweiligen Domain gehörend abgespeichert.
Wie steuere ich die Zugriffe der websitedetail.net Webcrawler auf meiner Website?
Über den "Robots Exclusion Standard" ist es jedem Webseiten-Betreiber möglich, den Zugriff eines Crawlers auf die eigenen Webseiten zu beeinflussen. Dieser Standard legt fest, dass ein Crawler zuerst die Datei robots.txt auswertet. Über die darin enthaltenen Regeln kann dieser Crawler dann von bestimmten Website-Bereichen ferngehalten werden. Es ist ebenso möglich, den Crawler von der gesamten Domain auszusperren.
Um unsere Crawler komplett auszuschließen:
User-agent: websitedetail.net Disallow: /
Es ist sehr wichtig zu verstehen, dass die Anweisungen in der robots.txt Datei keinen garantierten Schutz darstellen. Es handelt sich nicht um verpflichtende Regeln, sondern eher um eine Bitte. Möchtest du deine Website sicher schützen, empfiehlt sich ein vorgeschaltetes Login.
Wie kann ich die websitedetail.net Webcrawler identifizieren?
Unsere Webcrawler verstecken sich nicht! Sie übertragen ihre User-Agent-Kennung, über die du alle Zugriffe eindeutig unseren Crawlern zuordnen kannst. Du kannst die User-Agent-Kennung z.B. in den Logfiles deines Web-Servers finden.
websitedetail.net
Wird die Stabilität oder Sicherheit meiner Website durch die websitedetail.net Webcrawler gefährdet?
Um Beeinträchtigungen auf die Stabilität und Performance deiner Internetpräsenz zu verhindern, sind unsere Webcrawler so konfiguriert, dass zwischen zwei Seitenabrufen stets eine Pause von ca. 1 Sekunde eingehalten wird. Dadurch minimieren wir die durch unsere Crawler entstehende Last.
Unsere Crawler können nur GET-Requests, aber keine POST-Requests absenden. Das bedeutet, sie lesen ausschließlich Daten von deiner Website, senden aber keinerlei Daten an sie. Ein "Hacken" passwortgeschützter Bereiche ist technisch nicht möglich.
Können die websitedetail.net Webcrawler eine Schadsoftware enthalten?
Nein! Unsere Crawler wurden weder dazu programmiert, noch sind sie in der Lage, auf besuchten Servern irgendeine Art von Schadsoftware zu installieren.
Hilfe – es passieren ungeplante Dinge auf meiner Webseite!
Sollten durch das einfache Verfolgen von Links beispielsweise Warenkörbe gefüllt oder Gästebucheinträge abgesendet werden, so ist das ein Zeichen für Schwächen deiner Website. Ein leeres Formular sollte z.B. nicht ohne Weiteres abgeschickt werden können und Aktionen wie das Versenden von E-Mails auslösen. Bitte beachte, dass eine nicht ausreichend abgesicherte Webanwendung auch für jeden normalen Besucher eine Sicherheitslücke darstellt, die du schnellstens beseitigen solltest.