{"id":1769,"date":"2025-05-21T13:11:48","date_gmt":"2025-05-21T11:11:48","guid":{"rendered":"https:\/\/blog.mageia.org\/de\/?p=1769"},"modified":"2026-02-02T00:11:22","modified_gmt":"2026-02-01T22:11:22","slug":"eine-lawine-an-ki-bots-legt-immer-wieder-teile-unserer-webseite-lahm","status":"publish","type":"post","link":"https:\/\/blog.mageia.org\/de\/2025\/05\/21\/eine-lawine-an-ki-bots-legt-immer-wieder-teile-unserer-webseite-lahm\/","title":{"rendered":"Eine Lawine an KI-Bots legt immer wieder Teile unserer Webseite lahm"},"content":{"rendered":"\n

Wir hatten schon immer Bots, welche unsere Webseite besuchten. Es waren meist freundliche Bots, welche beispielsweise Datenbanken von Suchmaschinen aktuell halten. Diese freundlichen Bots schauen zun\u00e4chst in die robots.txt Datei, bevor sie irgendetwas machen und respektieren die Einschr\u00e4nkungen, welche durch diese Dateien festgelegt wurden.<\/p>\n\n\n\n

Nun haben sich jedoch die Dinge ge\u00e4ndert. Wie bei anderen Webseiten, zum Beispiel der Wikipedia<\/a>, werden wir mehr und mehr von „AI Scraper“ besucht. Bots, welche das Internet nach allem was sie finden, abgrasen um ihre KI-Anwendungen zu trainieren. Sie sind f\u00fcr gew\u00f6hnlich sehr hungrig nach Informationen und laden deswegen viel herunter. Deutlich mehr als ein gew\u00f6hnlicher Anwender dies tun w\u00fcrde. Dabei sind viele unh\u00f6flich und respektieren nicht die Regeln, welche man in der robots.txt festgelegt hat, verstecken sich wo sie k\u00f6nnen, f\u00fchren keine kleine Pausen zwischen den Anfragen aus – eher das Gegenteil, sie bombardieren unsere Server mit Anfragen von sehr vielen verschiedenen IP-Adressen zur selben Zeit. Das Ergebnis ist, dass Teile von mageia.org, wie unser Bugzilla<\/a>, Wiki<\/a> und die Foren<\/a> (darunter auch das deutschsprachige Forum<\/a>), unerreichbar werden.<\/p>\n\n\n\n

Unten sehen Sie die CPU-Auslastung von einem unserer wichtigsten Server, auf dem, neben anderen Dingen, unsere Foren und Wikis vorhanden sind:
\n<\/p>\n\n\n\n

Das Blockieren der IP-Adressen ist nutzlos, da die Bots st\u00e4ndig auf neue wechseln. Einer unserer Systemadministratoren kl\u00e4rte mich \u00fcber das gro\u00dfe Problem auf: „Mobile Proxys“ bei denen Bots ihre Anfragen \u00fcber Smartphones von ahnungslosen Anwendern senden. Hierbei erscheinen die Anfragen sehr vertrauenerweckend, und es macht es schwer, diese zu blockieren, da dadurch der normale Anwender auch blockiert werden w\u00fcrde. Vieles davon passiert, ohne dass der Anwender des Smartphones mitbekommt, dass sein Ger\u00e4t hierf\u00fcr verwendet wird. Einige Anwendungen liefern diese Proxys in Spiele oder anderen Anwendungen mit und verstecken dies in den Nutzungsbedingungen. Letztes Jahr wurde gemeldet, dass Google einige solcher Anwendungen aus ihrem Play Store entfernt haben<\/a>.<\/p>\n\n\n\n

Unabh\u00e4ngig von den Smartphones gibt es auch IoT Ger\u00e4te und auch gew\u00f6hnliche Computer, welche in einem Botnetzwerk enden, da diese nicht ausreichend gesch\u00fctzt sind. Diese k\u00f6nnen f\u00fcr „AI Scraping“ missbraucht werden und werden es m\u00f6glicherweise schon.<\/p>\n\n\n\n

Unseren Systemadministratoren gelang es immer wieder das Problem zu entsch\u00e4rfen, jedoch ist dies ein „Katz und Maus Spiel“, weshalb das Problem wieder auftreten kann.<\/p>\n\n\n\n

Falls Sie Personen kennen, welche an AI-Anwendungen arbeiten, die trainiert werden m\u00fcssen, bitten Sie sie sicherzustellen, dass deren Bots die robots.txt Datei, welche sie vorfinden, auch beachten. Und nat\u00fcrlich sollten Sie Ihre Freunde und Familienangeh\u00f6rigen dazu anhalten, ihre Computer und anderen smarten Ger\u00e4te mit allen Sicherheitsupdates zu versorgen, sobald diese ver\u00f6ffentlicht werden.<\/p>\n\n\n\n

Original von Marja<\/a>, \u00fcbersetzt von J\u00fcrgen Thurau<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"

Wir hatten schon immer Bots, welche unsere Webseite besuchten. Es waren meist freundliche Bots, welche beispielsweise Datenbanken von Suchmaschinen aktuell halten. Diese freundlichen Bots schauen zun\u00e4chst in die robots.txt Datei, bevor sie irgendetwas machen und respektieren die Einschr\u00e4nkungen, welche durch … Weiterlesen →<\/span><\/a><\/p>\n","protected":false},"author":10,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[1],"tags":[],"class_list":["post-1769","post","type-post","status-publish","format-standard","hentry","category-allgemein"],"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/blog.mageia.org\/de\/wp-json\/wp\/v2\/posts\/1769","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.mageia.org\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.mageia.org\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.mageia.org\/de\/wp-json\/wp\/v2\/users\/10"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.mageia.org\/de\/wp-json\/wp\/v2\/comments?post=1769"}],"version-history":[{"count":3,"href":"https:\/\/blog.mageia.org\/de\/wp-json\/wp\/v2\/posts\/1769\/revisions"}],"predecessor-version":[{"id":1791,"href":"https:\/\/blog.mageia.org\/de\/wp-json\/wp\/v2\/posts\/1769\/revisions\/1791"}],"wp:attachment":[{"href":"https:\/\/blog.mageia.org\/de\/wp-json\/wp\/v2\/media?parent=1769"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.mageia.org\/de\/wp-json\/wp\/v2\/categories?post=1769"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.mageia.org\/de\/wp-json\/wp\/v2\/tags?post=1769"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}