{"id":2586,"date":"2025-05-23T08:08:06","date_gmt":"2025-05-23T06:08:06","guid":{"rendered":"https:\/\/blog.mageia.org\/fr\/?p=2586"},"modified":"2025-05-23T08:08:06","modified_gmt":"2025-05-23T06:08:06","slug":"notre-site-web-mis-a-genoux-par-des-vagues-de-robots-dintelligence-artificielle","status":"publish","type":"post","link":"https:\/\/blog.mageia.org\/fr\/2025\/05\/23\/notre-site-web-mis-a-genoux-par-des-vagues-de-robots-dintelligence-artificielle\/","title":{"rendered":"Notre site web mis \u00e0 genoux par des vagues de robots d’intelligence artificielle"},"content":{"rendered":"\n

<\/p>\n\n\n\n

Nos sites web ont toujours eu la visite de robots. Il s’agissait principalement de bots gentils, comme les robots qui maintiennent les bases de donn\u00e9es des moteurs de recherche \u00e0 jour. Ces gentils robots commencent par consulter nos fichiers robots.txt avant de faire quoi que ce soit, et respectent les restrictions d\u00e9finies dans ces fichiers.<\/p>\n\n\n\n

Cependant, les choses ont chang\u00e9. Comme d’autres sites web, par exemple Wikip\u00e9dia, nos sites sont de plus en plus visit\u00e9s par des \u00ab AI scrapers \u00bb, des robots qui explorent l’internet \u00e0 la recherche de tout ce qu’ils peuvent trouver pour entra\u00eener des applications d’intelligence artificielle. Ils sont g\u00e9n\u00e9ralement tr\u00e8s avides d’informations et t\u00e9l\u00e9chargent donc beaucoup, beaucoup plus qu’un utilisateur ordinaire ne le ferait. En outre, nombre d’entre eux sont impolis : ils ne respectent pas les r\u00e8gles d\u00e9finies dans nos fichiers robots.txt, ils cachent leur v\u00e9ritable identit\u00e9, ils ne marquent pas de pause entre les requ\u00eates – au contraire, ils bombardent nos serveurs de requ\u00eates provenant d’un grand nombre d’adresses IP diff\u00e9rentes en m\u00eame temps. Le r\u00e9sultat est que certaines parties de mageia.org, comme notre Bugzilla, notre Wiki et nos Forums, deviennent inaccessibles.<\/p>\n\n\n\n

Ci-dessous, vous pouvez voir la charge CPU de l’un de nos serveurs les plus importants, o\u00f9 se trouvent, entre autres, nos forums et notre wiki :<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

M\u00eame si la mise \u00e0 niveau de notre infrastructure \u00e9tait d\u00e9j\u00e0 termin\u00e9e, ce ne serait pas suffisant pour pallier ce probl\u00e8me.<\/p>\n\n\n\n

La strat\u00e9gie classique de blocage des adresses IP utilis\u00e9es est en \u00e9chec, car les adresses IP utilis\u00e9es changent constamment. L’un de nos administrateurs syst\u00e8me vient de me parler d’un gros probl\u00e8me : les \u00ab proxies mobiles \u00bb, o\u00f9 les robots font passer leurs requ\u00eates par l’interm\u00e9diaire de t\u00e9l\u00e9phones d’utilisateurs.<\/p>\n\n\n\n

Les requ\u00eates paraissent ainsi beaucoup plus l\u00e9gitimes et difficiles \u00e0 bannir sans risquer de bloquer les utilisateurs r\u00e9els. Une grande partie de ce ph\u00e9nom\u00e8ne se produit sans que les utilisateurs ne sachent que leur t\u00e9l\u00e9phone est utilis\u00e9 de la sorte. Certaines applications incluent des proxys avec un jeu ou une autre application et le cachent en petits caract\u00e8res dans les conditions d’utilisation. L’ann\u00e9e derni\u00e8re, il a \u00e9t\u00e9 signal\u00e9 que Google avait supprim\u00e9 un certain nombre d’applications de ce type de sa boutique.<\/p>\n\n\n\n

Outre les t\u00e9l\u00e9phones, il existe des appareils IoT et des ordinateurs ordinaires qui se sont retrouv\u00e9s dans des r\u00e9seaux de zombies parce qu’ils n’\u00e9taient pas bien prot\u00e9g\u00e9s. Ils peuvent \u00eatre utilis\u00e9s pour le scraping de l’IA et le sont probablement aujourd’hui.<\/p>\n\n\n\n

Nos administrateurs syst\u00e8me sont parvenus \u00e0 plusieurs reprises \u00e0 att\u00e9nuer le probl\u00e8me, mais il s’agit d’un \u00ab jeu du chat et de la souris \u00bb, de sorte que le probl\u00e8me est susceptible de se reproduire.<\/p>\n\n\n\n

Si vous connaissez des personnes travaillant sur des applications d’intelligence artificielle qui doivent \u00eatre entrain\u00e9es, demandez-leur de s’assurer que leurs robots lisent et respectent les fichiers robots.txt qu’ils rencontrent. Et, bien s\u00fbr, incitez vos amis et votre famille, lorsque vous pensez qu’ils en ont besoin, \u00e0 s’assurer que leurs ordinateurs et autres appareils intelligents re\u00e7oivent toutes les mises \u00e0 jour de s\u00e9curit\u00e9 d\u00e8s qu’elles sont publi\u00e9es.<\/p>\n\n\n\n

R\u00e9dig\u00e9 par Marja. Traduit par Papoteur<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"

Nos sites web ont toujours eu la visite de robots. Il s’agissait principalement de bots gentils, comme les robots qui maintiennent les bases de donn\u00e9es des moteurs de recherche \u00e0 jour. Ces gentils robots commencent par consulter nos fichiers robots.txt … Continuer la lecture →<\/span><\/a><\/p>\n","protected":false},"author":21,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_feature_clip_id":0,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"jetpack_post_was_ever_published":false},"categories":[1],"tags":[30],"class_list":["post-2586","post","type-post","status-publish","format-standard","hentry","category-non-classe","tag-sysadmin"],"jetpack_publicize_connections":[],"jetpack_shortlink":"https:\/\/wp.me\/p15lfN-FI","jetpack_sharing_enabled":true,"jetpack_featured_media_url":"","_links":{"self":[{"href":"https:\/\/blog.mageia.org\/fr\/wp-json\/wp\/v2\/posts\/2586","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.mageia.org\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.mageia.org\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.mageia.org\/fr\/wp-json\/wp\/v2\/users\/21"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.mageia.org\/fr\/wp-json\/wp\/v2\/comments?post=2586"}],"version-history":[{"count":2,"href":"https:\/\/blog.mageia.org\/fr\/wp-json\/wp\/v2\/posts\/2586\/revisions"}],"predecessor-version":[{"id":2588,"href":"https:\/\/blog.mageia.org\/fr\/wp-json\/wp\/v2\/posts\/2586\/revisions\/2588"}],"wp:attachment":[{"href":"https:\/\/blog.mageia.org\/fr\/wp-json\/wp\/v2\/media?parent=2586"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.mageia.org\/fr\/wp-json\/wp\/v2\/categories?post=2586"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.mageia.org\/fr\/wp-json\/wp\/v2\/tags?post=2586"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}