Notre site web mis à genoux par des vagues de robots d’intelligence artificielle

Nos sites web ont toujours eu la visite de robots. Il s’agissait principalement de bots gentils, comme les robots qui maintiennent les bases de données des moteurs de recherche à jour. Ces gentils robots commencent par consulter nos fichiers robots.txt avant de faire quoi que ce soit, et respectent les restrictions définies dans ces fichiers.

Cependant, les choses ont changé. Comme d’autres sites web, par exemple Wikipédia, nos sites sont de plus en plus visités par des « AI scrapers », des robots qui explorent l’internet à la recherche de tout ce qu’ils peuvent trouver pour entraîner des applications d’intelligence artificielle. Ils sont généralement très avides d’informations et téléchargent donc beaucoup, beaucoup plus qu’un utilisateur ordinaire ne le ferait. En outre, nombre d’entre eux sont impolis : ils ne respectent pas les règles définies dans nos fichiers robots.txt, ils cachent leur véritable identité, ils ne marquent pas de pause entre les requêtes – au contraire, ils bombardent nos serveurs de requêtes provenant d’un grand nombre d’adresses IP différentes en même temps. Le résultat est que certaines parties de mageia.org, comme notre Bugzilla, notre Wiki et nos Forums, deviennent inaccessibles.

Ci-dessous, vous pouvez voir la charge CPU de l’un de nos serveurs les plus importants, où se trouvent, entre autres, nos forums et notre wiki :

Même si la mise à niveau de notre infrastructure était déjà terminée, ce ne serait pas suffisant pour pallier ce problème.

La stratégie classique de blocage des adresses IP utilisées est en échec, car les adresses IP utilisées changent constamment. L’un de nos administrateurs système vient de me parler d’un gros problème : les « proxies mobiles », où les robots font passer leurs requêtes par l’intermédiaire de téléphones d’utilisateurs.

Les requêtes paraissent ainsi beaucoup plus légitimes et difficiles à bannir sans risquer de bloquer les utilisateurs réels. Une grande partie de ce phénomène se produit sans que les utilisateurs ne sachent que leur téléphone est utilisé de la sorte. Certaines applications incluent des proxys avec un jeu ou une autre application et le cachent en petits caractères dans les conditions d’utilisation. L’année dernière, il a été signalé que Google avait supprimé un certain nombre d’applications de ce type de sa boutique.

Outre les téléphones, il existe des appareils IoT et des ordinateurs ordinaires qui se sont retrouvés dans des réseaux de zombies parce qu’ils n’étaient pas bien protégés. Ils peuvent être utilisés pour le scraping de l’IA et le sont probablement aujourd’hui.

Nos administrateurs système sont parvenus à plusieurs reprises à atténuer le problème, mais il s’agit d’un « jeu du chat et de la souris », de sorte que le problème est susceptible de se reproduire.

Si vous connaissez des personnes travaillant sur des applications d’intelligence artificielle qui doivent être entrainées, demandez-leur de s’assurer que leurs robots lisent et respectent les fichiers robots.txt qu’ils rencontrent. Et, bien sûr, incitez vos amis et votre famille, lorsque vous pensez qu’ils en ont besoin, à s’assurer que leurs ordinateurs et autres appareils intelligents reçoivent toutes les mises à jour de sécurité dès qu’elles sont publiées.

Rédigé par Marja. Traduit par Papoteur

Publié dans Non classé | Marqué avec | 3 commentaires

Nos équipements font peau neuve

Pour faire du bon travail, il nous faut de bons outils. Certains de nos serveurs sont anciens,  plus assez puissants et limités en ressources disques pour répondre aux besoins des développeurs. La fabrication des RPM prend beaucoup de temps et cela nuit à l’efficacité pour maintenir et faire évoluer la distribution. Bref, les machines sont bien amorties. 

C’est pourquoi notre infrastructure fait donc peau neuve. Mieux adaptée aux nouvelles technologies, elle permettra un travail plus rapide et efficace à nos développeurs.

Où en est donc cette nouvelle infrastructure ?

Nous avons reçu 5 nouveaux serveurs:

  • 2 nouveaux noeuds de construction des paquets : HPE ProLiant DL 360 Gen10 – 2xXeon 6126 (12C/2.6GHz) – 256GB RAM – 2xSSD 3.8TB HW Raid 1 – 2x10Gb/s NICs
  • 2 serveurs  pour remplacer sucuk et duvel : HPE ProLiant DL 380 Gen10 – 2 Xeon 6126 (12C/2.6GHz) – 256GB RAM – 2xSSD 3.8TB HW Raid 1 – 10xHDD 12TB HW Raid 5 – 2x10Gb/s NICs
  • 1 serveur de déploiement et de sauvegarde : HPE ProLiant DL80 Gen9 – 2xXeon E5-2603v4 (6C/1.7GHz) – 256GB RAM – 6xHDD 6TB (un don, avec quelques pièces renouvelées)
  • 1 switch Arista 7120T 20xRJ-45 10Gb/s 4xSFP+ 10Gb/s pour l’interconnexion des machines   

Le projet est d’utiliser le dernier serveur pour déployer rapidement et de manière la plus automatique possible les nœuds de construction et les autres machines. La méthode est prête pour les nœuds x86_64 et est en cours de finalisation pour les nœuds ARM (serveurs distants). La préparation des serveurs prend du temps car les équipes anticipent l’avenir et les futures évolutions.

Une fois la partie préparation de nos serveur terminée, il restera la partie intégration au Data Center.

Nous prenons donc notre temps pour bien faire les choses afin de pérenniser l’avenir et les futures versions de Mageia. Aussi, nous ne  publions pas pour l’instant de date prévisionnelle de sortie de Mageia 10.

En attendant, la future version 10 de Mageia continue de buller dans son chaudron !

N’hésitez pas à venir renforcer nos équipes.

Publié dans Non classé | 3 commentaires

Une refonte de MADb publiée et en ligne

Chez Mageia, MADb (Mageia Application Database), est un outil essentiel, en particulier pour les testeurs QA (Quality Assurance). C’est le site de référence pour les informations sur les applications dans nos dépôts avec des liens vers les rapports de bogues, les priorités pour les mises à jour, les comparaisons de versions et plus encore. Le site fournit actuellement les informations pour les versions 8, 9 et cauldron de Mageia et pour toutes les architectures CPU. Il n’est pas seulement essentiel pour les développeurs et les testeurs, mais aussi pour de nombreux utilisateurs qui l’ont trouvé comme une alternative à la recherche avec notre centre de contrôle CCM ou à la ligne de commande lorsqu’ils cherchent des détails sur les paquets.

Il y a quelques mois, Mageia a repris directement le contrôle du serveur loué où se trouvait MADb. Malheureusement, ce serveur n’a pas tenu et comme la technologie derrière l’ancien MADb n’était pas compatible avec une infrastructure plus récente (principalement une version plus récente de PHP), sa remise en service était très compliquée. 

Cependant, tout n’était pas perdu !

Papoteur membre de la communauté française avait commencé la migration de langage afin de rendre MADb opérationnel avec des outils plus actuels. Pour les connaisseurs, la base est une application en Flask, Jinja2 sur Python avec une interface DNF5 pour obtenir les métadonnées. 

Environ 3000 nouvelles lignes de code ont été écrites pour cette nouvelle MADb, qui est désormais en ligne et prête à répondre à vos questions sur les applications Mageia

Ensuite cela a été rapide essentiellement grâce à la communauté française MLO qui a proposé d’héberger l’application sur son serveur, et aussi grâce à Jybz et Papoteur qui ont travaillé d’arrache-pied afin de le rendre notre base de données opérationnelle. C’est pourquoi lorsque vous vous rendez sur l’url https://madb.mageia.org/ vous êtes redirigés vers l’url https://madb.mageialinux-online.org/ . Il s’agit d’une solution temporaire dans l’attente de l’arrivée de nouveaux serveurs mageia pour héberger cette nouvelle version de l’outil.

Si vous utilisez la base et que vous remarquez qu’il manque encore des fonctions d’aide qui n’ont pas été intégrées, n’hésitez pas à en faire part dans les commentaires à la suite de cet article.

Merci à la communauté MLO pour avoir hébergé la nouvelle MADb.

Publié dans Annonces, Logiciel | Un commentaire

[Opération terminée] Déménagement de serveurs

Nous annonçons que nos serveurs de Marseille vont changer de locaux, toujours fournis gracieusement par IELO. De ce fait, le déménagement entraînera une indisponibilité de certains services. Ainsi, le traceur de bogues, le wiki, les serveurs de code, le système de construction entre autres seront hors ligne. La date prévue est entre maintenant et le 9 octobre 2024.

Nous nous excusons pour le désagrément. C’est une étape nécessaire avant le renouvellement du matériel.

[Mise à jour du 9 octobre 2024] L’opération est terminée, les serveurs sont à nouveau opérationnels.

Publié dans Non classé | Marqué avec , | Un commentaire

Correction de la faille de sécurité Openssh

Openssh est un ensemble d’outils informatiques libres permettant des communications sécurisées sur un réseau informatique en utilisant le protocole SSH1.

Cet outil permet notamment d’administrer un serveur à distance.

Récemment, des chercheurs ont démontré que dans des conditions très particulières, dans l’établissement d’une connexion avec le protocole SSH, un opérateur malveillant pouvait établir la connexion sans disposer des droits. Ceci est dû à une désynchronisation des contrôles pendant l’établissement de la connexion.

Cette faille de sécurité pourrait compromettre l’intégrité d’un serveur par un tiers malveillant.

Heureusement nous avons pu compter sur les équipes de packageurs, d’assurance qualité pour prendre rapidement en compte cette correction et la diffuser à ses utilisateurs. L’équipe de Mageia a fait preuve d’autant de réactivité que de grosses équipes telles que celles de Debian, Ubuntu ou Fedora.

De votre côté, ne tardez pas et pensez à effectuer vos mises à jour.

Nos équipes réactives pour assurer les mises à jour en temps et en heure, ont toujours besoin de soutien et de main d’œuvre pour assurer ce travail.

Si vous souhaitez conserver une pluralité dans les distributions et surtout si vous aimez Mageia pour son côté communautaire et chaleureux, venez renforcer nos équipes de packageurs, d’assurances qualité ou même communication!

Ensemble, continuons à faire de Mageia une distribution réactive, de qualité et performantes pour de très nombreuses années encore.

Si vous souhaitez donc rejoindre une de nos équipes, rendez-vous sur la page contribution de Mageia2

  1. Source: Wikipédia: https://fr.wikipedia.org/wiki/OpenSSH – Contenu soumis à la licence CC-BY-SA 4.0. Source : Article OpenSSH de Wikipédia en français (auteurs) ↩︎
  2. Contribuez ici :https://www.mageia.org/fr/contribute ↩︎
Publié dans Non classé | Commentaires fermés sur Correction de la faille de sécurité Openssh