Una valanga di bot IA sta ripetutamente abbattendo parti del nostro sito web

Abbiamo sempre avuto bot che visitavano il nostro sito web. Per lo più erano bot gentili, come i crawler che mantengono aggiornati i database dei motori di ricerca. Questi bot gentili iniziano guardando i nostri file robots.txt prima di fare qualsiasi cosa e rispettano le restrizioni impostate in quei file.

Tuttavia, le cose sono cambiate. Come altri siti web, ad esempio Wikipedia, riceviamo sempre più visite da AI scrapers, bot che raschiano Internet alla ricerca di tutto ciò che riescono a trovare per addestrare le applicazioni di intelligenza artificiale. Di solito sono estremamente affamati di informazioni, quindi scaricano molto, molto di più di quanto farebbe un utente comune. Inoltre, molti di loro sono scortesi: non rispettano le regole stabilite nei nostri file robots.txt, nascondono chi sono veramente e non fanno nemmeno una piccola pausa tra le richieste – al contrario, martellano i nostri server con richieste da tantissimi indirizzi IP diversi contemporaneamente. Il risultato è che parti di mageia.org, come i nostri Bugzilla, Wiki e Forum, diventano irraggiungibili.

Di seguito si può vedere il carico della CPU di uno dei nostri server più importanti, dove si trovano, tra le altre cose, i nostri forum e wiki:

Tutto questo carico sarebbe davvero difficile da mitigare anche se l’aggiornamento delle nostre infrastrutture fosse già stato terminato.

Bloccare gli indirizzi IP usati è inutile in quanto questi bot passano costantemente a indirizzi nuovi. Uno dei nostri sysadmin ha parlato anche di un altro grosso problema: i “proxy mobili” con cui i bot instradano la loro richiesta attraverso i telefoni di ignari utenti. Ciò rende le richieste molto più legittime e difficili da bloccare senza bloccare anche gli utenti reali. Gran parte di ciò accade senza che gli utenti sappiano che il loro telefono viene utilizzato in questo modo. Alcune applicazioni includono proxy insieme ad alcuni giochi o altre app e lì nascondono in caratteri piccoli nei termini di servizio. L’anno scorso, è stato riferito che Google aveva rimosso un sacco di tali applicazioni dal loro negozio.

Oltre ai telefoni, ci sono dispositivi IoT e anche normali computer che sono finiti nelle botnet, perché non erano ben protetti. Questi dispositivi possono essere utilizzati per lo scraping dell’intelligenza artificiale, e probabilmente lo sono anche adesso.

I nostri sysadmin riescono più e più volte a mitigare il problema, ma si tratta di un “gioco del gatto e del topo”, quindi è probabile che questo si ripresenti.

Se conoscete persone che lavorano su applicazioni di intelligenza artificiale che necessitano di essere addestrate, invitateli a far sì che i loro bot leggano e rispettino i file robots.txt che incontrano. E, naturalmente, ricordate ai vostri amici e familiari, quando lo ritenete necessario, di assicurarsi che i loro computer e altri dispositivi smart ricevano tutti gli aggiornamenti di sicurezza non appena questi vengono rilasciati.

Pubblicato in sysadm | Commenti disabilitati su Una valanga di bot IA sta ripetutamente abbattendo parti del nostro sito web

Le nostre attrezzature si rinnovano!

Per fare un buon lavoro, abbiamo bisogno di buoni strumenti. Alcuni dei nostri
server sono vecchi, non abbastanza potenti e con limitate risorse disco per
soddisfare le esigenze degli sviluppatori.
La creazione dei pacchetti RPM richiede molto tempo e ostacola sia al
mantenimento sia all’evoluzione della distribuzione. In breve, le macchine
sono state ben ammortizzate.

Ecco perchè la nostra infrastruttura sta subendo un restyling. Adattandosi
meglio alle nuove tecnologie consentirà ai nostri sviluppatori di lavorare più
velocemente e con maggiore efficienza.

Qual è lo stato di questa nuova infrastruttura?

Abbiamo ricevuto 5 nuovi server:

  • 2 nuovi nodi per la creazione di pacchetti: ProLiant DL 360 Gen10 – 2xXeon
    6126 (12C/2.6GHz) – 256GB RAM – 2xSSD 3.8TB HW Raid 1 – 2x10Gb/s NICs
  • 2 server per rimpiazzare sucuk e duvel: HPE ProLiant DL 380 Gen10 – 2 Xeon
    6126 (12C/2.6GHz) – 256GB RAM – 2xSSD 3.8TB HW Raid 1 – 10xHDD 12TB HW Raid 5
  • 2x10Gb/s NICs
  • 1 server per il deploy e il backup: HPE ProLiant DL80 Gen9 – 2xXeon E5-
    2603v4 (6C/1.7GHz) – 256GB RAM – 6xHDD 6TB (donato, con alcune parti
    rinnovate)
  • 1 Arista 7120T switch 20xRJ-45 10Gb/s 4xSFP+ 10Gb/s per interconnettere le
    macchine

Il progetto consiste nell’utilizzare l’ultimo server distribuire rapidamente,
e nel modo più automatico possibile, i nodi di costruzione e le altre
macchine. Il metodo è pronto per i nodi x86_64 ed è alle fasi finali per i
nodi ARM (server remoti). La preparazione dei server richiede tempo poiché i
team anticipano il futuro e i prossimi sviluppi.

Una volta completata la parte di preparazione dei server, ci sarà la parte di
integrazione presso il Data Center.

Ci stiamo pertanto prendendo i nostri tempi per fare bene le cose al fine
garantire il futuro e le prossime versioni di Mageia. Inoltre, per il momento
non pubblicheremo una data di uscita di Mageia 10.

Nel frattempo, la versione 10 di Mageia continua a bollire nel suo calderone!

Non esitate a venire a rinforzare i nostri team.

Pubblicato in Senza categoria | Commenti disabilitati su Le nostre attrezzature si rinnovano!

E’ con grande piacere che annunciamo il rilascio di Mageia 6.1

Questa release porta con sé tutti gli aggiornamenti e gli sviluppi che sono stati inseriti in Mageia 6 e li mette insieme in nuovi supporti per l’installazione, dando agli utenti un kernel che supporta l’hardware rilasciato dopo Mageia 6. Le nuove installazioni beneficieranno di innumerevoli aggiornamenti che hanno i sistemi Mageia completamente aggiornati, consentendo di evitare l’aggiornamento di numerosi software e pacchetti dopo l’installazione.  Quindi, se attualmente stai usando un sistema Mageia 6 aggiornato, non c’è nessun bisogno di reinstallare Mageia 6.1 perché ti ritroveresti con gli stessi pacchetti.
Questa release è disponibile solo con i supporti Live, come ad esempio Live Plasma, Live GNOME e Live Xfce in 64 bit, e Live Xfce in 32 bit. E’  disponibile anche un’installazione di rete per gli utenti che vogliono un maggiore controllo sul processo di installazione.

Alcune delle “chicche” di questa release sono:

  • Firefox – 60.2
  • Chromium – 68
  • LibreOffice – 5.3.7.2
  • Plasma – 5.12.2
  • GNOME – 3.24.3
  • Xfce – 4.12.0
  • VLC – 3.0.2
  • Kernel – 4.14.70

Il kernel usato in questa release è l’ultimo kernel col supporto a lunga durata, fornendo così una base stabile e ben testata al resto del sistema.

Sebbene non risultino critici per il processo di installazione, i nuovi drivers Nvidia forniranno supporto per le nuove schede basate su Pascal.

Puoi scaricare le immagini di installazione sia come torrent sia come download semplice, entrambi metodi disponibili qua. Le note di rilascio per Mageia 6 sono disponibili qua.

 

AGGIORNAMENTO: Non preoccuparti per l’installer classico. Ritornerà nella release Mageia 7. Tieniti aggiornato perché il nostro Calderone sta bollendo 🙂

Pubblicato in comunicazioni, finale, iso, mirror, rilasci | Contrassegnato , , , , | Commenti disabilitati su E’ con grande piacere che annunciamo il rilascio di Mageia 6.1

E il vincitore è…

Si è concluso l’artwork contest e vogliamo ringraziare tutti coloro che hanno partecipato.
Ci sono stati inviati davvero ottimi lavori e scegliere il vincitore è stato complicato.

Vogliamo congratularci con Jacques Daugeron per la vittoria del contest, gli artwork degli altri classificati saranno comunque disponibili in un pacchetto temi extra.

Questo è quindi lo sfondo per Mageia 6 che verrà incluso nei prossimi aggiornamenti dei pacchetti temi.

width=

Di seguito qualche immagine che verrà inserita nel pacchetto temi extra.

width=
width=

Congratulazioni anche ai vincitori del contest per lo screensaver: Fabien Deschodt, Володимир, fkuller, Teimuraz Khazaradze, Donald Stewart, Jose, Philippe Verschelde e Mészáros Csaba, è stato fantastico vedere così tanti contributi da diverse parti del mondo.

Abbiamo immagini del tramonto sul Mar Nero, montagne innevate in Scozia, grandi città europee sino a corsi d’acqua sudamericani, è fantastico vedere l’interesse globale che Mageia sta portando.

width=

Grazie ancora a tutti i contributori, non vediamo l’ora di sentire i vostri pareri sul nuovo aspetto di Mageia!

Pubblicato in artwork, collaboratori, comunità, mageia, rilasci | Commenti disabilitati su E il vincitore è…

Le buone cose arrivano a chi sa aspettare… E’ uscito Mageia 6 dev1.

Dopo rallentamenti causati dall’aggiornamento della maggior parte del sistema di base e il passaggio a Plasma 5, siamo felici di annunciare che la prima dev di Mageia 6 è stata rilasciata ed è pronta per essere testata.

Bisogna notare che solo le ISO classical sono state rilasciate, quelle DVD per i586 e x86_64.
Le live ISO non sono ancora pronte. Se le immagini live verranno completate in breve tempo verranno rilasciate, altrimenti saranno disponibili alla prossima milestone.

Il tempo extra ci ha permesso di utilizzare la nuova versione di Plasma, GNOME e altri componenti maggiori.
Ci ha anche permesso di integrare il supporto per hardware più recente grazie al kernel aggiornato.

Mageia 6 dev1 viene distribuita con ciò che segue:

  • Kernel 4.4.5
  • Glibc 2.22
  • Plasma 5.5.95
  • GNOME 3.19.2
  • Mate 1.13.0
  • Cinnamon 2.8.6
  • LibreOffice 5.1.1.3
  • Firefox 45
  • Chromium 49
  • Aggiornate anche tutte le altre principali applicazioni e tools.

Si noti anche che, al momento del rilascio, i nostri repository contengono già gli aggiornamenti per Plasma 5.6.0 e GNOME 3.20.0.

Se volete provare queste ISO potete trovare il link di download dal vostro mirror preferito o sul sito di Mageia. Ricordate che si tratta di un rilascio in fase di sviluppo.
Ci farebbe piacere ricevere i vostri pareri su come questo rilascio funziona. I report possono essere fatti sulla Bugzilla di Mageia. Come sempre l’ISO è stata testata dal nostro QA team per assicurarsi che fosse il più usabile possibile. Se volete aiutare nel testing, o in qualsiasi altra parte dello sviluppo di Mageia, date un’occhiata qui per trovare varie informazioni su come contribuire. Apprezziamo sempre nuovi volontari.

Parlando di altre novità riguardo lo sviluppo, il porting su ARM è quasi completato, quindi state pronti per un annuncio al riguardo presto. Abbiamo anche assunto un grafico per aiutarci a rinnovare il look degli strumenti di Mageia.
Per finire, i lavori su DNF, mirrorbrain e altre novità stanno continuando.

Le novità proposte per Mageia 6 e lo stato dello sviluppo possono essere visti qui.
Se volete dare un contributo sentitevi liberi di unirvi alla dev mailing list.

Pubblicato in alpha, comunità, mageia, QA, rilasci, test | Commenti disabilitati su Le buone cose arrivano a chi sa aspettare… E’ uscito Mageia 6 dev1.