Bon dia!

---

Bon dia! en relació a això:
https://mastodont.cat/@spla/115000794647508332
i veient que hi ha robots que no respecten robots.txt, he pujat un esglaó en la guerra contra els bots IA o bots en general que obtenen continguts sense permís. He modificat la configuració de nginx per a que tots els bots que hi he afegit no rebin res de mastodont.cat gràcies al codi http 444 que els hi retorna aquesta configuració.
Per exemple, Amazonbot no para de demanar enllaços, ara no rebrà res més que el que es veu en la segona imatge.

@spla fa temps vaig compartir que un paio retornava zips comprimits que en descomprimir ocupaven molts terabytes i tombaven els bots. Un geni.

@maquinari_cat sí, ho vaig llegir però carrega molt el servidor, millor no retornar res de res.

@spla bon dia ☕️ 🥐 i gràcies per resguardar la nostra privacitat 😃

@Max_Headroom bon dia! ho intento...😅

@spla El problema és que tampoc respecten el UA. Filtrar per UA deixa de ser efectiu ràpidament.
Coneixes Anubis?
https://anubis.techaro.lol/
No l'he provat, però té bona pinta.

La configuració de nginx per a lluitar contra els bots d'IA i altres "scrappers", l'he obtingut d'aquí:

GitHub - kurren/ai-bots-crawlers: Prevent ai bots to crawl a website (Nginx web server)

Prevent ai bots to crawl a website (Nginx web server) - kurren/ai-bots-crawlers

GitHub (github.com)

#mastoadmin

@vicentfg amb aquesta nova configuració de nginx no obtenen res de res, només que la connexió s'ha tallat.

@spla En la esbojarrada lluita per alimentar aquesta fera insadollable que és l'IA s'estan carregant tot allò que hi ha de bo a l'internet.

@lapesanta sí, ja s'han carregat diversos servidors Forgejo, inclòs el que teníem a mastodont.cat:

Nicd (@nicd@masto.ahlcode.fi)

Attached: 1 image So here's what took down my Forgejo instance today. Alibaba ran a massive scraping operation on my poor tiny instance, probably to train a shitty AI. It also scraped the archive endpoints, generating zip archives of all the commits in all the repos until my disk ran out. Taught me to turn that feature off at least. Yes, I have robots.txt. They don't respect it. I had to block their IP range, but no doubt they'll be back with another. 60 rps, wtf?! #Forgejo #SelfHosting #Alibaba #scraping

AhlCode social server (masto.ahlcode.fi)