Zum ersten Mal wurden im Lemmy-Netzwerk mehr als 30.000 Lemmies durch den Crawler erfasst! Zur Feier gibt es ein kleines Update mit weiteren Filtern :)
Zum ersten Mal wurden im Lemmy-Netzwerk mehr als 30.000 Lemmies durch den Crawler erfasst! Zur Feier gibt es ein kleines Update mit weiteren Filtern :)
Ein Filter für veraltete Instanzen ist eine gute Idee, werde ich bei Gelegenheit in die Map einbauen!
Eine kleine Verbesserung wäre es, einen User-Agent Header zu setzen.
Ich habe letztens 4fun einen nodejs-Crawler geschrieben welchen ich mittlerweile benutze, auch um die GreenFediverse Daten abzugreifen ;)
Gute Idee, hab den user-agent eben hinzugefügt.