Zum ersten Mal wurden im Lemmy-Netzwerk mehr als 30.000 Lemmies durch den Crawler erfasst! Zur Feier gibt es ein kleines Update mit weiteren Filtern :)

  • @nutomicA
    link
    32 years ago

    Cool! Ich hab übrigens die letzten Tage ein paar Verbesserungen am crawler gemacht, kannst du dir mal anschauen, und mir sagen was du davon hältst. Oder auch falls du irgendwelche bugs oder feature requests hast.

    • @wintermute@feddit.deOPM
      link
      fedilink
      22 years ago

      Ein Filter für veraltete Instanzen ist eine gute Idee, werde ich bei Gelegenheit in die Map einbauen!

      Eine kleine Verbesserung wäre es, einen User-Agent Header zu setzen.

      Ich habe letztens 4fun einen nodejs-Crawler geschrieben welchen ich mittlerweile benutze, auch um die GreenFediverse Daten abzugreifen ;)

      • @nutomicA
        link
        22 years ago

        Gute Idee, hab den user-agent eben hinzugefügt.