Das Projekt User Agents ist zur Zeit noch im Umbau. Das Erfassen von Bots und Spider passiert automatisch - das System füllt sich praktisch selber. Auch werden die Kategorien automatisch erstellt. Je nach Geschwindigkeit der Datenerfassung wird das Projekt weiter ausgebaut. Viele (geplante) Funktionen sind zur Zeit noch nicht verfügbar.
Es geht nicht darum alle bekannte User Agents zu ermitteln oder zu speichern. Das Projekt User Agents soll das Verhalten von Bots und Spider analysieren. Wann kommt welcher Bot und wie oft besucht er die Website oder liest auch die robots.txt aus. Web-Browser sollen weitgehendst nicht erfasst werden, jedoch kann es zu Ausnahmen kommen. Standard-Suchmaschinen wie Google, Yahoo oder MSN werden nicht erfasst. Das Projekt User Agents soll sich mehr oder weniger auf unbekannte Bots konzentrieren.
Als Spam markierte Agenten, sind Bots oder Suchmaschinen die für deutsche Websites wenig von Bedeutung bzw wenig relevant sind. Wenn also eine deutsche Website regelmäßig von einen Chinischen Bot besucht wird, wird dieser dann als Spam markiert. Auch vorgetäuschte Agenten von Usern können als Spam markiert werden. Mit Spam markierte Einträge ist allerdings keine Aufforderung zur generellen Sperrung - das muss jeder für sich entscheiden.
Das Beispiel htaccess ist auch wirklich nur als Beispiel anzusehen. Bestimmte Agenten werden erfasst und extra gespeichert. Aus dieser Liste wird dann automatisch das Beispiel zur htaccess erstellt.
Für Meinungen, Hinweise, Kritiken oder weitere Informationen bitte auf hier im Blog.