Hilft Dir dabei, Deine BÜNDNIS 90/DIE GRÜNEN Website zu optimieren https://green-spider.netzbegruenung.de/
Go to file
Marian Steinbach 04a1e98b79
Prüfe Existenz von /favicon.ico und werte dies ebenso wie ein Icon, das im HTML Head verlinkt ist (#115)
* Fix full JSON export

* Update ignore list

* Update README

* Check for /favicon.ico and rate it as icon available

* Remove broken cookies test
2019-05-05 22:26:41 +02:00
checks Prüfe Existenz von /favicon.ico und werte dies ebenso wie ein Icon, das im HTML Head verlinkt ist (#115) 2019-05-05 22:26:41 +02:00
config Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00
devops Add webapp deployment (#87) 2018-11-20 19:54:23 +01:00
export Prüfe Existenz von /favicon.ico und werte dies ebenso wie ein Icon, das im HTML Head verlinkt ist (#115) 2019-05-05 22:26:41 +02:00
jobs Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00
kubernetes Kubernetes manifests: replace jobs with cronjobs 2018-11-28 22:19:03 +01:00
rating Prüfe Existenz von /favicon.ico und werte dies ebenso wie ein Icon, das im HTML Head verlinkt ist (#115) 2019-05-05 22:26:41 +02:00
spider Fehlerbehebung im url_reachability check (#108) 2019-04-19 00:35:28 +02:00
.dockerignore Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00
.gitignore Prüfe Existenz von /favicon.ico und werte dies ebenso wie ein Icon, das im HTML Head verlinkt ist (#115) 2019-05-05 22:26:41 +02:00
.travis.yml Fehlerbehebung im url_reachability check (#108) 2019-04-19 00:35:28 +02:00
Dockerfile Use alpine 3.9 base image 2019-05-03 23:20:08 +02:00
KRITERIEN.md Detect and report responsive layout details 2018-04-23 09:11:50 +02:00
LICENSE Create LICENSE 2018-08-28 21:04:20 +02:00
Makefile Fehlerbehebung im url_reachability check (#108) 2019-04-19 00:35:28 +02:00
README.md Prüfe Existenz von /favicon.ico und werte dies ebenso wie ein Icon, das im HTML Head verlinkt ist (#115) 2019-05-05 22:26:41 +02:00
cli.py Fehlerbehebung im url_reachability check (#108) 2019-04-19 00:35:28 +02:00
index.yaml Add webapp deployment (#87) 2018-11-20 19:54:23 +01:00

README.md

Green Spider

Initiative und Tools zur Förderung eines benutzer*innenfreundlichen Auftritts von Bündnis 90/Die Grünen im Web.

Zur Auswertung: https://green-spider.netzbegruenung.de/

Tools

Aktivitäten

Es ist geplant, auf Basis der gesammelten Informationen (siehe Spider) Informationen an die Betreiber*innen der Websites zu versenden. Hierzu müssen Prozesse erarbeitet und vermutlich weitere Tools geschaffen werden.

Community

Green Spider ist ein Projekt des netzbegrünung e. V. -- Mitwirkung ist herzlich willkommen.

Zur Kommunikation dient der Chatbegrünung-Kanal #green-spider sowie die Issues hier in diesem Repository.

Betrieb

Alle Informationen zum Betrieb befinden sich im Verzeichnis devops.

Entwicklung

Green Spider ist in Python 3 geschrieben und wird aktuell unter 3.6 getestet und ausgeführt.

Aufgrund zahlreicher Dependencies empfiehlt es sich, den Spider Code lokal in Docker auszuführen.

Das Image wird über den folgenden Befehl erzeugt:

make

Das dauert beim ersten Ausführen einige Zeit, wiel einige Python-Module das Kompilieren diverser Libraries erfordern. Nach dem ersten erfolgreichen Durchlauf dauert ein neuer Aufruf von make nur noch wenige Sekunden.

Tests ausführen

In aller Kürze: make test

Spider ausführen

Der Spider kann einzelne URLs verarbeiten, ohne die Ergebnisse in eine Datenbank zu schreiben. Am einfachsten geht das über den make spider Befehl, so:

make spider ARGS="--url http://www.example.com/"

Ohne ARGS aufgerufen, arbeitet der Spider eine Jobliste ab. Dies erfordert Zugriff auf die entsprechende Datenank.