cb58b32c39 | ||
---|---|---|
devops | ||
docs | ||
webapp | ||
.dockerignore | ||
.gitignore | ||
.travis.yml | ||
Dockerfile | ||
KRITERIEN.md | ||
Makefile | ||
README.md | ||
data_export.py | ||
spider.py | ||
spider_test.py |
README.md
Green Spider
Initiative und Tools zur Förderung eines benutzer*innenfreundlichen Auftritts von Bündnis 90/Die Grünen im Web.
Zur Auswertung: https://green-spider.netzbegruenung.de/
Tools
-
Spider: Sammelt Informationen über Websites von B90/GRÜNE Gliederungen
-
Screenshotter: Erstellt Seiten-Screenshots. Siehe netzbegruenung/green-spider-screenshotter
-
Webapp: Darstellung der Spider-Ergebnisse unter green-spider.netzbegruenung.de
Aktivitäten
Es ist geplant, auf Basis der gesammelten Informationen (siehe Spider) Informationen an die Betreiber*innen der Websites zu versenden. Hierzu müssen Prozesse erarbeitet und vermutlich weitere Tools geschaffen werden.
Community
Green Spider ist ein Projekt des netzbegrünung e. V. -- Mitwirkung ist herzlich willkommen.
Zur Kommunikation dient der Chatbegrünung-Kanal #green-spider sowie die Issues hier in diesem Repository.
Anleitung
Spider ausführen
Voraussetzungen:
- Docker
- Schlüssel mit Schreibrecht für die Ergebnis-Datenbank
Um alle Sites aus aus netzbegruenung/green-directory zu spidern:
make spiderjobs
make spider
Alternativ kann wie im nachfolgenden Beispiel gezeogt das Spidern einer einzelnen URL angestoßen werden. Diese muss nicht zwingend Teil des green-directory
sein.
docker run --rm -ti \
-v $PWD/secrets:/secrets spider \
spider.py --credentials-path /secrets/datastore-writer.json \
jobs --url https://www.trittin.de/
make spider
Screenshots erstellen
Siehe green-spider-screenshotter
Webapp aktualisieren
Voraussetzungen:
- npm
- Docker
- Schlüssel mit Leserecht für Screenshot- und Ergebnis-Datenbank
Die beiden nachfolgenden Kommandos erzeugen die JSON-Exporte der Spider-Ergebnisse und Screenshots und aktualisieren die Webapp.
make export
make webapp
Das Ergebniss sollte in einen neuen Branch gepusht und als Pull Request hinzugefügt werden.