Hilft Dir dabei, Deine BÜNDNIS 90/DIE GRÜNEN Website zu optimieren https://green-spider.netzbegruenung.de/

Go to file

Marian Steinbach 725ed5439d Set share memory size		2019-11-22 08:39:56 +01:00
checks	Fix logging output in dns_resolution	2019-11-22 08:38:26 +01:00
config	Refactor and modularize spider (#70 )	2018-10-03 11:05:42 +02:00
devops	Add required secrets for screenshots job	2019-11-22 08:38:49 +01:00
export	Fix full JSON export	2019-05-04 23:00:00 +02:00
jobs	Refactor and modularize spider (#70 )	2018-10-03 11:05:42 +02:00
kubernetes	Kubernetes manifests: replace jobs with cronjobs	2018-11-28 22:19:03 +01:00
rating	Prüfe DNS auf IPv6 AAAA Record (#124 )	2019-07-15 22:59:33 +02:00
spider	Fehlerbehebung im url_reachability check (#108 )	2019-04-19 00:35:28 +02:00
.dockerignore	Refactor and modularize spider (#70 )	2018-10-03 11:05:42 +02:00
.gitignore	Update ignore list	2019-05-04 23:00:56 +02:00
.travis.yml	Fehlerbehebung im url_reachability check (#108 )	2019-04-19 00:35:28 +02:00
Dockerfile	Prüfe DNS auf IPv6 AAAA Record (#124 )	2019-07-15 22:59:33 +02:00
KRITERIEN.md	Detect and report responsive layout details	2018-04-23 09:11:50 +02:00
LICENSE	Create LICENSE	2018-08-28 21:04:20 +02:00
Makefile	Set share memory size	2019-11-22 08:39:56 +01:00
README.md	Update README	2019-05-04 23:01:04 +02:00
cli.py	Fehlerbehebung im url_reachability check (#108 )	2019-04-19 00:35:28 +02:00
index.yaml	Add webapp deployment (#87 )	2018-11-20 19:54:23 +01:00

README.md

Green Spider

Initiative und Tools zur Förderung eines benutzer*innenfreundlichen Auftritts von Bündnis 90/Die Grünen im Web.

Zur Auswertung: https://green-spider.netzbegruenung.de/

Tools

Spider: Sammelt Informationen über Websites von B90/GRÜNE Gliederungen
Screenshotter: Erstellt Seiten-Screenshots. Siehe netzbegruenung/green-spider-screenshotter
Webapp: Darstellung der Spider-Ergebnisse. Siehe netzbegruenung/green-spider-webapp. Dazu gehören
- API: netzbegruenung/green-spider-api
- Elasticsearch
- Indexer: Lädt Ergebnisdaten in Elasticsearch. Siehe netzbegruenung/green-spider-indexer
Auswertung: R Projekt zur Auswertung der Ergebnisse. Siehe netzbegruenung/green-spider-analysis

Aktivitäten

Es ist geplant, auf Basis der gesammelten Informationen (siehe Spider) Informationen an die Betreiber*innen der Websites zu versenden. Hierzu müssen Prozesse erarbeitet und vermutlich weitere Tools geschaffen werden.

Community

Green Spider ist ein Projekt des netzbegrünung e. V. -- Mitwirkung ist herzlich willkommen.

Zur Kommunikation dient der Chatbegrünung-Kanal #green-spider sowie die Issues hier in diesem Repository.

Betrieb

Alle Informationen zum Betrieb befinden sich im Verzeichnis devops.

Entwicklung

Green Spider ist in Python 3 geschrieben und wird aktuell unter 3.6 getestet und ausgeführt.

Aufgrund zahlreicher Dependencies empfiehlt es sich, den Spider Code lokal in Docker auszuführen.

Das Image wird über den folgenden Befehl erzeugt:

make

Das dauert beim ersten Ausführen einige Zeit, wiel einige Python-Module das Kompilieren diverser Libraries erfordern. Nach dem ersten erfolgreichen Durchlauf dauert ein neuer Aufruf von make nur noch wenige Sekunden.

Tests ausführen

In aller Kürze: make test

Spider ausführen

Der Spider kann einzelne URLs verarbeiten, ohne die Ergebnisse in eine Datenbank zu schreiben. Am einfachsten geht das über den make spider Befehl, so:

make spider ARGS="--url http://www.example.com/"

Ohne ARGS aufgerufen, arbeitet der Spider eine Jobliste ab. Dies erfordert Zugriff auf die entsprechende Datenank.