mirror of https://github.com/netzbegruenung/green-spider.git synced 2024-05-02 17:14:51 +02:00

Hilft Dir dabei, Deine BÜNDNIS 90/DIE GRÜNEN Website zu optimieren https://green-spider.netzbegruenung.de/

Go to file

Marian Steinbach 8efe160e79 Use plain docker build progress output		2021-11-11 20:06:59 +01:00
checks	Set logging prefs from Chromium in a new way	2021-11-11 20:02:17 +01:00
config	Change green-directory repository URL	2021-11-11 20:02:57 +01:00
devops	WIP commit	2021-05-23 18:05:24 +02:00
export	Fix full JSON export	2019-05-04 23:00:00 +02:00
kubernetes	WIP commit	2021-05-23 18:05:24 +02:00
manager	WIP commit	2021-05-23 18:05:24 +02:00
rating	Code update	2021-01-01 13:20:04 +01:00
spider	Code update	2021-01-01 13:20:04 +01:00
.dockerignore	Update .dockerignore	2021-01-01 13:17:07 +01:00
.gitignore	WIP commit	2021-05-23 18:05:24 +02:00
.travis.yml	Fehlerbehebung im url_reachability check (#108 )	2019-04-19 00:35:28 +02:00
cli.py	Move datastore client instantiation	2021-11-11 20:02:42 +01:00
docker-compose.yaml	Add git settings for cloning green-directory	2021-11-11 20:05:35 +01:00
Dockerfile	Pin alpine version 3.14, fix py3-cryptography	2021-11-11 20:06:20 +01:00
index.yaml	Add webapp deployment (#87 )	2018-11-20 19:54:23 +01:00
job.py	WIP commit	2021-05-23 18:05:24 +02:00
KRITERIEN.md	Detect and report responsive layout details	2018-04-23 09:11:50 +02:00
LICENSE	Create LICENSE	2018-08-28 21:04:20 +02:00
Makefile	Use plain docker build progress output	2021-11-11 20:06:59 +01:00
README.md	Update README.md	2021-01-01 13:20:50 +01:00
requirements.txt	Update Dockerfile to alpine:edge and chromium v90	2021-05-25 10:50:41 +02:00

README.md

Green Spider

Initiative und Tools zur Förderung eines benutzer*innenfreundlichen Auftritts von Bündnis 90/Die Grünen im Web.

Zur Auswertung: https://green-spider.netzbegruenung.de/

Tools

Spider: Sammelt Informationen über Websites von B90/GRÜNE Gliederungen
Screenshotter: Erstellt Seiten-Screenshots. Siehe netzbegruenung/green-spider-screenshotter
Webapp: Darstellung der Spider-Ergebnisse. Siehe netzbegruenung/green-spider-webapp. Dazu gehören
- API: netzbegruenung/green-spider-api
- Elasticsearch
- Indexer: Lädt Ergebnisdaten in Elasticsearch. Siehe netzbegruenung/green-spider-indexer
Auswertung: R Projekt zur Auswertung der Ergebnisse. Siehe netzbegruenung/green-spider-analysis

Aktivitäten

Es ist geplant, auf Basis der gesammelten Informationen (siehe Spider) Informationen an die Betreiber*innen der Websites zu versenden. Hierzu müssen Prozesse erarbeitet und vermutlich weitere Tools geschaffen werden.

Community

Green Spider ist ein Projekt des netzbegrünung e. V. -- Mitwirkung ist herzlich willkommen.

Zur Kommunikation dient der Chatbegrünung-Kanal #green-spider sowie die Issues hier in diesem Repository.

Betrieb

Alle Informationen zum Betrieb befinden sich im Verzeichnis devops.

Entwicklung

Green Spider ist in Python 3 geschrieben und wird aktuell unter 3.6 getestet und ausgeführt.

Aufgrund zahlreicher Abhängigkeiten empfiehlt es sich, den Spider Code lokal in Docker auszuführen.

Das Image wird über den folgenden Befehl erzeugt:

make

Das dauert beim ersten Ausführen einige Zeit, wiel einige Python-Module das Kompilieren diverser Libraries erfordern. Nach dem ersten erfolgreichen Durchlauf dauert ein neuer Aufruf von make nur noch wenige Sekunden.

Tests ausführen

In aller Kürze: make test

Spider testweise ausführen (Debugging)

Der Spider kann einzelne URLs verarbeiten, ohne die Ergebnisse in eine Datenbank zu schreiben. Am einfachsten geht das über den make spider Befehl, so:

make spider ARGS="--url http://www.example.com/"

Ohne ARGS aufgerufen, arbeitet der Spider eine Jobliste ab. Dies erfordert Zugriff auf die entsprechende Datenbank.

Wenn nur eine einzelne Site gespidert werden soll, die Ergebnisse aber in die Datenbank geschrieben werden sollen, kann der Spider so mit --job und einem JSON-Object aufgerufen werden (Beispiel):

docker run --rm -ti \
  -v $(pwd)/volumes/dev-shm:/dev/shm \
  -v $(pwd)/secrets:/secrets \
  -v $(pwd)/screenshots:/screenshots \
  -v $(pwd)/volumes/chrome-userdir:/opt/chrome-userdir \
  --shm-size=2g \
  quay.io/netzbegruenung/green-spider:latest python cli.py \
    --credentials-path /secrets/datastore-writer.json \
    --loglevel debug \
    spider --job '{"url": "https://xn--grne-porta-westfalica-9hc.de/", "city": "Porta Westfalica", "country": "DE", "district": "Minden-Lübbecke", "level": "DE:ORTSVERBAND", "state":" Nordrhein-Westfalen", "type": "REGIONAL_CHAPTER"}'