green-spider/checks
Marian Steinbach 618e29d763
Job-Verwaltung mit RQ, und vieles mehr (#149)
* CLI: remove 'jobs' command, add 'manager'

* Add job definition

* Move jobs to manage folder

* Rename jobs to manager

* Add rq and redis dependencies

* Add docker-compose YAML

* Downgrade to alpine 3.8

* Adjust paths in Dockerfile, remove entrypoint

* Rename 'make spiderjobs' to 'make jobs'

* Fix docker exectution

* Adapt 'make jobs'

* Fix metadata scheme

* Add docker dependency

* Rendomize queue (a bit)

* Use latest image, remove debug output

* Make docker-compose file downwards-compatible

* Use latest instead of dev image tag

* Update docker-compose.yaml

* Adapt job start script

* Fix redis connection in manager

* Add support for increasing timeout via environment variable

* Adapt load_in_browser to cookies table schema change

* Fix execution

* Mitigate yaml warning

* Bump some dependency versions

* Report resource usage stats for each job

* checks/load_in_browser: Return DOM size, prevent multiple page loads

* Update .dockerignore

* Code update

* Script update

* Update README.md

* WIP

* WIP commit

* Update Dockerfile to alpine:edge and chromium v90

* Update TestCertificateChecker

* Set defaults for __init__ function

* Detect sunflower theme

* Update unit test for new datetime (zero-basing)

* Set logging prefs from Chromium in a new way

* Move datastore client instantiation

As it is not needed for all commands

* Change green-directory repository URL

* Add git settings for cloning green-directory

* Pin alpine version 3.14, fix py3-cryptography

* Use plain docker build progress output

* Add volumes to 'make test' docker run command

* Fix bug

* Update example command in README

* Update dependencies

* Add creation of Kubernetes jobs
2021-11-11 20:15:43 +01:00
..
__init__.py Job-Verwaltung mit RQ, und vieles mehr (#149) 2021-11-11 20:15:43 +01:00
abstract_checker.py Job-Verwaltung mit RQ, und vieles mehr (#149) 2021-11-11 20:15:43 +01:00
certificate.py Improve certificate check to support SNI (#71) 2018-10-03 21:01:52 +02:00
certificate_test.py Job-Verwaltung mit RQ, und vieles mehr (#149) 2021-11-11 20:15:43 +01:00
charset.py Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00
charset_test.py Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00
config.py Job-Verwaltung mit RQ, und vieles mehr (#149) 2021-11-11 20:15:43 +01:00
dns_resolution.py Fix logging output in dns_resolution 2019-11-22 08:38:26 +01:00
dns_resolution_test.py Prüfe DNS auf IPv6 AAAA Record (#124) 2019-07-15 22:59:33 +02:00
domain_variations.py Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00
domain_variations_test.py More unittests for checks (#73) 2018-10-03 22:43:22 +02:00
duplicate_content.py Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00
duplicate_content_test.py More unittests for checks (#73) 2018-10-03 22:43:22 +02:00
frameset.py Detect frameset (#102) 2018-12-07 16:31:56 +01:00
frameset_test.py Detect frameset (#102) 2018-12-07 16:31:56 +01:00
generator.py Job-Verwaltung mit RQ, und vieles mehr (#149) 2021-11-11 20:15:43 +01:00
html_head.py Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00
http_and_https.py Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00
hyperlinks.py Fix link raters (social media links, contact link) (#95) 2018-11-28 23:46:40 +01:00
hyperlinks_test.py Detect frameset (#102) 2018-12-07 16:31:56 +01:00
load_favicons.py Prüfe Existenz von /favicon.ico und werte dies ebenso wie ein Icon, das im HTML Head verlinkt ist (#115) 2019-05-05 22:26:41 +02:00
load_favicons_test.py Prüfe Existenz von /favicon.ico und werte dies ebenso wie ein Icon, das im HTML Head verlinkt ist (#115) 2019-05-05 22:26:41 +02:00
load_feeds.py Problembehebung mit Exception-Daten im Ergbebnis, die nicht geschrieben werden können, und Spidern einzelner Sites (#132) 2019-11-22 23:13:57 +01:00
load_feeds_test.py Job-Verwaltung mit RQ, und vieles mehr (#149) 2021-11-11 20:15:43 +01:00
load_in_browser.py Job-Verwaltung mit RQ, und vieles mehr (#149) 2021-11-11 20:15:43 +01:00
load_in_browser_test.py Prüfe Existenz von /favicon.ico und werte dies ebenso wie ein Icon, das im HTML Head verlinkt ist (#115) 2019-05-05 22:26:41 +02:00
page_content.py Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00
url_canonicalization.py Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00
url_reachability.py Fehlerbehebung im url_reachability check (#108) 2019-04-19 00:35:28 +02:00
url_reachability_test.py Refactor and modularize spider (#70) 2018-10-03 11:05:42 +02:00