Świeżość danych

Kiedy ostatnio odświeżyliśmy dane dla każdego miasta i każdego źródła. Pipeline scrape uruchamia się dwa razy w tygodniu (pon i czw o 03:00 CET). Niektóre źródła aktualizują się rzadziej, np. budżet (rocznie) albo komisje (po zmianach składu).

Ostatnie odświeżenie manifestu: brak Miasta: brak Sejmiki: brak Źródła: brak

Jak to działa?

Każdy znacznik czasu pochodzi z pola scraped_at w pliku JSON, jeśli skrypt scrape go zapisuje, albo z czasu modyfikacji pliku jako fallback. Mtime jest wiarygodne w naszym pipeline NAS, bo plik dostaje świeży mtime tylko wtedy, gdy scrape go nadpisał.

Pełny manifest w postaci JSON: /swiezosc/data.json. Zawiera dla każdej jednostki samorządu (miasto albo sejmik) i każdego źródła: znacznik czasu, rozmiar pliku, źródło znacznika (json_field albo mtime), nazwę pliku.

Sejmiki województw są w fazie pilotażu. Mazowieckie, dolnośląskie i pomorskie mają już scaffolding configów, scrapery są w drodze. Pozostałe 13 województw widać w macierzy ze statusem "planowane".

Źródła danych:

Głosowania: bieżący plik kadencja-{id}.json (sesje, głosowania imienne, frekwencja).
Interpelacje: interpelacje radnych z BIP albo systemu eSesja.
Aktualności: feed sesji i aktywności miasta, generowany przez generate_feed.py.
Profile: profile radnych z biogramami z Wikipedii i metrykami głosowań.
Budżet: wydatki, dochody, plan finansowy. Aktualizowane rocznie.