RKI changed vaccination report fundamentally: how to adjust scraper output?
edg-stg opened this issue · comments
- no more indications "Pflege", "medizinisch", "Alter", "Beruf"
- age <60 and 60+
- added vaccinations in doctor's practices
@edg-stg indeed 🤯
Started working on an updated mapping to keep sums, add new fields, drop missing etc. But think I won't be able to implement all necessary changes before the weekend. Will run a manual update until then to at least capture the two published sheets to data/de-vaccinations-raw-totals.csv and data/de-vaccinations-raw-quote.csv respectively. Hope to have an updating data/de-vaccinations-current.csv and data/de-vaccinations.csv back during the weekend.
Rough first mapping and preview of future keys in the CSV / API:
- New subkeys for
centers("Impfzentren, Mobilen Teams, Krankenhäuser") anddoctors("niedergelassenen Ärzteschaft") - Sums for <60 and 60+ age groups
- Depracted:
ind_alter,ind_prof,ind_medandind_pflege
Will finalise the scraper / automatic publication process tomorrow.
| key | Status | Lookup 🔎 / Calculation 🧮 | RKIv2 field name / calculation | RKIv3 field name / calculation |
|---|---|---|---|---|
| sum | ✅ | 🔎 | Gesamtzahl bisher verabreichter Impfstoffdosen | Insgesamt über alle Impfstellen Gesamtzahl bisher verabreichter Impfungen |
| sum_age_<60 | 🆕 | 🧮 | = sum_initial_age_<60 + sum_booster_age_<60 |
|
| sum_age_60+ | 🆕 | 🧮 | = sum_initial_age_60+ + sum_booster_age_60+ |
|
| sum_initial | ✅ | 🔎 | Erstimpfung Impfungen kumulativ Gesamt | Insgesamt über alle Impfstellen Gesamtzahl einmalig geimpft |
| sum_initial_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern eine Impfung Impfungen kumulativ Gesamt | |
| sum_initial_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft eine Impfung Impfungen kumulativ Gesamt | |
| sum_initial_age_<60 | 🆕 | 🧮 | = sum_initial_age_<60_centers + sum_initial_age_<60_centers |
|
| sum_initial_age_<60_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams und Krankenhäusern eine Impfung <60 Jahre | |
| sum_initial_age_<60_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft eine Impfung <60 Jahre | |
| sum_initial_age_60+ | 🆕 | 🧮 | = sum_initial_age_60+_centers + sum_initial_age_60+_centers |
|
| sum_initial_age_60+_center | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams und Krankenhäusern eine Impfung 60+ Jahre | |
| sum_initial_age_60+_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft eine Impfung 60+ Jahre | |
| sum_booster | ✅ | 🔎 | Zweitimpfung Impfungen kumulativ Gesamt | Insgesamt über alle Impfstellen Gesamtzahl vollständig geimpft |
| sum_booster_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern vollständig geimpft Impfungen kumulativ Gesamt | |
| sum_booster_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft vollständig geimpft Impfungen kumulativ Gesamt | |
| sum_booster_age_<60 | 🆕 | 🧮 | = sum_booster_age_<60_centers + sum_booster_age_<60_centers |
|
| sum_booster_age_<60_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams und Krankenhäusern vollständig geimpft <60 Jahre | |
| sum_booster_age_<60_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft vollständig geimpft <60 Jahre | |
| sum_booster_age_60+ | 🆕 | 🧮 | = sum_booster_age_60+_centers + sum_booster_age_60+_centers |
|
| sum_booster_age_60+_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams und Krankenhäusern vollständig geimpft 60+Jahre | |
| sum_booster_age_60+_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft vollständig geimpft 60+Jahre | |
| sum_biontech | 🆕 | 🧮 | = sum_initial_biontech + sum_booster_biontech |
|
| sum_initial_biontech | ✅ | 🔎 -> 🧮 | Erstimpfung Impfungen kumulativ BioNTech | = sum_initial_biontech_centers + sum_initial_biontech_doctors |
| sum_initial_biontech_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern eine Impfung Impfungen kumulativ BioNTech | |
| sum_initial_biontech_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft eine Impfung Impfungen kumulativ BioNTech | |
| sum_booster_biontech | ✅ | 🔎 -> 🧮 | Zweitimpfung Impfungen kumulativ BioNTech | = sum_booster_biontech_centers + sum_booster_biontech_doctors |
| sum_booster_biontech_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern vollständig geimpft Impfungen kumulativ BioNTech | |
| sum_booster_biontech_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft vollständig geimpft Impfungen kumulativ BioNTech | |
| sum_moderna | 🆕 | 🧮 | = sum_initial_moderna + sum_booster_moderna |
|
| sum_initial_moderna | ✅ | 🔎 -> 🧮 | Erstimpfung Impfungen kumulativ Moderna | = sum_initial_moderna_centers + sum_initial_moderna_doctors |
| sum_initial_moderna_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern eine Impfung Impfungen kumulativ Moderna | |
| sum_initial_moderna_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft eine Impfung Impfungen kumulativ Moderna | |
| sum_booster_moderna | ✅ | 🔎 -> 🧮 | Zweitimpfung Impfungen kumulativ Moderna | = sum_booster_moderna_centers + sum_booster_moderna_doctors |
| sum_booster_moderna_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern vollständig geimpft Impfungen kumulativ Moderna | |
| sum_booster_moderna_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft vollständig geimpft Impfungen kumulativ Moderna | |
| sum_astrazeneca | 🆕 | 🧮 | = sum_initial_astrazeneca + sum_booster_astrazeneca |
|
| sum_initial_astrazeneca | ✅ | 🔎 -> 🧮 | Erstimpfung Impfungen kumulativ AstraZeneca | = sum_initial_astrazeneca_centers + sum_initial_astrazeneca_doctors |
| sum_initial_astrazeneca_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern eine Impfung Impfungen kumulativ AstraZeneca | |
| sum_initial_astrazeneca_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft eine Impfung Impfungen kumulativ AstraZeneca | |
| sum_booster_astrazeneca | ✅ | 🔎 -> 🧮 | Zweitimpfung Impfungen kumulativ AstraZeneca | = sum_booster_astrazeneca_centers + sum_booster_astrazeneca_doctors |
| sum_booster_astrazeneca_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern vollständig geimpft Impfungen kumulativ AstraZeneca | |
| sum_booster_astrazeneca_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft vollständig geimpft Impfungen kumulativ AstraZeneca | |
| delta_vortag | ✅ | 🧮 | = delta_vortag_initial + delta_vortag_booster |
= delta_vortag_centers + delta_vortag_doctors |
| delta_vortag_centers | 🆕 | 🧮 | = delta_vortag_initial_centers + delta_vortag_booster_centers |
|
| delta_vortag_doctors | 🆕 | 🧮 | = delta_vortag_initial_doctors + delta_vortag_booster_doctors |
|
| delta_vortag_initial | ✅ | 🔎 -> 🧮 | Erstimpfung Differenz zum Vortag | = delta_vortag_initial_centers + delta_vortag_initial_doctors |
| delta_vortag_initial_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern eine Impfung Differenz zum Vortag | |
| delta_vortag_initial_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft eine Impfung Differenz zum Vortag | |
| delta_vortag_booster | ✅ | 🔎 -> 🧮 | Zweitimpfung Differenz zum Vortag | = delta_vortag_booster_centers + delta_vortag_booster_doctors |
| delta_vortag_booster_centers | 🆕 | 🔎 | Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern vollständig geimpft Differenz zum Vortag | |
| delta_vortag_booster_doctors | 🆕 | 🔎 | Impfungen der niedergelassenen Ärzteschaft vollständig geimpft Differenz zum Vortag | |
| quote_initial | ✅ | 🔎 | Erstimpfung Impf-quote % | Insgesamt über alle Impfstellen Impfquote mit einer Impfung Gesamt |
| quote_initial_<60 | 🆕 | 🔎 | Insgesamt über alle Impfstellen Impfquote mit einer Impfung <60 Jahre | |
| quote_initial_60+ | 🆕 | 🔎 | Insgesamt über alle Impfstellen Impfquote mit einer Impfung 60+ Jahre | |
| quote_booster | ✅ | 🔎 | Zweitimpfung Impf-quote % | Insgesamt über alle Impfstellen Impfquote vollständig geimpft Gesamt |
| quote_booster_<60 | 🆕 | 🔎 | Insgesamt über alle Impfstellen Impfquote vollständig geimpft <60 Jahre | |
| quote_booster_60+ | 🆕 | 🔎 | Insgesamt über alle Impfstellen Impfquote vollständig geimpft 60+ Jahre | |
| ind_alter | 🚫 | = ind_alter_initial + ind_alter_booster |
DEPRECATED – last published 2021-04-07 | |
| ind_alter_initial | 🚫 | Erstimpfung Indikation nach Alter | DEPRECATED – last published 2021-04-07 | |
| ind_alter_booster | 🚫 | Zweitimpfung Indikation nach Alter | DEPRECATED – last published 2021-04-07 | |
| ind_prof | 🚫 | = ind_prof_initial + ind_prof_booster |
DEPRECATED – last published 2021-04-07 | |
| ind_prof_initial | 🚫 | Erstimpfung Berufliche Indikation | DEPRECATED – last published 2021-04-07 | |
| ind_prof_booster | 🚫 | Zweitimpfung Berufliche Indikation | DEPRECATED – last published 2021-04-07 | |
| ind_med | 🚫 | = ind_med_initial + ind_med_booster |
DEPRECATED – last published 2021-04-07 | |
| ind_med_initial | 🚫 | Erstimpfung Medizinische Indikation | DEPRECATED – last published 2021-04-07 | |
| ind_med_booster | 🚫 | Zweitimpfung Medizinische Indikation | DEPRECATED – last published 2021-04-07 | |
| ind_pflege | 🚫 | = ind_pflege_initial + ind_pflege_booster |
DEPRECATED – last published 2021-04-07 | |
| ind_pflege_initial | 🚫 | Erstimpfung Pflegeheim-bewohnerIn | DEPRECATED – last published 2021-04-07 | |
| ind_pflege_booster | 🚫 | Zweitimpfung Pflegeheim-bewohnerIn | DEPRECATED – last published 2021-04-07 | |
@edg-stg running initial version manually for a few days to check – data should be updated once a day again. Push a couple of minutes ago is for published data from Saturday. Monday will come as soon as published :)
thanks a lot! rki updated today
thanks a lot! rki updated today
thanks. Current set should be based on todays publication. Will monitor :)
mapping to new cells seems to work fine!
do you want to fill the missing dates 7 to 10 april? i could provide the excel tables
Only captured some of the missing ones, hence would be very happy about those and add them in :)
https://github.com/zidatalab/covid19dashboard/tree/master/data/rki_vacc_excel
here are the files for the missing dates