Datavragen rond corona

[Yvonne]

Er is behoefte aan data over het aantal zieken, maar ook over het aantal genezingen, over plekken/tijdstippen waar het druk is. Waar zijn dit soort data te vinden?

[joostfarla]

Hier is een internationaal overzicht te vinden van API’s rondom COVID-19:
https://covid-19-apis.postman.com/

[joostfarla]

Nog een interessant overzicht, maar dan vanuit het RIVM: https://www.databronnencovid19.nl

[brinkwoman]

Hier is een GeoJSON encoding voor het uitwisselen van data over besmettingen: https://github.com/ilkkarinne/covidjson

[Gineke]

Een verzameling van datasets rondom het coronavirus. Deze groep bevat datasets vanuit de overheid die van belang zijn in, over of rondom het virus in Nederland:
https://data.overheid.nl/community/groepen/data-over-covid-19/datasets

[Gineke]

Leer- en Expertisepunt Datagedreven werken (LED) maakte dit overzicht van Nederlandse en internationale beschikbare bronnen:
https://www.digitaleoverheid.nl/overzicht-van-alle-onderwerpen/nieuwe-technologieen-data-en-ethiek/het-led/led-nieuws/dossierpostcontext/covid-19-in-data/

[Valerie]

Dank voor deze verwijzing. De site wordt continue bijgewerkt en aangevuld met nieuwe bronnen. Als jullie nog tips hebben dan ontvangen wij die graag op Databronnencovid19@rivm.nl

[erwinfolmer]

Dank voor de overzichten! Handig!

Alleen ik zat er even naar te kijken of we er iets mee kunnen, maar dan wordt het toch wel wat lastiger:
Op de RIVM site zie ik alleen een download(csv etc) van de dagactualiteit (huidige dag) aan hoeveelheid besmettingen per woonplaats. Alle andere belangrijke cijfers staat of in de tekst, of in de pdf…Nogal lastig te verwerken… (is er misschien ook een completere RIVM csv/api/??)

Bij andere datasets (zoals CBS) staat dat het in de toekomst komt…

Dan even terug naar de interessante vraag van Yvonne…kan ik ook ergens (in data formaat download/api/etc…maar geen pdf) data vinden van genezingen, overledenen, per woonplaats, drukke gebieden, etc…

Ik kan dan nog weinig vinden…maar hopelijk zoek ik verkeerd.

[jeroenvdv]

Wij maken gebruik van https://github.com/J535D165/CoronaWatchNL hier worden alle interessante gegevens van de RIVM website gedumpt naar .csv bestanden

[Marc]

Wij hebben bij het Kadaster ook een aantal vragen binnen gekregen om locatie data te leveren. De vragen komen uit verschillende hoeken. Een deel loopt via hub van Esri en een deel komt rechtstreeks binnen bij ons. Op dit moment hebben we vragen over ziekenhuizen, begraafplaatsen, schoolpleinen, speeltuinen, winkelcentra gehad. Voor geen van bovenstaande vragen is een complete set beschikbaar die 1 op 1 gebruikt kan worden.
Verder komen er een aantal vastgoed gerelateerde vragen binnen die van belang kunnen zijn.

Er is ondertussen intern een team opgericht dat zich hier mee bezig houdt. Als er vragen zijn waar wij vanuit het Kadaster een bijdrage aan kunnen leveren hoor ik dat graag.

[brinkwoman]

Het Open Geospatial Consortium heeft hier een (internationale) verzamelpagina van data en voorbeelden:
https://www.ogc.org/resources-for-COVID-19-from-ogc

[Marc]

Vanuit het Kadaster zijn we voornemens om onze 3D data (LoD1.2) versneld open te zetten via een downloadlink. Omdat dit niet via de gebruikelijke weg (PDOK) zal gaan moeten wij hier wel wat extra werk voor gaan doen. We gaan dit dus alleen maar doen als dit bijdraagt aan de aan de informatie voorziening rondom Corona. Het zou het fijn zijn als jullie laten weten als dit het geval is.

[Yvonne]

@JBak is er bij jullie behoefte geuit aan 3D data zoals Marc aanbiedt?

[JBak]

De behoefte is nog niet direct bij ons geuit mbt corona

[JBak]

Via https://www.esri.nl/corona bieden we overigens diverse datasets aan , als REST API’s. Ook de informatie van RIVM is er op te vragen via de API inclusief historie voor diverse gegevens. Zie voor meer informatie ook de uitleg in dit topic: https://geoforum.nl/t/leren-van-corona-toepassingen/3988/3?u=jbak

[Yvonne]

Deze is ook interessant: https://ourworldindata.org/coronavirus (Oxford University) biedt data en visualisaties op wereldschaal over aantal doden, snelheid waarmee dodental oploopt in verschillende landen, hoeveel tests er wereldwijd zijn uitgevoerd, hoeveel tests je moet doen om 1 besmetting te vinden etc.

Op het Europese dataplatform vind je de meest recente openbare gegevens over COVID-19, inclusief een dagelijkse update, de epidemiologische curve en de geografische verspreiding (in de EU/EER en het VK, en wereldwijd) in verschillende downloadformaten. Zie https://data.europa.eu/euodp/nl/data/dataset/covid-19-coronavirus-data

[Just_OSGeo]

Herhaal deze nog maar eens: https://github.com/J535D165/CoronaWatchNL (Universiteit Utrecht) en voor de (CSV) data daarin https://github.com/J535D165/CoronaWatchNL/tree/master/data .

Wordt kort na 14:00 elke dag vernieuwd. De software die dat doet staat dus ook daar. Lijkt mij eigenlijk wel een eis t.b.v. transparantie, zeker met dit soort cijfers: dat software die COVID-19 data publiceert Open Source is…Net als de veelbesproken Corona apps via onze overheid dat meen ik ook moesten zijn (hoewel dat weer niet privacy garandeert).

Voor mij is bovenstaande GitHub repo de meest transparante en complete COVID-19 software/databron die ik voor NL ben tegengekomen. Erg mooie stukken Python daarin, bijv om de CSV uit de RIVM site te parsen. Maar tegelijkertijd treurig dat dit zo moet en er geen (RIVM/NICE) API is…Data mist alleen de “geocodering”, maar dat moet “fluitje van cent” zijn: is meer een JOIN maken met bijv Bestuurlijke Grenzen op basis Gemeente/Provincie codes. Iets met GeoPandas. Dit is typisch iets waarmee we vanuit de Geo-wereld redelijk eenvoudig kunnen helpen…bijv een subfolder onder /data met geo-gecodeerde GeoJSON of evt CSV-bestanden. Of is iemand daar al mee bezig? Kleine hackathon daarvoor? Heb ieder geval issue geopend op UU repo.

[gisnederland]

@JBak @Just_OSGeo: allereerst dank voor jullie inspaning (en die van anderen)
Even een poging tot tussenstand m.b.t. Nederlandse data. (alles buiten onze landsgrenzen doet voor mij even niet ter zake)
Corrigeer svp als ik onzin of onvolledig typ.

1. EsriNL als CoronaWatchNL trekken allebei de RIVM data dagelijks naar binnen.
2. EsriNL bakt daar ArcGIS feature services van die
   a) rechtstreeks aan te spreken zijn (in ArcGIS, QGis etc.) en
   b) door EsriNL zelf ook in kant-en-klare webmaps & dashboards worden opgenomen
3. CoronaWatchNL zet de RIVM data om naar CSV, maar mist nog geocoding
4. PyGeoAPI (https://demo.pygeoapi.io/covid-19/collections?f=html) zet sommige van de EsriNL endpoints (en wat Italiaanse) om naar GeoJSON

Vooral vraag aan @Just_OSGeo:
is PyGeoAPI niet de “spatial enabler” van de CSV-data van CorinoWatchNL
(ik word wellicht verkeerde been gezet door de verrassende cross-link van PyGeoAPi naar de EsrNL endpoints ipv naar wat ik zou deverwachten: de CoronaWatchNL data)

[Just_OSGeo]

Bedankt voor de samenvatting @gisnederland ! Paar kleine aanvullingen en antwoord vraag:

ad 1. CoronaWatchNL betrekt ook van NICE voor IC data. Kan niet spreken voor ESRI, misschien dat die ook van CoronaWatchNL betrekt? In ieder geval is dit een erg fragiele methode (CSV’s parsen uit RIVM HTML), omdat RIVM nog weleens de HTML aanpast…

ad. 2 m.i. ja

ad 3. ja, heb issue op geopend: https://github.com/J535D165/CoronaWatchNL/issues/77

ad 4. ja, dwz GeoJSON zoals afgenomen via de OGC OpenAPI Features endpoints

pygeoapi is idd spatial enabler, met overigens grote NL inbreng (naast mij, oa Paul van G., Jorge Jesus, @Ynte ). Kan verschillende “backends” direct 1-1 ontsluiten via de standaard OGC API Features (“WFS v3”), eigenlijk alles wat GDAL/OGR kan dus van CSV tot ESRI FS.

Alleen…pygeoapi heeft wel geodata nodig, minimaal is dat een CSV (kan in GitHub repo blijven zitten, dus geen data schuiven) met x,y (lat,lon) coordinaten. Maar liever een GeoJSON/GPKG/PostGIS desnoods Shape. Simpel gezegd: CoronaWatchNL mist nog x,y coordinaten (mag zelfs in RD, pygeoapi vertaalt ook naar lon/lat, WGS84) in haar CSVs, de laatste stap. Vandaar dat issue geopend, waarvan ik hoop dat iemand dat hier oppakt. (Ik doe sowieso pygeoapi deel).

Voor “Italië” zijn de CSVs al “geocoded”, maar die waren sowieso eerder met de crisis…Tot die tijd gebruiken we voor NL de ESRI FS APIs, maar willen graag de hele keten transparant krijgen en dus CoronaWatchNL data (GeoJSON, ook ivm polygonen) gaan ontsluiten via pygeoapi.

[JBak]

Aardige samenvatting Gert-jan! Wij stellen alles beschikbaar door direct bij de bron(nen) de informatie op te halen. We halen data dus op bij RIVM, Stichting NICE, CBS etc. We doen zelf dus niets met coronawatch. Waar relevant herstructureren we de data om het gebruiksvriendelijker te maken, of beter toepasbaar in bijvoorbeeld de dashboards. Ook voegen we veel regio-indelingen toe (provincie, veiligheidsregio, GGD-regio, gemeentenaam en code etc) om het op verschillende manieren te kunnen presenteren en mogelijk te maken te koppelen met andere sets die beschikbaar komen op die geografische niveaus.

De services zijn opgezet dat we ze zelf gebruiken, maar ook door anderen ingezet kunnen worden. We hebben overigens wel net enkele services uitgefaseerd (dwz, actualiseren we niet meer) omdat we nieuwe services hebben gemaakt om een aantal zaken te consolideren en omdat er inmiddels meer informatie beschikbaar is gekomen vanuit o.a. het RIVM. Hierbij voor diegene die er interesse hebben de url’s naar een aantal van de primaire services. Dit zijn de url’s naar de REST services, zowel feature services met geometrie als ook puur alleen tabellen (zoals de informatie over IC-bezetting) zonder geometrie. We zijn bezig om de API-pagina op de NL COVID-19 Hub te voltooien en daarin is ook standaard een GeoJSON endpoint beschikbaar en een downloadfunctie naar csv of shape/fgdb/kml (voor de datasets met geometrie). Hoewel prima om het ook via PyGeoAPI ook als GeoJSON aan te bieden hoeft het dus op zich niet.

RIVM gegevens
Voor zowel positief geteste personen, ziekenhuisopnames en overleden patiënten en ook de informatie uit het epidemiologisch dagelijkse rapport. Dagelijks bijgewerkt, kort nadat RIVM gegevens beschikbaar maakt.

• RIVM gegevens per gemeente – historie: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/Coronavirus_RIVM_vlakken_historie/FeatureServer
• RIVM gegevens per gemeente – actueel: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/Coronavirus_RIVM_vlakken_actueel/FeatureServer
• RIVM – cumulatief aantal naar datum: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/Coronavirus_aantallen_tabel/FeatureServer
• RIVM – leeftijd patiënten, ziekenhuisopnames en overledenen: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/EpidemiologischeSituatie_COVID19_Leeftijden/FeatureServer
• RIVM – aantal patiënten, ziekenhuisopnames en overledenen naar meldingsdatum bij GGD’en: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/Epidemiologische_situatie_COVID19_aantallen_per_meldingsdatum_view/FeatureServer
• RIVM – geslacht patiënten, ziekenhuisopnames en overledenen: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/EpidemiologischeSituatie_COVID19_Geslacht/FeatureServer
• RIVM – aantal positief geteste personen per provincie actueel (en verschil tov gisteren) : https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/Epidemiologische_situatie_COVID19_Provincies_view/FeatureServer

Stichting NICE
Gegevens worden elke 15 minuten geactualiseerd.

• IC gegevens: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/IntensiveCare_View/FeatureServer
• Leeftijdsverdeling IC patiënten: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/Coronavirus_IC_opnamen_leeftijd/FeatureServer

CBS sterftecijfers
Gegevens worden periodiek bijgewerkt, na publicatie / bekendmaking vanuit het CBS.

• CBS gemeentecijfers vergelijking tov week 1 t/m 10: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/CBS_gemeenten_sterftecijfers_vergelijking_1/FeatureServer
• CBS totale sterftecijfers: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/CBS_totalen_sterftecijfers1/FeatureServer
• CBS sterftecijfers per provincie: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/CBS_provincie_sterftecijfers1/FeatureServer
• CBS sterftecijfers per leeftijdsverdeling: https://services.arcgis.com/nSZVuSZjHpEZZbRo/arcgis/rest/services/CBS_leeftijd_sterftecijfers/FeatureServer

We streven er naar om alle COVID-19 informatie die vanuit autoritatieve bronnen beschikbaar is samen te brengen en vanuit één plek middels API’s beschikbaar te maken. Omdat inderdaad de informatie wel vrij beschikbaar is, maar op tal van websites. En vaak wel raadpleegbaar, maar lang niet altijd eenvoudig integreerbaar in een eigen toepassing. Naast gegevens over COVID-patiënten zijn er nog veel meer services, zoals postcodevlakken voor visualisatie, of meer GIS-datasets ter ondersteuning van analyses. Die heb ik nu weggelaten in dit overzicht.