Jou inzicht gevraagd bij het opzetten GIS-omgeving voor studenten/onderzoekers

Datasets BAG
#1

Beste mede GEOforum leden,

Ik ben recent afgestudeerd van de studie Built Environment en werk nu als onderzoeker bij het lectoraat Nieuwe Energie in de Stad van Hogeschool Utrecht.
De onderzoeksgroep (de Retrofit Europe Group) waar ik in zit richt zich op de (hoognodige) opschaling van woningrenovaties. We willen de markt helpen de stap te zetten richting data gedreven renoveren.
Door te weten waar wat staat kan bijvoorbeeld de relatie gelegd worden tussen reeds gerealiseerde renovaties en woningen die sterke overeenkomsten vertonen (en de kans dus groot is de kennis van reeds gerealiseerde projecten her te kunnen gebruiken).
Een belangrijk aspect hierin is het gestructureerd kunnen documenteren van veldonderzoek en ervaringsdata.

We verzamelen en genereren momenteel op verschillende manieren data, maar hebben nog geen ecosysteem waarbij we deze data navolgbaar kunnen samenvoegen en op een goede manier (open-source) kunnen delen.
Idealiter zouden we een database willen hebben waarin we alle reeds verzamelde data gelinkt aan een basisregistratie kunnen huisvesten en waar studenten/onderzoekers deze er ook weer makkelijk vanaf kunnen halen.
Studenten faciliteren met een omgeving waarin ze op een laagdrempelige manier waardevolle informatie kunnen ontsluiten kan naar mijn ervaring enorm bijdragen aan de verhoging van het enthousiasme voor het vak onder studenten.

Voor het opzetten van deze omgeving heb ik jullie hulp hard nodig. Dus zou je even met me mee willen denken?

Het idee is een POSTgis database online te krijgen met als basis de BAG (gebouwniveau) zodat studenten/onderzoekers makkelijk een uitknipsel kunnen maken voor hun eigen onderzoek met alle data die zij nodig hebben.
Vervolgens kunnen ze hun resultaten (bijv. bouwtekeningen van een pand of de classificatie vanuit beeldherkenning) weer terugkoppelen naar de database.
De eerste stap hierin is dus het overnemen en actueel houden van de BAG.

Na wat onderzoek kom ik tot het volgende stappenplan:

  • In het nieuwe BAG-extract 2.0 staan alle gegevens van NL (met historie?) en deze is elke 8e van de maand gratis te downloaden.
  • Dit wordt geleverd in een XML bestand. (Dit betekend eigenlijk dat alle gegevens zonder structuur worden geleverd?)
  • Vervolgens is NLExtract een programma/algoritme(?) om hier structuur in te krijgen en deze om te zetten naar een POSTGIS database.
  • De mutaties ten opzichte van vorige levering moet je hier zelf uit weten te halen (of betalen voor de periodieke mutatiebestanden) en die samenvoegen met je bestaande database.
  • Door dit alles te hosten op een Azure omgeving en leveringen van verschillende externe databronnen geautomatiseerd binnen te halen met Apache Airflow kan een low-maintenance continuering gerealiseerd worden.
  • Vervolgens koppelen we alle nieuwe gegevens van studenten op pand/adresniveau op het identificatienummer (want deze wijzigt nooit meer?)

Als bouwkundige met 1 á 2 jaar ervaring met Qgis en Python blijft het soms lastig de do’s en dont’s van de geowereld en basisregistraties te ontdekken en begrijpen.
Alle input is welkom.

Timo

#2

Timo,

Als je een omgeving wilt maken om jouw studenten te faciliteren om met de BAG als basis verder analyses te doen kunnen jouw studenten ook gebruik maken van de bestaande WFS diensten van PDOK. Daarmee kan je bv in QGIS van een (niet te groot) onderzoeksgebied gebouwen de (geometrische en administratieve) gegevens downloaden, om verder onderzoek mee te doen.

Dan blijft nog over dat je het resultaat ergens wilt opslaan. Als je ergens een Postgresql database hebt draaien, Kan je vanuit QGIS ook data opslaan in die database. Je zal wel goed moeten nadenken over de organisatie daarvan: wie heeft welke rechten, wie mag wat waar opslaan etc.

Groet, Arendjan

#3

Hallo Timo,

Ben het eens met Arendjan: Ik zou de studenten dat wat ze nodig hebben uit de verschillende diensten (WFS) laten trekken (tenzij ze historische gegevens van de BAG nodig hebben: dan is de download wel noodzakelijk - die zitten voor zover ik weet niet in de WFS). Dat zou je eventueel kunnen faciliteren door een back-end hiervoor op te zetten, maar het makkelijkste is om dat via QGis te doen. Om een redelijk actuele kopie van de BAG te beheren haal je jezelf wel behoorlijk veel werk op de hals lijkt mij. Bovendien gaat het nogal in tegen het enkelvoudige opslag - meervoudig gebruik principe :wink:

Verder zou ik dan een PostGis database voor ze klaarzetten. Ik weet niet of PostGres multi-tenant databases aan kan (mijn ervaring met PostGis dateert alweer van een flink aatal jaren terug), maar als dat kan zou het ideaal zijn, met een GeoServer ervoor ter raadpleging en zo. Elke student kan dan een tenant zijn met z’n eigen database - die je na afloop ook weer kunt opruimen. Maakt rechten-beheer een stuk eenvoudiger lijkt mij.

#4

Ondanks dat ik een van de ontwikkelaars van NLExtract ben, denk ik, ook in kader API-strategie/stimulering om van APIs voor BAG gebruik te maken. o.a. WFS, er zijn er meer. Zeker voor kleine gebieden, hoewel daar toch een terugkerend probleem van limieten (maximaal aantal objecten) is.

Ik zie eigenlijk voor het doen van projecten en delen van resultaten in data en kaarten, hier nooit GeoNode genoemd. Zit oa GeoServer en PostgreSQL achter. Maar zal hier weer eens promoten, docs: What is GeoNode — GeoNode master documentation

IHE in Delft heeft veel ervaring met GeoNode, voor internationale projecten. Zou leuk zijn als GeoNode in Nederland ook wat meer gebruikt en bekend wordt. Je zou bij IHE eens kunnen buurten, bijv via @jvdkwast.

#5

:flushed: ik had er ook nog nooit van gehoord … ziet er wel interessant uit!

#6

Bedankt voor jullie reacties!
@ArendjanvdNeut @sbjager @Just_OSGeo
Ik heb jullie tips doorgenomen, alles bekeken en kom tot het volgende:

De onderzoeken die we doen verschillen enorm op schaalniveau.
Zo zijn er studenten geweest die op gebouwniveau met de 3DBAG van de tu/d gepoogd hebben het BIPV potentiëel te inventariseren, maar ook studenten die voor alle woningen in NL verschillende woningtypologieën gingen classificeren.
Ook loopt bijv. de WFS van het kadaster en die van de tu/d niet gelijk qua tijdlijn.
Hierdoor denk ik niet dat de BAG WFS het ideale hulpmiddel is.

Die eerder genoemde 3DBAG wordt denk ik ook de basisversie BAG pand die we gaan gebruiken.
Hierdoor kunnen we op verschillende LOD’s onderzoek doen.
Bijkomend voordeel: deze wordt volgens mij 2 a 3 keer per jaar bijgewerkt, dat is nog wel te doen.
Bijkomend nadeel: ik heb alsnog de normale bag nodig voor de adressen/verblijfsobjecten.

Met deze basislagen kunnen we voor elk onderzoek dan aan de slag in de volgende vorm:

  • Studenten/onderzoekers kijken in een soort van catalogus (bijv. GeoNode) welke informatie zij nodig hebben voor hun onderzoek.
  • Vervolgens kan met een query de gewenste data opgehaald worden via Geoserver uit een PostGIS database.
  • De resultaten worden aan de database toegevoegd als extra tabel met een relatie op identificatie.
    Dus elk onderzoek heeft zijn eigen tabel met resultaten die te koppelen zijn aan een pand, adres, etc.
    Hierdoor wordt de geometrie ook maar 1x opgeslagen en bijgehouden.
    Ook is de rechtenkwestie dan wat minder lastig: iedereen kan overal lezen, en alleen op zijn of haar eigen onderzoek schrijven.

Als ik de 3DBAG of BAG adressen vervolgens in de database vervang met een nieuwe versie, dan blijft het werk van de studenten behouden en hoef ik geen mutaties te verwerken.

Ik ben aan het kijken of ik wat HBO-ICT’ers kan mobiliseren om mij met de realisatie te helpen.
In de tussentijd ga ik dit plan maar eens beter uitwerken.
Wellicht kunnen jullie nog feedback geven op bovenstaande.

Timo

#7

Hangt er van af: als er een pandidentificatie meegenomen word in die 3dbag, dan heb je voor de adressen alleen de VBO’s nodig, dat zou weer wat schelen.

Verder zou ik je willen aanraden om de studenten wel bekend te maken met het georegister, pdok, data.overheid.nl, owms enzovoorts. Als je het inricht zoals je voorstelt, dan scherm je die bronnen enigszins af van de studenten (althans: zo lijkt het hier vandaan :wink: ). En het word steeds belangrijker dat men dit soort informatiebronnen kan gebruiken, dus het zou naar mijn mening een goed idee zijn om de studenten in ieder geval kennis te laten maken met de bronnen, waar de gegevens vandaan komen, wie er verantwoordelijk voor is, waar je ze wel en niet (!) voor kunt gebruiken, dat je je niet moet blind staren op het feit dat je tot op nanometer nivo kunt inzoomen - maar dat er een schaalnivo aan de ruimtelijke data hangt (zowel aan de inwinningskant als aan het doel van de data), dat soort algemene zaken. En dat de data ook niet foutloos is :smiley:

1 like
#8

Die worden als het goed is meegenomen! Dus dat scheelt inderdaad.

Fijn dat je dit aankaart, ik sluit me volledig bij je aan. We willen ze al deze aspecten meegeven in het onderwijs, maar ze ook de hoofdpijn van het importeren en onderhouden van alle bronnen ontnemen. Ook is het natuurlijk onlogisch alle studenten apart hun eigen omgeving in te laten richten. GIS is een klein, maar essentieel onderdeel van de basisvakken, waarna ze er zelf voor kunnen kiezen zich hierin te specialiseren. Dat laatste komt relatief weinig voor, een dergelijke omgeving kan in mijn beeld enorm bijdragen aan het vergroten van het enthousiasme voor ruimtelijke data.

#9

Dag,
Een ander open source platform is GC2. Ik heb er geen ervaring mee, maar we gaan wel mee experimenteren. Er is een docker installatie beschikbaar.

GeoCloud2 is a platform for building spatial data infrastructure and deploying browser based GIS
zie GitHub - mapcentia/geocloud2: The GC2 framework helps you build a spatial data infrastructure quickly and easily. Powered using open source components for a scalable solution focused on freedom rather than fees.