Beste forumgebruikers. Een onpopulaire mening op dit forum voor dataexperts/data engineers, maar:
De basisdatasets in Nederland zijn verschrikkelijk slecht ontsloten. Ik zal wat voorbeelden noemen:
De BAG bulkdownload is een mix van verschillende GML-formats en is niet door een regulier GIS programma in te lezen. De beloofde geopackage blijft uit, de klantenservice van het kadaster is dramatisch. Zelfs voor de WFS is een speciale plugin nodig in Qgis om dee goed in te lezen
Ruimtelijke plannen bevat belachelijk lange velden en een beschrijving om de data zo te filteren dat deze overeenkomt met wat je op ruimtelijke plannen ziet ontbreekt
In de bulkdownload van Ruimtelijke plannen (iig dubbelbestemmingen) zitten nu plotseling extra polygonen (de boundingboxes) overheen.
De kadastrale perceelsgegevens (bulk download) zitten vol met geometriefouten
En zo kan ik er nog een hele, hele lange lijst van maken. Als adviseur vraag ik mij af: Waarom? Waarom kan het CBS haar data zo ontsluiten dat het op meerdere manieren rechtsreeks in GIS-programmaâs is in te laden, maar moet je voor data van het kadaster (de grootste âboosdoenerâ in de lijst hierboven) een data engineer inhuren of de openbare data inkopen bij commerciĂ«le partijen die van de rommel iets werkbaars hebben weten te maken?
Ik heb deze vraag, meermaals en op verschillende manieren, aan het kadaster gesteld, maar ik krijg geen antwoord. Mischien kan iemand hier er een licht op schijnen?
Gezien er veel vragen in je post staan, en die ook veel vraag doet oproepen, eens kijken of we dit kunnen beantwoorden.
Voor de goede orde, het is voor veel van die vragen niet aan mij om daar antwoord op te geven. Maar ik neem aan dat de âproduct-ownersâ meelezen en hun reactie (uiteindelijk) kunnen geven.
Dus het is denk ik goed om een aantal dingen eerste verder helder te krijgen om je vragen beter te kunnen beantwoorden:
Kan je een voorbeeld geven? Ik ben bekent met de QGIS plugin voor WMS/WFS, maar niet met een mogelijk BAG âbulkdownloadâ inlaad plugin
heb je ook hier een voorbeeld van?
Dit is een slechte zaak dat er niet voldoende/goed antwoord gegeven wordt op de vragen die jij hebt gesteld. Hopelijk dat we daar op deze manier wel beter gehoor aan kunnen geven.
(disclaimer: ik ken jou vragen niet, ik heb geen toegang tot de KCC, enz⊠dus je zal je hier op het geoforum opnieuw moeten stellen)
Ik neem aan dat jij ook begrijpt dat niet 1 iemand hier direct antwoord op kan geven en dat er zeker enige tijd over zal gaan tot dat âallesâ is beantwoord.
De vragen die ik (en mijn collegaâs bij PDOK) kan beantwoorden zijn van âtechnische aardâ, vandaar (voor nu) mijn interesse in je opmerking naar voorbeelden.
disclaimer:
Om ook aan te geven als dit topic/reactie/enz⊠lijkt te escaleren dan sluit ik het, dus het lijkt mij goed het allemaal netjes te houden.
Als productowner van ondermeer LV Ruimtelijkeplannen.nl zal ik in gaan op enkele van jouw vragen welke op mijn voorziening betrekking hebben.
Je stelt een vraag over de lange namen. Heeft deze betrekking op een van de services van ruimtelijkeplannen.nl (herkenbaar aan ruimtelijkeplannen.nl in de url) of van een van de services van PDOK? Het klopt in ieder geval dat er regelmatig lange namen zijn. Dat is het gevolg van de complexiteit van de gegevens, de RO-standaarden maar soms ook vanwege ander verplichtingen, bv vanuit INSPIRE. Ik wil jou graag verder helpen, wellicht kun je anders nog wat details aanleveren? Dat mag via het contactformulier ( https://formulieren.kadaster.nl/contact_ruimtelijkeplannen_nl ) van ons KCC Ruimtelijkeplannen.nl ter attentie van mij, vermeld dan in ieder geval jouw naam en mailadres. Ik neem dan contact met jou op.
Wat betreft de boundingboxes in de dubbelbestemmingen van de bulk: betreft dit de atomfeed welke via PDOK beschikbaar wordt gesteld? Ook deze vraag zal ik volgende week nog even uitzoeken. Wellicht kun je ook wat meer info aanleveren hoe en sinds wanneer je hebt opgemerkt dat de boundingboxes er ineens overheen liggen.
Tot slot ben ik benieuwd op welke wijze je contact hebt gezocht met Kadaster. Weliswaar ben je daar nu niet mee geholpen maar wellicht kan ik wel aangeven waar het niet goed is gegaan of waar wellicht nig een en ander anders zou moeten.
Met vriendelijke groet,
Merijn Kerlen
Beste Martijn,
Ik heb jouw bericht gelezen en ik vind jouw ervaring met het kadaster vervelend. Graag wil ik in contact met jou komen om eea op te helderen en daarmee jou te helpen.
Ik heb geen gegevens van jou en daarom vraag ik jou of jij mij via e-mail wil contacten.
bedankt voor je antwoord. Voor mij is er eigenlijk maar 1 vraag: Waarom worden dit soort datasets niet in een bestandsvorm/wijze ontsloten waar gis-programmaâs rechtstreeks mee overweg kunnen en zonder basisfouten zoals geometriefouten.
Verder:
Plugin voor Qgis: Dit stond in een antwoord van het KCC op de vraag hoe je aan een landelijke dataset moet komen. In de vraag stond terloops dat de wfs niet geschikt is voor een bulkdownload en dat er bij gebruik in Qgis met de standaard wfs-optie in Qgis nog wel eens panden ontbreken.
Geometriefouten: Ik heb de geometrieën in Qgis gerepareerd (dat lukte in FME niet eens) en daarna de brondata weggegooid om ruimte besparen. Ik kan niet heel snel een voorbeeld tevoorschijn toveren
Mijn opmerkingen hebben betrekking op de bulkdownload van PDOK. Sommige velden hierin hebben meer dan 500 tekens. Ik heb de bulkdownlaod gisteren gedaan en tot nu toe alleen de dubbelbestemmingen bekeken. Ik zal het contactformulier invullen.
Ik neem aan dat je dan doelt op de âextendedâ+CityGML/IMGEO/IMRO2012/enz⊠Ik kan je hier alleen mijn persoonlijke mening/perspectief geven (dus als andere toevoegingen hebben/verbeter punten, vul aan of verbeter).
Dus vanuit mijn perspectief is dit een âprobleemâ omdat deze modellen ondertussen vrij âoudâ zijn. Ze zijn bedacht/ontworpen soms meer dan 10 jaar geleden⊠en de wereld ziet er nu ondertussen anders uit, dus ook in de manier waarin we verwachten te werken met (geo)data. Dit sluit niet meer âgoedâ aan met de huidige realiteit. Het goede nieuws is dat dit probleem wel bekend/onderkend is door veel van deze bronhouders/landelijkevoorzieningen/enz⊠en vanuit PDOK zijn we druk bezig met de voorbereidingen om weer âaansluitingâ te zoeken m.b.t. hoe data op een makkelijke manier ontsloten kan worden.
Tja, âbasisfoutenâ⊠dit is âhelaasâ een lastig onderwerp en is niet altijd zo zwart-wit. Vanuit ons (PDOK) perspectief doen wij âniksâ met de geometry ook al is deze âfoutâ. Omdat dit niet onze taak/verantwoordelijkheid is, gezien wij dan âofficieleâ data zitten manipuleren. M.a.w. als wij âzomaarâ data wijzigen (ook al is het om te verbeteren) dan hebben wij (PDOK) iets uit te leggenâŠ
Dus wat is dan wel de âplekâ om dit soort âfoutenâ te fixen, de LV o.i.d., de bronhouder? Met de huidige manier van âwerkenâ ligt de verantwoordelijkheid bij de bronhouder (een gemeente/provincie, âcorrect me if Iâm wrongâ) dit maakt het (helaas?) gefragmenteerd aanzien niet iedere gemeente werkt met dezelfde tools, en dat als je fouten tegenkomt uit moet zoeken wie de bronhouders en die daar op moet wijzen. We hebben voor de BAG/BRT/BGT hier de terugmeldvoorzien waar dit gemeld kan worden:
en bijvoorbeeld voor de BRT/BGT
Om de implicatie m.b.t. datafouten helder te krijgen: Als wij(PDOK, of iemand anders âverderâ in de keten) de geometrien zitten te herstellen betekent dat de brondhouder altijd âkapotteâ geometrien blijft aanleveren i.p.v. dat zijn (als bronhouder) deze stap aan het begin van de keten herstellen/verbeteren.
Dus samengevat:
bestandvorm en ontsluiting naar applicaties: Historisch dingetje en âweâ zijn al bezig dit te verbeteren in samenwerking met Kadaster/Geonovum/BZK/LVâs/enzâŠ
datafouten: Deze verantwoordelijkheid ligt (volgens mijâŠ) bij de bronhouder, en fouten kunnen ook dan (nu) alleen hersteld worden door de betreffende bronhouder te direct te informeren of via bijv. verbeterdekaart.nl
Dit zou geen terloopse melding moeten zijn maar een dikgedrukte met een rode rand er omheen
Dat de plugin dan gebouwen laat ontbreken komt omdat WFS maar een beperkte hoeveelheid doorlaat. Dat ligt niet aan de plugin, je haalt gewoon niet meer gegevens op dan het maximaal aantal objecten dat de WFS service toestaat.
Excuses, ik was niet duidelijk. de WFS heeft inderdaad beperkingen, maar ook als je dara rekening mee houdt door op een klein gebied (bv 500 panden) inzoomd kunnen er met de standaard wfs-applicatie binnen Qgis panden ontbreken. Daarom schijnt er een speciale plugin gemaakt te zijn (ik heb die nog niet bekeken). Ik vind dit een beetje vreemd, zeker omdat het niet iets is wat algemeen bekend is.
Bedankt voor het uitgebreide antwoord, dat maakt het voor mij al iets duidelijker. Wat geometriefouten betreft zaten er in ieder geval zelfkruisende polygonen in, ik neem aan dat er geen discussie is over of dit een geometriefout is of niet. Bij de volgende keer dat ik de analyse moet uitvoeren zal ik de dataset weer downloaden en hier wat voorbeelden zetten.
Hallo Martijn,
De rechthoeken in de dubbelbestemmingen kan ik niet reproduceren. Mogelijk dat er bij het verwerken in de GIS-applicatie (QGis) iets is misgegaan, mogelijk een geheugenprobleem. Oplossing kan bieden om de GML met ogr2ogr om te zetten naar een Geopackage (commando: ogr2ogr -f GPKG dubbelbestemming.gpkg dubbelbestemming.gml). Geopackages in QGis werken sowieso sneller dan de oorspronkelijke GMLâs. Ogr2ogr is meegeleverd met QGis, zie bestand OSGeo4W.bat in QGis-folder. De gpkg-bestanden zijn ca 2/3 van het oorspronkelijke gml-bestand.
Wat betreft de lange velden, deze hebben betrekking op de velden verwijzingNaar zoals verwijzingenNaarIllustraties, verwijzingenNaarTekst en verwijzingNaarExternPlan. De inhoud van deze velden is afhankelijk van diverse factoren; RO-standaarden, gebruikte url bronhouder (gemeente, provincie of Rijk) in combinatie met Ruimtelijkeplannen.nl, verwerking door bronhouder, etc. Ook zijn er situaties dat er in 1 veld meerdere verwijzingen zijn opgenomen.
Hieraan kunnen wij niets doen, dit is de wijze waarop Ruimtelijkeplannen.nl aan de INSPIRE-verplichtingen moet voldoen (Europese wet- en regelgeving).
Wel zijn er enkele alternatieven;
Omzetten naar Geopackages, daarmee kan QGis betere en sneller overweg.
Ruimtelijkeplannen.nl beschikt over een eigen WFS (app:Besluitgebied) waarbij je altijd over de actuele situatie beschikt,. Echter ook deze bevat de lange veldgegevens maar is makelijker te omzeilen als je deze velden niet nodig hebt. De bulkbestanden worden namelijk maar 1x per maand ververst. Let er bij de WFS even op dat het op dit moment nog onduidelijk is wat hiermee gaat gebeuren bij inwerking treden Omgevingswet. Deze Omgevingswet staat voorlopig gepland voor 1 januari aanstaande. Let wel even op dat de bevragingen zijn beschermd tot maximaal 12.500 features per request.
Vanuit het DSO (Digitaal Stelsel Omgevingswet) hebben we een API voor de ruimtelijke plannen ontwikkeld; https://aandeslagmetdeomgevingswet.nl/ontwikkelaarsportaal/api-register/ Ruimtelijke plannen opvragen - Ontwikkelaarsportaal
