BAG WFS weergave (panden) zonder maximum aantal #records (in QGIS)

Datasets BAG
#1

In QGIS benader ik voor een onderzoek naar dynamiek in wederopbouwgebieden en beschermde gezichten de WFS van de BAG (panden), maar ondanks het aanpassen van het maximum aantal requests krijg ik slechts een beperkt deel in beeld. Hoe kan ik dit omzeilen, zodat ik altijd alle BAG-panden uit de WFS direct kan gebruiken, zonder een (onbekend) deel te missen?

Een alternatief is het downloaden van de gegevens van NL Extract, maar ik maak met grote voorkeur rechtstreeks gebruik van de WFS-service als het maximum opgeheven of aangepast kan worden.

#2

Voor betrouwbaarheid en performance zou ik in zo’n geval altijd met de gedownloade data werken.
(Een WFS is in mijn ogen geen vervanger van een “shape file”.)

1 like
#3

Helaas is er voor de BAG niet dezelfde downloadfunctionaliteit zoals die voor de BRK wel ingericht is, het zou mooi zijn als dat er voor beide wel is.

#4

Ok. Komt ie:
Je kan de BAG extract downloaden. Daar schijn je tegenwoordig een Kadasteraccount voor nodig te hebben? Dan krijg je een enorm aantal xml bestanden waar QGIS niets mee kan. Dus moet je jezelf python gaan aanleren en de zeer spaarzaam gebruikte open data tool (dus naast de documentatie van NLextract vind je er weinig over) van nlextract gebruiken.

Een andere optie is dat je FME download, met trial licentie, en dan probeert uit te vogelen wel schema (xsd) er bij de xml’s hoort (ook hier ontbreekt een (vindbare?!?) beschrijving van wat er in de bestanden zit volledig) en dan een kruisje slaat en willekeurig wat settings aanpast in de hoop dat het werkt

optie 3 is de BAG2.0 downloaden. Daar is al helemaal geen beschrijving/schema/xsd voor voorhanden, dus dat is eigenlijk geen optie

Optie 4 is betalen voor gratis open data en de data afnemen bij NL-extract

Optie 5 is wachten tot de BAG zoals al meer dan een jaar beloofd als geopackage aangeboden wordt

optie 6 is proberen de klantenservice van het Kadaster te bereiken. Als dat lukt: Super vriendelijke mensen die j e kunnen uitleggen dat het allemaal niet makkelijk is, maar je verder niet kunnen helpen.

Als je de WFS ergens ook maar voor gebruikt: Zelfs bij kleine aantallen is de WFS incompleet en zitten er dubbellingen in de data.

Succes en sterkte.

Laat je het weten hoe het gelukt is?

1 like
#5

Hoi Michiel,

ik begrijp je frustratie. Je eerste optie, inlezen met NLExtract, vond ik met de handleiding best te doen. Maak er een dag voor vrij, oefen eerst op een kleine dataset en lees daarna heel Nederland in in een PostgreSQL database. Daar kun je met QGIS direct op werken, of je maakt exports naar bijvoorbeeld geopackage-bestanden.

https://docs.nlextract.nl/en/latest/bagextract.html

Succes!
Raymond

PS En je hoeft geen regel Python te programmeren!

1 like
#6

Dit vraagt om een reactie vanuit het Kadaster: Ik hoop dat ik daarmee wat frustratie kan wegnemen.

De reguliere manier om aan een BAG extract te komen is inderdaad via een Mijn Kadaster account. Er zijn echter andere kanalen om aan een extract te komen. Gebruikers mogen namelijk doen wat ze willen met een BAG extract. Het klopt inderdaad dat BAG extract niet voor alle toepassingen een handig formaat is.

Informatie over BAG 2.0 extracten is te vinden op BAG 2.0 Extract gebruiken? Download de bestanden hier - Kadaster.nl zakelijk. Bij de vraag: Welke documentatie over het BAG 2.0 extract is beschikbaar? zijnspecificaties BAG 2.0 Extract Koppelvlak - Kadaster.nl zakelijk en xsd’s: Schema's van het Kadaster - Developer portaal te vinden.

Het afnemen van de BAG via andere partijen dan het Kadaster vanwege een specifieke behoefte is inderdaad ook altijd een optie. Als Kadaster kunnen we vanuit onze rol als beheerder van de LV BAG niet elke (eind)gebruiker volledig bedienen. Een overzicht van de BAG diensten is overigens te vinden in de beslisboom. https://www.kadaster.nl/-/beslisboom-bag-2.0-producten

In de beslisboom is ook te zien dat we in de toekomst de BAG inderdaad als Geopackage gaan aanbieden. Het klopt dat het inderdaad nog even wachten is.

Goed om te horen dat de medewerkers van het KCC erg vriendelijk zijn. Soms is het inderdaad helaas lastig om een concrete klantbehoefte vanuit het Kadaster in te kunnen vullen.

De WFS bevat inderdaad niet alle BAG data en is daarom niet in alle situaties geschikt voor gebruikers.

1 like
#7

Beste Pieter,

Bedankt voor de reactie. Op zichzelf is de documentatie best lastig te vinden en/of onduidelijk. Zo had ik de xsd’s wel gevonden, maar uit de website is het niet duidelijk of deze bij de 2.0 versie, of bij de oudere versie hoorde. Documentatie bij de xsd’s ontbrak (ik heb het niet gevonden in elk geval). Waarom niet alle linkjes bundelen op 1 pagina waarbij duidelijk is wat waarbij hoort? Over dat laatste gesproken:

Ik heb nu een half uur door de documentatie gebladerd. Als niet volledig ingewijde in de wereld van het kadaster zegt een deel van de termen (imbag?) mij niets. Ik kan ook helemaal niets afleiden uit de benaming van de xsd’s. Kan je mij bijvoorbeeld vertellen welk schema ik moet gebruiken als ik de bagpanden uit 9999PND08032021 wil benaderen?

#8

Mooi dat al een aantal gereageerd hebben, alleen is @BBroex helaas nog niet met zijn vraag geholpen.
Wat denk ik wel zo is dat APIs niet bedoeld zijn voor landelijke download (tenzij het weer download-APIs zijn).

Ik ben een van de ontwikkelaars van NLExtract. Ik spreek denk ik ook namens bijna 30 code-bijdragers die, meestal in hun vrije tijd, afgelopen 12 jaar hebben bijgedragen. Gelukkig heeft @raymondnijssen een link gegeven. Ik wil toch nog iets zeggen over de andere opties:

Optie 1: “zeer spaarzaam gebruikte open data tool” . Ik ken andere statistieken uit de praktijk: al meer dan 10 jaar gebruiken heel veel organisaties, waaronder landelijke overheden academia (TUD bijv) , NLExtract naar tevredenheid. Dat zijn veelal interne processen, dus hoor je niet over. Wat is veel? Als je een Open Source tool voor de BAG en andere landelijke datasets zoekt, is NLExtract leidend. En je hoeft idd geen Python te kunnen programmeren. De “motor” is robust. Documentatie en “Installers” zou qua bijdragen erg helpen.

Update: aan de nieuwste versie NLExtract voor BAG v2 wordt gewerkt. Met behulp van Docker en laatste GDAL is e.e.a. binnen minuut geĂŻnstalleerd en de BAG in uurtje ingelezen in PostGIS. En nog eens helemaal gratis ook! Maar een sponsor bijdrage is welkom.

Optie 4: “betalen voor gratis open data”.

  • je doelt op geotoko.nl, dit staat los van “NL-extract”
  • er wordt verwerkte en verrijkte (BAG) data geleverd: adressen CSVs, algoritmisch afgeleide woningtypering (niet in BAG), CBS verrijking Wijken, Buurten, Gemeenten, Prov. Dat is vergelijkbaar met een resultaat uit geo-analyse, en mag m.i. iets kosten.
  • als ik dan toch iets over kosten mag zeggen: EUR 39,- voor volledige 9.4 miljoen CSV adressenset NL is betaalbaar, t.o.v. uren die je met welke BAG-tool dan ook zou maken.

Naar alle eerlijkheid is er nog Optie 7:

  • Geon BEC tool. Las ergens: “die levert alleen Shapes”, maar m.i. tja, na betaling, ook ook PostGIS.
1 like
#9

Dank voor deze reactie,

Wat de API-betreft: ook hier schiet de documentatie te kort. Toen ik hem aan het uitplaatsen was stond er iig nergens beschreven dat er max 20 features per request op te vragen zijn (waren?)

Wat betreft het zeldzaam gebruik: Ik bedoelde daarmee niet zo zeer de BAG-tol, maar de etl-tool die erachter zit. Van de docker optie word ik erg blij trouwens

Wat het betalen betreft: Ik heb niet zo zeer moeite met de bedragen en het was ook zeker niet bedoeld als kritiek op partijen als Goetoko. Het gaat me erom dat het niet zo zou moeten zijn dat een basisregistratie op zo’n wijze ontsloten is dat mensen hun toevlucht moeten zoeken tot partijen die er helemaal ingedoken zijn om uit te zoeken wat nu precies wat is en hoe het werkt.

Maar wat je reactie en dit forum helemaal duidelijk maakt: er is héél veel vraag naar een levering van de BAG (en andere kadaster datasets) in een bruikbaarder format. Waarom moeten al die partijen ca. een dag steken in het uitzoeken van een tool van een derde partij werkt en doet het kadaster dit niet gewoon zelf om de data vervolgens gewoon in dat bruikbare format te ontsluiten?

#10

Goede vragen. De antwoorden op het “waarom zo ingewikkeld?” zijn niet zo simpel en zullen van de diverse betrokkenen in de productie ketens voor basisregistraties moeten komen.

Hier bij PDOK is het “eindstation” waar de datasets worden aan/afgeleverd. Helaas wordt PDOK erop aangekeken als e.e.a. “lastig” in elkaar zit. In tegenstelling tot bijv OpenStreetMap is e.e.a. ook het gevolg van een top-down ontwerp-proces met daarin een maximaal aantal opties openhoudend, ook bij de standaardisatie organisaties als OGC. “Design by committee” zorgt meestal voor complexe formaten. Leverformaten dienen ook niet-technologie gebonden te zijn. Ik ben eigenlijk niet degene die dit allemaal moet verwoorden.

Dit alles is aan het veranderen: bij OGC en bij bijv Geonovum/Kadaster. Je kunt daarin zelf meedoen. Dus een meer bottom-up proces. Regelmatig komen hier uitnodigingen voorbij.

In ieder geval zijn we m.i. als Nederland in de wereld een van de verst (het verst?) gevorderde landen als het om vrijgeven van geodata door de overheid gaat. Bijv in Duitsland en UK is er lang niet zoveel vrije data.

Maar nog steeds is onze @BBroex niet geholpen, sorry Bart!

2 likes
#11

Maar juist bij ingewikkelde oplossingen is documentatie essentieel. Ik denk wel dat dat wat beter kan, zoals boven aangegeven. Ik ben bijvoorbeeld nog steeds op zoek naar welke xsd bij de bagpanden hoort. Daarnaast is het in mijn ogen niet helemaal eerlijk om het oplossen bij de gebruiker neer te leggen. Daarmee zou @BBroex pas echt geholpen zijn.

#12

Wat @Just_OSGeo ook aangeeft, laten we weer on-topic gaan.

Het beste open je een nieuw topic voor je vraag welke XSD-bestanden nodig zijn en waar te vinden. Wellicht kijk je eerst nog even in de andere topics over de BAG, het is een hot item momenteel.

#13

Die is toch in de allereerste reactie al beantwoord? De WFS is niet geschikt voor het doel van bbroex. Eigenlijk is de WFS al niet meer gechikt als je meer dan een paar panden tegelijk wil opvragen.

De discussie erna gaat over de andere opties en past dan volgens mij prima bij het topic?

#14

Dank voor alle reacties, ook voor de zijwegen in de discussie. Ik heb wel wat opties gebruikt in QGIS waarmee ik een redelijke hoeveelheid panden (via de WFS) sneller kan opvragen, in veel gevallen (relatief kleine beschermde gezichten of wederopbouwgebieden) direct al compleet en met een geschikte topografische achtergrond (genoeg keus) valt ook op waar panden ontbreken (met inzoomen en verversen te herstellen). Door de panden te selecteren krijg ik de gegevens per gebied toch wel compleet - enig geduld is wel nodig. Een geopackage downloaden op basis van een aan te geven gebied (zoals, als gml, voor BGT en DKK wel mogelijk is) zou ideaal zijn. @raymondnijssen, ik neem apart nog contact met je op.

#15

Off-topic en/of shameless plug?

Kijk anders ook naar de volgende De Grote Geo Show, “GIS met het Toetsenbord” Special op do 8 april 19:00.

Ik ga daar in een live-demo challenge laten zien hoe je
in 5 minuten zowel de BAG (v2, kleine Gemeente) download, Panden daarin naar GeoPackage omzet, en deze in QGIS toont.

Binnenkort ook hier grotere aankondiging, maar link is altijd https://tv.osgeo.nl

2 likes