Het nationaal georegister geeft de optie om bijvoorbeeld alle BAG panden down te loaden, of in ieder geval suggereert dat die optie er is. De gegeven linkt levert in alle formats echter maar 1000 features op. Ik blijf hameren op een fatsoenlijke bulk download optie (in en bruikbaar format) van de data zoals deze in de BAG zit.
Beste @Michiel1,
Voor de download van BAG adressen, zie hier: https://geodata.nationaalgeoregister.nl/inspireadressen/atom/inspireadressen.xml
Zie ook de discussie hier over die limiet: BAG WFS met limiet van 10000 - #4 door antonbakker - BAG - Geoforum . De WFS is opgeschaald naar 50.000 (maar is dus niet bedoeld voor bulkdownload).
Vriendelijke groet,
Roel van den Berg
Beste Roel,
Die download is onhandelbaar. De documentatie is verre van compleet bijvoorbeeld.
Wat de limiet van 50.000 betreft: de limiet is hier (de oude?) 1000. Maar het is erg verwarrend/frustrerend dat er wel ‘download alles’ bij staat. Kijk maar in de link.
Beste Michiel,
Welke informatie zoek je? De gml is hier: https://geodata.nationaalgeoregister.nl/inspireadressen/extract/inspireadressen.zip te downloaden.
Er zijn verschillende tools (zoek bijvoorbeeld op op “convert large gml to geopackage”) waarmee je gml kan omzetten naar geopackage. Of desgewenst postgis. Zie ook deze discussie.
Beste Roel,
De informatie die ik zoek is:
a. een goede beschrijving van wat er in de XML’s zit/waar ze voor staan. van PND kan ik zelf nog wel bedenken dat het de panden zijn, maar welke ID aan welke ID gematch moet/kan worden is een eindeloze kwestie van proberen/ trial and error (vooral het laatste)
b. Zaken als: Er schijn een aparte dataset te zijn met de panden met absurde geometrën (heel Nederland bijvoorbeeld) die nog in de dataset zitten. Deze data wordt wel meegeleverd in de downlaod, de lijst met foute panden niet
c. Zaken als verschillen in kolommen (aantal voorloopnullen bijvoorbeeld)
d. Geen continue veranderingen in de leveringen. Nu is er iets aan de WPL (woonplaats neem ik aan) xml veranderd waardoor mijn hele model niet meer werkt. Geen idee wat.
e. duidelijke communicatie (zie het voorbeeld van dit topic. Ik werd blij gemaakt met de woorden ‘downlaod alles’, waarna ik maar 1000 feautures krijg)
f. Ik moet zelf maar uitzoeken hoe te bepalen is of een pand nog geldig is?
g. alles wat ik nog vergeten ben
Ik heb mijn eigen fme-model ontwikkeld om met deze download om te gaan (dit kost veel tijd) zodat het geautomatiseerd in mijn workflow opgenomen kan worden. Eigenlijk wil ik, net als iedereen, gewoond de data zoals die in de WFS ontsloten wordt hebben. En dat kan nog steeds hoor, ik kan echt wel om die limiet van 50.000 heen komen. Dat begint steeds verleidelijker te worden.
Ik zal mijn antwoord nog even toelichten. Ik ben een gebruiker van data, geen data-engineer. Ik gebruik bijvoorbeeld de BAG om hoogtemodellen te maken van waterkeringen en te checken of bebouwing geen risico vormt voor waterkeringen (en in nog een paar analyses). De WFS blijkt onbruikbaar want: onbetrouwbaar. Er missen willekeurige panden (elke keer andere). Ook als ik onder de 1000 panden blijf. Dit heb ik al meerdere keren aangegeven op dit forum. Met voorbeelden, zonder respons.
Voor deze geautomatiseerde analyses gebruik ik ook bronnen als:
- Luchtfoto’s
- BGT
- Top10nl
- AHN
- RWS Bathymetrie
- Peilgebieden
Het rijtje bovengenoemde bronnen kost me nog geen 1% van de tijd die de BAG mij kost. Dat kan toch niet zo zijn?!?
Ik zie nu dat uit WPL gerelateerdeWoonplaats.identificatie’’ verdwenen is. ???
Met daarbij de attributen: gerelateerdeWoonplaats.identificatie,tijdvakgeldigheid.einddatumTijdvakGeldigheid
Allereerst, dat je hier in de toekomst niet tegenaanloopt, die atomdownload wordt vervangen naar een nieuwe url. Als die url wordt vervangen, ga je dat hier: Downloads - PDOK vinden
Daar vind je ook de huidige downloadlink: https://geodata.nationaalgeoregister.nl/inspireadressen/atom/inspireadressen.xml en in dat atom record vind je een metadatarecord https://www.nationaalgeoregister.nl/geonetwork/srv/dut/xml.metadata.get?uuid=76091be7-358a-4a44-8182-b4139c96c6a4 . Als je in dat metadata record kijkt zie je dat:
Inhoud en structuur wijken af van de INSPIRE-specificatie. De gehanteerde domeinen zijn conform Nederlands model.
Op het internet zoeken op het BAG datamodel kom ik op: Datamodel - BAG
Daarmee zou het overeen moeten komen.
Daarnaast, zie ook dit antwoord: Blijft extracten.bag.kadaster.nl ook na 11 oktober beschikbaar? - BAG - Geoforum over bag extracten.
Beste Roel,
Dit is een typisch Kadaster antwoord en op het eerste gezicht lijkt het een prima antwoord. Dat is het helaas totaal niet. Wat je hier in de link gegeven hebt is een vrijwel onwerkbare bouwtekening van de BAG. Alsof je ipv rijlessen de bouwtekening van je auto krijgt en zelf maar uit moet zoeken welke brandstof erin moet en hoe je richting aangeeft. Dit op basis van alleen de bouwtekening. Hier staat niets over voorloopnullen en ook na dik 5 minuten klikken zie ik niet welke kolommen van de panden aan welke kolom van de woonplaats gekoppeld kan worden. Ook is hieruit nergens af te leiden hoe je de 'incorrecte panden (e.g. het pand dat heel Nederland beslaat) eruit moet halen. Dit is exact wat ik bedoel met slechte documentatie.
Ook de tips naar open source tools helpen helemaal niets, ten eerste omdat je daar nog steeds een goede documentatie voor nodig hebt (geen van die tools kan ruiken welke kolom aan welke kolom te koppelen is), ten tweede omdat die niet in de workflow passen en ten derde omdat de BAG een allegaartje aan verschillende GML-standaarden is.
Tot slot worden mijn opmerkingen over de onbetrouwbare wfs en de plotselinge (niet terug te vinden) wijziging in de WPL-bestanden genegeerd.
Hoe goed bedoeld dan ook, de eindgebruiker kan niets met een antwoord als dit.
Nogmaals mijn vraag:
- Waarom staat er ‘download alles’ op het nationaal georegister als je vervolgens maar 100 records krijgt.Maak van die 1000 records gewoon alles.
Michiel,
Die download alles tekst heb ik intern een vraag over gesteld en gevraagd of die tekst duidelijker kan.
Groet,
Roel