Bag 2.0 extract download d.m.v soap en login

Datasets BAG
#1

Ik ben bezig om een applicatie die gebruik maakt van Bag extract v1.0 over te zetten naar het Bag 2.0 Extract
In de oude situatie downloadde ik dagelijks de mutaties via de digilevering soap omgeving. De URL om de mutatie zipfile te downloaden kon ik eenvoudig downloaden, de link was publiekelijk beschikbaar.
Bij de Bag 2.0 extract lijkt dat niet meer mogelijk te zijn, en kom ik met de base link + de AfgifteID op de loginpagina van mijn.kadaster uit. Het lukt me hier niet om automatisch in te loggen daar dit een webform is om in te loggen, en er geen onderstreuning is voor Basic of Digest inlog.

De documentatie geeft nog de mogelijkheid om in te loggen met een certificaat, maar ik kan nergens vinden hoe ik zo’n certificaat kan genereren.

Programmatisch downloaden bestanden (BAG) bij Mijn Kadaster met E-herkenning
#2

Beste BramW,

Het uitleveren van abonnementsleveringen van een BAG 2.0 Extract is gewijzigd ten opzichte van het BAG 1.0 Extract. Bij het BAG 1.0 Extract werd het bestand geleverd door middel van een link in de mail. Voor de abonnementsleveringen van het BAG 2.0 Extract zijn er twee mogelijkheden om deze leveringen op te halen.

  1. Binnen Mijn Kadaster wordt, na het bestellen van een BAG 2.0 Extract binnen BAG Bestellen, de optie BAG Bestanden beschikbaar gesteld. Hierbij kunnen de leveringen handmatig worden opgehaald.

  2. Voor het geautomatiseerd ophalen van de leveringen is er een SOAP Service beschikbaar gesteld. Na het bestellen van een abonnement op een BAG 2.0 Extract wordt de autorisatie voor de SOAP Service ingeregeld.
    Er zijn twee mogelijkheden om de abonnementsleveringen op te halen; door middel van username en wachtwoord of door middel van een PKI overheidscertificaat.
    Het username en wachtwoord die gebruikt kunnen worden zijn gelijk aan de inloggegevens van Mijn Kadaster.
    Meer informatie over het PKI overheidscertificaat is terug te vinden op PKIoverheid | Logius

Voor de volledigheid: de eenmalige BAG 2.0 Extracten blijven wij op dezelfde manier uitleveren, door middel van een link in een mail.

Ik hoop dat het duidelijk is hoe de BAG 2.0 Extracten op te halen zijn.
Mochten er nog vragen zijn, dan mogen deze ook gesteld worden via bag@kadaster.nl.

Met vriendelijke groet,
Nathalie Vos

#3

Hallo Nathalie,

Dank. Ik gebruikte voor Bag 1.0 ook de soap service. Hiermee kon ik de link opbouwen om deze te downloaden door gebruik te maken van een anonieme link. De Soap service gaf 4 url’s terug om de link te maken, daarbij zit een URL van het type “Anoniem”. Deze is niet aanwezig bij de Bag 2.0 versie van de request. De URL’s die ik terug kreeg bij 1.0 zijn:
<ns4:BaseURL type=“login”>Inloggen Mijn Kadaster zakelijk</ns4:BaseURL>
<ns4:BaseURL type=“certificaat”>https://service30.kadaster.nl/gds2/download/private</ns4:BaseURL>
<ns4:BaseURL type=“anoniem”>https://service10.kadaster.nl/gds2/download/public</ns4:BaseURL>
<ns4:BaseURL type=“diginetwerk”>https://service30.diginetwerk.kadaster.nl/gds2/download/private</ns4:BaseURL>

Bij 2.0 zijn dat
<ns3:BaseURLSet type=“login”>Inloggen Mijn Kadaster zakelijk</ns3:BaseURLSet>
<ns3:BaseURLSet type=“certificaat”>https://service30.kadaster.nl/gds2/download/productstore</ns3:BaseURLSet>
<ns3:BaseURLSet type=“diginetwerk”>https://service30.diginetwerk.kadaster.nl/gds2/download/productstore</ns3:BaseURLSet>

Wordt de download voor Bag 2.0 ( in de toekomst) ook nog anoniem aangeboden?

Ik heb in het verleden een poging gedaan om een PKI certificaat te verkrijgen. Dit heb ik na 2 maanden van mailen en formulieren per post opsturen opgegeven. Hier leek iets niet goed te gaan waardoor ik geen certificaat kon krijgen. Aangezien de login prima werkte om de soap call te doen om de links te downloaden was het certificaat ook niet nodig.
De login lijk ik niet te kunnen gebruiken bij de download. Ik doe dit door middel van een automatisch proces die niets kan met de inlog pagina van mijn.kadaster.nl en het lijkt erop dat ik op geen enkele andere manier mijn gebruikersnaam en password mee kan geven om in te loggen.

Ik hoop heel erg dat er op een andere manier dan met een certificaat bestanden automatisch te downloaden zijn.

#4

Hallo Bram,

De anonieme links komen niet terug in de abonnementsleveringen van het BAG 2.0 Extract. Deze worden enkel gebruikt voor het uitleveren van eenmalige BAG 2.0 Extracten.
Met het BAG 2.0 Extract zijn de uitleverkanalen voor eenmalige leveringen en abonnementslevering volledig van elkaar gescheiden.

Het is verschillende klanten gelukt om het downloaden van de BAG 2.0 Extract bestanden geautomatiseerd te downloaden. Helaas weet ik niet welke tooling zij gebruikt hebben om dit te realiseren. Als ik het zelf probeer in de browser door de basis URL Inloggen Mijn Kadaster zakelijk aan te vullen met het afgifteID, dan kom ik inderdaad uit op de inlog pagina van Mijn Kadaster.

Ik zal bij het IT team van de BAG navragen of zij een idee hebben hoe de download op te halen zonder uit te komen op de inlogpagina van Mijn Kadaster of dat zij weten hoe de inlog te automatiseren.
Zodra ik meer weet, laat ik het weten.

Met vriendelijke groet,

Nathalie Vos

1 like
#5

Dit gaat me weer een ban en een hoop linkedinprofielbezoekjes vanuit het kadaster opleveren, maar goed: Lees nou wat je schrijft hier. Het Kadaster zou echt eens wat klantvriendelijker moeten worden met het ontsluiten van haar datasets en zich eens moeten realiseren dat zij met hun huidige houding hun afnemers opzadelen met waanzinnig veel werk en frustraties.

3 likes
#6

Beste Bram,

Ter aanvulling op mijn eerdere reactie wil ik graag nog het volgende meegeven.
Aangezien de downloadlinks van BAG 2.0 Extracten niet meer anoniem worden aangeboden, zal hiervoor een aanvullend stukje code in de software ingebouwd moeten worden waarin de autorisatie wordt geregeld.
Navraag leert dat dit met bijvoorbeeld Javacode relatief eenvoudig op te lossen is.

Mochten er nog vragen zijn, dan horen wij dit graag.

Met vriendelijke groet,
Nathalie Vos

#8

Weet iemand of het mogelijk is om met een landelijk abonnement te filteren in/via SOAP aanvraag? Wij willen niet iedere maand heel NL downloaden om vervolgens voor specifieke klanten de BAG extracten te filteren, maar liever direct op aanvraag voor een specifieke gemeente iets uit te lezen.

bvd

#9

Hallo Nathalie,

Het is me gelukt met een simpel python script waarmee ik de login door kan geven. Dank!

#10

Misschien leuk/handig voor anderen om zo’n simpel script hier dan ook even te posten?

(Maar zonder login gegevens natuurlijk!)

1 like
#11

Hallo Bram,

Wij zijn precies tegen hetzelfde probleem aangelopen.
Het ophalen van de beschikbare datasets gaat perfect via de soap dienst.
Wanneer we de data proberen te downloaden blijft hij echter om authenticatie vragen.
Zou jij toe kunnen lichten hoe het jou gelukt is deze door te geven?

Alvast bedankt

#12

Yes
import requests
URL = "https://service10.kadaster.nl/gds2/download/productstore/#afgifteID#
Link = 'Inloggen Mijn Kadaster zakelijk URL
values = {‘user’: ‘login’,
‘password’: ‘password’ ),
‘redirectUrl’: URL,
‘inloggen’: ‘’}
r = requests.post(Link, data=values)

r bevat het zip bestand

3 likes
#13

Top, dat werkt.

Bedankt!

#14

Hoi Allemaal,

Momenteel werk ik aan hetzelfde project. Wij hebben de username/password geregeld via truststore en configuratie.
Voor het downloaden van het zip bestand heb ik de oude url:
https://extracten.bag.kadaster.nl/lvbag/extracten/Nederland dagmutaties/{bestandsnaam}
vervangen door de nieuwe:
Inloggen Mijn Kadaster zakelijk
Wanneer ik nu download is het resultaat een echter een leeg zip bestand.

Kan iemand mij hiermee helpen?

#15

Hi Lindy,

Waarschijnlijk loop je ook tegen de inlog pagina aan. Waarschijnlijk download je de login pagina in plaats van het zip bestand. Als je het zip bestand opent met notepad en je ziet html, dan heb je de login gedownload.
Met het python script kan je een gebruikersnaam en wachtwoord meegeven, dan download je wel het zip bestand.

1 like
#16

Bedankt!

#17

Hoi Teun, zou je misschien kunnen delen hoe je de beschikbare datasets ophaalt? Als ik in Postman https://service10.kadaster.nl/gds2/afgifte/productstore aanroep met mijn Kadaster username en password (Basic Auth) krijg ik ‘Kadaster - Niet geauthenticeerd’. Zelfde melding als ik de url plak in mijn browser en dan mijn credentials intik.

Alvast bedankt!

#18

Hallo,

De foutmelding die wordt gegeven lijkt te maken te hebben met rechten die niet goed staan.
Zou je mij een persoonlijk bericht willen sturen met de inlogcode of klantnummer dat jullie gebruiken? Ik kan daarmee controleren of de rechten van het account goed staan.
Je mag deze gegevens ook mailen naar BAG@kadaster.nl.

Met vriendelijke groet,
Nathalie Vos

Kadaster afdeling BAG

1 like
#19

Wij gebruiken de methode die BramW hierboven postte.

import requests
URL = "https://service10.kadaster.nl/gds2/download/productstore/#afgifteID#
Link = 'Inloggen Mijn Kadaster zakelijk URL
values = {‘user’: ‘login’,
‘password’: ‘password’ ),
‘redirectUrl’: URL,
‘inloggen’: ‘’}
r = requests.post(Link, data=values)

r bevat het zip bestand

Een beetje een omweg, maar het werkt wel.
Je volgt hier dezelfde route als dat je de bestanden handmatig zou ophalen via de website.
Zou het fijn vinden als het Kadaster de officiële route ook zou fixen.

#20

Het script werkt met wat aanpassingen / fixes :smile: Weet iemand of het Kadaster de officiële route al gefixed heeft?

#21

Het is ook mogelijk een nog onofficiĂ«lere route te gebruiken. De “BAG Bestanden” site om handmatig leveringen te downloaden gebruikt op de achtergrond een veel simpelere API die niet met SOAP en certificaten werkt maar gewoon met JSON. Wel moet je nog steeds inloggen met het KadasterTicketId cookie.

Aangezien de BAG verder verspreid mag worden hebben we een simpele mirror hiervan opgezet die helemaal geen authenticatie vereist. De mirror van de dagelijkse mutaties staat op https://bag.b3p.nl/dagmutaties/bestanden.json. De JSON inhoud wijst zich verder vanzelf :wink: Uiteraard kan het Kadaster deze onofficiële API wijzigen waardoor het niet meer werkt dus is er geen garantie qua uptime of iets dergelijks.

De software voor deze mirror is open source dus kan je zelf er ook Ă©Ă©n opzetten, bijvoorbeeld voor standen of maandmutaties van gemeentes. Zie hier de Docker Compose stack. De Java-code om mutaties te downloaden met authenticatie staat hier.