Server timeout BAG-api en max aantal returns (beginner)

Graag, want de samenvatting tot nu toe om de BAG binnen te krijgen:

  • BAG extract gedownload 1000+ XML bestanden. Na bijna een etmaal alleen maar inladen van de XML’s in FME dat afgestopt
  • BAG api heeft een max van 20, staat nergens in de documentatie
  • 's Nachts de WFS maar laten lopen, die is gefaald na 3.5 miljoen features, onbekende fout
  • Tool van geon.nl gedownload. Omzetten duurt lang. Van de 9 shapefiles et panden is er 1 beschadigd. FME weigert de shapes om te zetten naar postgis, geen idee waarom
  • Shapes in Qgis weg gaan schrijven naar postgis: na uren faalt dit op 89% door een ongeldige geometrie.
  • Als ik filter op panden in gebruik staan er wel een aantal heel bijzondere panden in van een minimaal enkele tientallen vierkante kilometers groot.

Ik kan bijna beter handmatig die panden van luchtfoto’s gaan intekenen want nu heb ik het nog niet. Hoe denken jullie dat mensen de BAG gebruiken (serieuze vraag, wanneer heeft XML voordelen)?

Michiel, ik mis NLExtract nog in dit rijtje. Ergens boven zeg je dat je voor NLExtract moet betalen. Dat klopt niet: NLExtract is Open Source en ook nog eens gratis. Kun je in nog geen 2 uur de BAG mee inlezen zonder zelfs de .zips te hoeven uitpakken. Mogelijk bedoel je geotoko.nl. Die bieden idd tegen betaling kant-en-klare PostGIS dumps voor o.a. BAG BGT BRT BRK.

Het runnen van die tool kost misschien 2 uur, maar het inrichten/aanleren niet. De dataset die ik nu heb is wéér niet compleet en ik wordt hier aardig geïrriteerd van. Ik ben geen data-engineer en dat zou ik niet moeten zijn. Net zoals jullie geen meester-monteur zouden moeten hoeven zijn om auto te kunnen rijden. Erg vergelijkbaar.

Tja kan het mij wel voorstellen. We proberen je hier te helpen. Om de vergelijking met auto’s door te zetten: uiteindelijk betalen we voor die auto en om deze te (laten) onderhouden. Dat kan ook een weg voor je zijn: huur mensen uit de Open Source community in die jouw gewenste dataset hoe dan ook opleveren, en dat je die daarna met 1 druk op de knop steeds kan verversen. PDOK en Open Source leveren de ruwe data/bouw-blokken zodat ieder zijn/haar gewenste toepassing op maat kan realiseren. Zo is bijv NLExtract bij aantal overheden als “ETL-motor” naar tevredenheid geintegreerd in specifieke datawarehouse omgevingen met geautomatiseerde “slimme” download vanuit PDOK. Dat is betaald maatwerk geweest.

Dit topic is 180 dagen na het laatste antwoord automatisch gesloten. Nieuwe antwoorden zijn niet meer toegestaan.