BAG Sparql endpoint rate limit

Datasets BAG
#1

Hoi, ik heb een mooie SPARQL query uitgepuzzeld, en die wil ik straks 20.000 keer gaan uitvoeren. Basically load onze accountmanager het adressenbestand van een klant up, en moeten wij dat gaan crossreferencen met het kadaster. Zo’n klant heeft wel eens 20.000 adressen, voor ieder adres 1 of 2 queries.

Ik heb in de response headers gekeken en er staat niets over rate limiting. Kunnen we daar gewoon op gaan hameren en er van uit gaan dat het goed komt? Ik wil het feestje niet verpesten voor andere gebruikers.

Cheers,
Tinco

#2

Nee, er zit geen rate limiting op. Maar als je te veel queries op het SPARQL endpoint af stuurt, gaat het wel plat. Het is heel erg afhankelijk van je queries hoe snel het te veel is.

Als je langdurig de service overbelast, loop je het risico dat je een tijdelijke IP ban krijgt om de service te laten herstellen.

Aan overbelasting heb je zelf ook niks, want dan krijg je geen resultaat meer op je queries. Ben bang dat je met trial-and-error uit zal moeten vinden wat nog goed gaat.

Als je dit soort hoeveelheden regelmatig wil gaan verwerken, zou je toch de REST API eens moeten overwegen. Daarvan garanderen we wel een zekere performance.

#3

Ik zet er wel een sleep in van 200ms, dat is acceptabel snel voor ons en vallen we vast niet mensen lastig.

1 like
#4

@tinco we hebben net naast het algemene SPARQL endpoint het endpoint https://bag.basisregistraties.overheid.nl/sparql/now geintroduceerd. Op dit endpoint hoeft je niet zelf te filteren op geldige en actieve voorkomens van BAG objecten. Wellicht interessant voor jullie use case.