dereferencing test Informatievlaanderen/OSLO-Standaarden#140

package.json

@@ -13,6 +13,9 @@
   "author": "Vlaamse Overheid, Departement omgeving",
   "license": "GPL-3.0",
   "dependencies": {
-    "glob": "^10.4.2"
+    "jsonpath": "^1.1.1",
+    "n3": "^1.20.4",
+    "rdf-dereference": "^3.0.0",
+    "request": "^2.88.2"
   }
 }

src/dereference.js

@@ -0,0 +1,60 @@
+import { rdfDereferencer } from "rdf-dereference" ;
+import N3 from 'n3';
+import request from "request";
+import jp from 'jsonpath';
+import fs from "fs";
+import path from "path";
+
+
+
+async function get_uris() {
+    console.log('');
+    let url = 'https://data.vlaanderen.be/standaarden/api/_content/query'
+    let options = {json: true};
+    request(url, options, (error, res, body) => {
+        if (error) {
+            return  console.log(error)
+        };
+        if (!error && res.statusCode == 200) {
+            let my_uris = new Array();
+            var resourceReferences = jp.query(body, '$..resourceReference');
+            resourceReferences.forEach((element, index, array) => {
+                var re = new RegExp(".*\/ns\/.*");
+                if (re.test(element)){
+                    my_uris.push(element);
+                    //console.log(element)
+                }
+            });
+            deref(my_uris)
+        };
+    });
+}
+
+async function deref(uris) {
+    const prefixen = JSON.parse(fs.readFileSync('source/prefixen.json', "utf8"));
+    for (let uri of uris) {
+        const domain = uri.split('/')[2].split('.').reverse().join('/');
+        const pad = uri.split('/ns/')[1]
+        const turtle = [['main/resources', domain, 'ns', pad, path.basename(pad)].join('/'), 'ttl'].join('.')
+        try {
+            const { data } = await rdfDereferencer.dereference(uri);
+            const ttl_writer = new N3.Writer({ format: 'text/turtle', prefixes: Object.assign({}, prefixen) });
+            data.on('data', (quad) => ttl_writer.addQuad(quad))
+                .on('error', (error) => console.error(error))
+                .on('end', () => {
+                    if (!fs.existsSync(path.dirname(turtle))){
+                        fs.mkdirSync(path.dirname(turtle), { recursive: true });
+                    }
+                    ttl_writer.end((error, result) => fs.writeFileSync(turtle, result));
+                });
+        }
+        catch(error) {
+            const text = [['main/error/dereferencing', domain, 'ns', pad, path.basename(pad)].join('/'), 'txt'].join('.')
+            if (!fs.existsSync(path.dirname(text))){
+                fs.mkdirSync(path.dirname(text), { recursive: true });
+            }
+            fs.writeFileSync(text, error.message)
+        }
+    }
+}
+get_uris();

src/main/error/dereferencing/be/vlaanderen/data/implementatie/ns/kwaliteit-wegen-en-wegmarkeringen/kwaliteit-wegen-en-wegmarkeringen.txt

@@ -0,0 +1 @@
+Could not retrieve https://implementatie.data.vlaanderen.be/doc/ns/kwaliteit-wegen-en-wegmarkeringen (HTTP status 404):

src/main/error/dereferencing/be/vlaanderen/data/ns/DigitaleWatermeter/DigitaleWatermeter.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/DigitaleWatermeter (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/FeitelijkeVerenigingen/FeitelijkeVerenigingen.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/FeitelijkeVerenigingen/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/bestuurlijk-sanctieregister/bestuurlijk-sanctieregister.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/bestuurlijk-sanctieregister (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/cultuur-en-jeugd/infrastructuur/infrastructuur.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/cultuur-en-jeugd/infrastructuur (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/fiets/fiets.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/fiets (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/financiele-rapportering/financiele-rapportering.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/financiele-rapportering/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/financiele-rapportering/taxonomie-dcjm/taxonomie-dcjm.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/financiele-rapportering/taxonomie-dcjm (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/gezondheidstoestand/gezondheidstoestand.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/gezondheidstoestand (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/kindfiche/kindfiche.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/kindfiche/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/leercredential/leercredential.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/leercredential/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/loongegevens/loongegevens.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/loongegevens (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/metadata-dcat/metadata-dcat.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/metadata-dcat/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/mobiliteit/dienstregeling-en-planning/dienstregeling-en-planning.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/mobiliteit/dienstregeling-en-planning/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/mobiliteit/trips-en-aanbod/trips-en-aanbod.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/mobiliteit/trips-en-aanbod (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/mobiliteit/vervoersknooppunten/vervoersknooppunten.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/mobiliteit/vervoersknooppunten (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/mobiliteitsbudget/mobiliteitsbudget.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/mobiliteitsbudget/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/nutsvoorzieningen/index_en.html/index_en.html.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/nutsvoorzieningen/index_en.html (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/nutsvoorzieningen/meters/meters.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/nutsvoorzieningen/meters (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/openbaardomein/begraafplaats/begraafplaats.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/openbaardomein/begraafplaats/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/openbaardomein/gebied/gebied.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/openbaardomein/gebied/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/openbaardomein/infrastructuur/infrastructuur.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/openbaardomein/infrastructuur/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/openbaardomein/openbaardomein.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/openbaardomein/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/openbaardomein/terreindeel/terreindeel.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/openbaardomein/terreindeel/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/openbaardomein/vegetatie/vegetatie.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/openbaardomein/vegetatie/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/openbaardomein/waterdeel/waterdeel.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/openbaardomein/waterdeel/ (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/overlijdensaangifte/overlijdensaangifte.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/overlijdensaangifte (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/vastgoed/vastgoed.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/vastgoed (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/verkeersmetingen/verkeersmetingen.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/verkeersmetingen (HTTP status 404):
+404 Not Found

src/main/error/dereferencing/be/vlaanderen/data/ns/vrachtwagenparkeren/vrachtwagenparkeren.txt

@@ -0,0 +1,2 @@
+Could not retrieve https://data.vlaanderen.be/ns/vrachtwagenparkeren (HTTP status 404):
+404 Not Found

src/main/resources/be/vlaanderen/data/id/vocabulary/index

@@ -898,3 +898,81 @@ https://wegenenverkeer.data.vlaanderen.be/ns/installatie
 https://wegenenverkeer.data.vlaanderen.be/ns/levenscyclus
 https://wegenenverkeer.data.vlaanderen.be/ns/onderdeel
 https://wegenenverkeer.data.vlaanderen.be/ns/proefenmeting
+http://data.vlaanderen.be/ns/adres
+http://data.vlaanderen.be/ns/dienst
+http://data.vlaanderen.be/ns/organisatie
+http://data.vlaanderen.be/ns/transactie
+https://data.vlaanderen.be/ns/adres
+https://data.vlaanderen.be/ns/bedrijventerrein
+https://data.vlaanderen.be/ns/besluit
+https://data.vlaanderen.be/ns/besluitvorming
+https://data.vlaanderen.be/ns/bestuur
+https://data.vlaanderen.be/ns/bestuurlijk-sanctieregister
+https://data.vlaanderen.be/ns/cultureel-erfgoed
+https://data.vlaanderen.be/ns/cultuur-en-jeugd/infrastructuur
+https://data.vlaanderen.be/ns/cultuurparticipatie
+https://data.vlaanderen.be/ns/datakwaliteit
+https://data.vlaanderen.be/ns/dienst
+https://data.vlaanderen.be/ns/DigitaleWatermeter
+https://data.vlaanderen.be/ns/dossier
+https://data.vlaanderen.be/ns/FeitelijkeVerenigingen
+https://data.vlaanderen.be/ns/fiets
+https://data.vlaanderen.be/ns/financiele-rapportering
+https://data.vlaanderen.be/ns/financiele-rapportering/taxonomie-dcjm
+https://data.vlaanderen.be/ns/gebouw
+https://data.vlaanderen.be/ns/generiek
+https://data.vlaanderen.be/ns/gezondheidstoestand
+https://data.vlaanderen.be/ns/kindfiche
+https://data.vlaanderen.be/ns/ldes
+https://data.vlaanderen.be/ns/leercredential
+https://data.vlaanderen.be/ns/logies
+https://data.vlaanderen.be/ns/loongegevens
+https://data.vlaanderen.be/ns/mandaat
+https://data.vlaanderen.be/ns/melding
+https://data.vlaanderen.be/ns/metadata-dcat
+https://data.vlaanderen.be/ns/mobiliteit
+https://data.vlaanderen.be/ns/mobiliteit/dienstregeling-en-planning
+https://data.vlaanderen.be/ns/mobiliteitsbudget
+https://data.vlaanderen.be/ns/mobiliteit/trips-en-aanbod
+https://data.vlaanderen.be/ns/mobiliteit/vervoersknooppunten
+https://data.vlaanderen.be/ns/netwerk
+https://data.vlaanderen.be/ns/notificatie
+https://data.vlaanderen.be/ns/nutsvoorzieningen
+https://data.vlaanderen.be/ns/nutsvoorzieningen/index_en.html
+https://data.vlaanderen.be/ns/nutsvoorzieningen/meters
+https://data.vlaanderen.be/ns/omgevingsvergunning
+https://data.vlaanderen.be/ns/openbaardomein
+https://data.vlaanderen.be/ns/openbaardomein/begraafplaats
+https://data.vlaanderen.be/ns/openbaardomein/gebied
+https://data.vlaanderen.be/ns/openbaardomein/infrastructuur
+https://data.vlaanderen.be/ns/openbaardomein/terreindeel
+https://data.vlaanderen.be/ns/openbaardomein/vegetatie
+https://data.vlaanderen.be/ns/openbaardomein/waterdeel
+https://data.vlaanderen.be/ns/organisatie
+https://data.vlaanderen.be/ns/overlijdensaangifte
+https://data.vlaanderen.be/ns/perceel
+https://data.vlaanderen.be/ns/persoon
+https://data.vlaanderen.be/ns/schuldbeheer
+https://data.vlaanderen.be/ns/slimmeraadpleegomgeving
+https://data.vlaanderen.be/ns/slimme-stadsdistributie
+https://data.vlaanderen.be/ns/statistiek
+https://data.vlaanderen.be/ns/subsidie
+https://data.vlaanderen.be/ns/toestemming
+https://data.vlaanderen.be/ns/transactie
+https://data.vlaanderen.be/ns/transportnetwerk
+https://data.vlaanderen.be/ns/vastgoed
+https://data.vlaanderen.be/ns/verkeersmetingen
+https://data.vlaanderen.be/ns/vrachtwagenparkeren
+https://data.vlaanderen.be/ns/waterkwaliteit
+https://data.vlaanderen.be/ns/weg
+https://implementatie.data.vlaanderen.be/doc/ns/kwaliteit-wegen-en-wegmarkeringen
+https://productencatalogus.data.vlaanderen.be/ns/ipdc-lpdc
+https://purl.eu/ns/consent
+https://purl.eu/ns/mobility/passenger-transport-hubs
+https://purl.eu/ns/mobility/timetables-and-planning
+https://wegenenverkeer.data.vlaanderen.be/ns/abstracten
+https://wegenenverkeer.data.vlaanderen.be/ns/implementatieelement
+https://wegenenverkeer.data.vlaanderen.be/ns/installatie
+https://wegenenverkeer.data.vlaanderen.be/ns/levenscyclus
+https://wegenenverkeer.data.vlaanderen.be/ns/onderdeel
+https://wegenenverkeer.data.vlaanderen.be/ns/proefenmeting