Op de website van de NDFF is uiteindelijk de meest actuele data gebundeld beschikbaar, alleen is het oproepen van data daar iets complexer. Met de versnelde info wordt per km hok heel snel een overzicht gegeven van soorten die er in voorkomen.

Bijwerkproces:

Dit proces gaat globaal in de volgende stappen:

  1. downloaden data van het uitvoerportaal (kost ca 1 volle dag voor de hele set)
  2. uploaden data naar hnk-water, aanmaak database en totale shape (ca 1,5 uur)
  3. downloaden shape naar F:, opschonen shape, berekenen oppervlakte en X,Y van het centroid, daarna uploaden shape naar hnk-water (ca. 2.5 uur) (Ik onderzoek of deze stap automatisch op hnk-water kan)
  4. afwerken database, genereren van alle verspreidingskaarten op hnk-water (ca 3 uur)
  5. aanpassen html documenten met verwijzingen naar nieuwe database en verspreidingskaarten (0,5 uur)

Totaal moet rekening gehouden worden met 2 volle mandagen doorlooptijd; het downloaden vergt elke 5-10 minuten aandacht voor het bedienen van de website; de acties op hnk-water vragen ca 3 minuten voor het starten van scripts, de gis actie vraagt ongeveer 0,5 uur aandacht. De overige benodigde tijd is processing.

In detail verloopt het bijwerkproces als volgt.

  1. Gebruik spreadsheet F:\BBP\11_Monitoring_Wtr_Sys\02_Wtr_Kwal\01_Wtr_Kwal\_W_\ndff_bijwerken\doc\downloadlog.xslx voor de administratie van de download files.
    1. Bepaal het reeksnummer jjmm (jaartal 2 cijfers + maandnummer 2 cijfers)
    2. Instellingen ndff website: https://ndff-ecogrid.nl/, Wetgeving: rodelijst, tabel 2 en tabel 3 soorten; overige instellingen volgens spreadsheet.
    3. De download limiet is 100000 records, downloaden als shape
    4. Opslaan in de map: F:\BBP\11_Monitoring_Wtr_Sys\02_Wtr_Kwal\01_Wtr_Kwal\_W_\ndff_bijwerken\downloads\jjmm (aanmaken!)
    5. Vul bij elk zip-bestand het spreadsheet aan, controleer of het zipbestand geopend kan worden met 7-zip!! Vergelijk de aantallen records met de voorgaande ronde om te zien of de NDFF stabiel wordt wat betreft het aantal archieven. (dan kan een update bedacht worden met aanvullingen in plaats van een complete download)
  2. uploaden data naar hnk-water, aanmaak database en totale shape (ca 1,5 uur)
    1. Uploaden van de complete map met downloads: F:\BBP\11_Monitoring_Wtr_Sys\02_Wtr_Kwal\01_Wtr_Kwal\_W_\ndff_bijwerken\downloads\jjmm naar hnk-water in het ndff account met winscp naar de map bs/in/jjmm
    2. In het ndff account op hnk-water.nl, in de map bs/bin aanpassen van het inleesreeks nummer in het script ndff_conf.py
    3. In het ndff account op hnk-water.nl, in de map bs/bin uitvoeren het script "python ndff_w_00.py" voor het opbouwen van de ndff database en shapes, het verwijderen van meervoud waarnemingen uit de database, het klasseren in tijdvakken van de waarnemingen en het aanmaken van grid's. (inloggen met putty, ca 1,5 uur).
  3. downloaden shape naar F:, opschonen shape, berekenen oppervlakte en X,Y van het centroid, daarna uploaden shape naar hnk-water (ca. 2.5 uur) (Ik onderzoek of deze stap automatisch op hnk-water kan)
    1. download de shape (dbf, shp en shx) ndffjjmm van /var/www/gd/bs naar F:\BBP\11_Monitoring_Wtr_Sys\02_Wtr_Kwal\01_Wtr_Kwal\_W_\ndff_bijwerken\gis.
    2. Met Arccatalog de ndffjjmm shape voorzien van een spatial index en het RD stelsel dit duurt ca 10 minuten.
    3. Met Arcmap en de Arctoolbox->Data Management Tools->Features->Repair Geometry de ndffjjmm shape in F:\BBP\11_Monitoring_Wtr_Sys\02_Wtr_Kwal\01_Wtr_Kwal\_W_\ndff_bijwerken\gis opschonen, dit kost ongeveer 1,5 uur.
    4. Met Arcmap OPPVLK voorzien van het oppervlakte met Attributes>rechtsklik op OPPVLK->calculate geometry->Area en XRD en YRD met de X en Y waarden van het centroide (ongeveer 25 minuten)
    5. Upload ndffjjmm.shp van F:\BBP\11_Monitoring_Wtr_Sys\02_Wtr_Kwal\01_Wtr_Kwal\_W_\ndff_bijwerken\gis naar /var/www/gd/bs
  4. afwerken database, genereren van alle verspreidingskaarten op hnk-water (ca 3 uur)
    1. In het ndff account op hnk-water.nl, in de map bs/bin uitvoeren het script "python ndff_w_01.py" voor het aanmaken van de ruimtelijke indexen van de ndffjjmm en grjjmm_rib shapes tbv mapserver; de geopp tabel met oppervlakteklassen; de grid2ndff tabel met de koppeling tussen gridcellen en ndff-shapes; de grid2ndffstat en grid2ndffstat0 tabellen met statistieken per gridcell; de srtpdf tabel met de koppeling tussen Nederlandse soortnamen en pdf documenten uit het rapport "Beschermde soorten in het beheergebied van Hoogheemraadschap Hollands Noorderkwartier, Soortprotocollen en verspreidingskaarten, 2007"
    2. In het ndff account op hnk-water.nl, in de map bs/bin uitvoeren het script "python ndff_w_02.py" voor het aanmaken en vullen van de hhnk_ndff_jjmm_geo database met tabellen om snel per gridcell alle soorten op te vragen. (Duur ruim 2 uur)
    3. In het ndff account op hnk-water.nl, in de map bs/bin uitvoeren het script "python ndff_w_03.py" voor het aanmaken van de verspreidingskaarten (var/www/bs/data/png/sjjmm_srtnr.png ) Mogelijk komt er een foutmelding door niet om te zetten leestekens als accenten e.d. In dat geval handmatig de Nederlandse naam in de soort tabel aanpassen met: sqlite3 /var/www/bs/data/ndff_hhnk_jjmm.db3 en vervolgens statements als: update soort set nm_n='Rossa gans' where id=1131; (eruit met .q ) Vervolgens python ndff_w_03.py herhalen
  5. aanpassen html documenten met verwijzingen naar nieuwe database en verspreidingskaarten (0,5 uur)

Oude uitleg