Hoewel het gebruik van de Aquo Kit steeds beter en soepeler gaat, is onze ervaring met het inlezen van grotere imwa meetwaarden bestanden (meer dan zeg twintigduizend records) wisselend. Soms hapert het importeren van bestanden om onduidelijke redenen en is een "reset" van de server nodig en een nadere inspectie van het invoerbestand. In het geval van wat grotere bestanden zijn die vanwege de omvang wat lastiger te debuggen.

Daarom gebruiken we twee kleine python scripts in de submap bin. Deze scripts zijn ingepakt in een zip bestand in een kleine mappenstructuur te downloaden zonder en met een voorbeeldbestand.

filter_imwa.py:
Dit script leest een imwa meetwaardenbestand (invoerbestand) en maakt een klein imwa meetwaarden uitvoerbestand. In het uitvoerbestand komt 1 monster van 1 meetpunt. De meetwaarden hebben geen betekenis! De Meetpunt.identificatie van de eerste dataregel in het invoerbestand wordt gebruikt als Meetpunt.identificatie voor het uitvoer bestand. Evenzo worden de Begindatum en de Begintijd van de eerste dataregel in het invoerbestand voor het uitvoerbestand. Voor elke dataregel in het invoerbestand wordt de combinatie van Typering.code, Grootheid.code, Parameter.code, Parameter.groep, Eenheid.code, Hoedanigheid.code en Compartiment.code bekeken, komt deze combinatie nog niet voor in het uitvoerbestand, dan wordt de betreffende regel (met aanpassing van Meetpunt.identificatie, Monster.identificatie, Begindatum en Begintijd) in het uitvoerbestand geplaatst. Op deze manier bevat het uitvoerbestand alle unieke combinaties van bovengenoemde 7 velden. Daarnaast worden 6 van de 7 velden (parameter.groep is de uitzondering) vergeleken met gedownloade domeintabellen, en wordt het uitvoerbestand verrijkt met Info velden. In de info velden staat aangegeven of het betreffende veld gevonden is in de bijbehorende domeintabel. Het uitvoerbestand is een klein bestand waarin je snel "onbekende" parameters, grootheden, hoedanigheden enz. kunt opsporen. (Bijvoorbeeld het imwa meetwaarden bestand van HHNK voor chemie van 2016 had ca 86000 dataregels, verwerkingstijd minder dan 10 sec., het uitvoerbestand had minder dan 300 regels, met 1 niet herkende parameter)

splits_imwa.py:
Dit script splitst een imwa meetwaarden bestand in kleinere uitvoerbestanden. De ratio voor dit splitsen is het vermoeden dat grotere bestanden mogelijk te veel geheugenruimte vragen tijdens de validatiestap van het importeren in aquo kit en daardoor voor haperingen zorgen. (verwerkingstijd splitsing bovengenoemd bestand in 6 kleinere bestanden: minder dan 10 sec)

Werkwijze:

  1. ) zorg voor een werkende python interpreter (versie 2.7.) op de machine (https://www.python.org/downloads/ versie 2.7. )
  2. ) plaats het invoerbestand in submap tmp
  3. ) pas in ./bin/filter_imwa.py de namen voor invoer en uitvoerbestand aan.
  4. ) run het ./bin/filter_imwa.py script (evt vanuit IDLE de standaard IDE van python)

Idem voor ./bin/splits_imwa.py

Bijwerken aquo domeintabellen: Download de compartiment, eenheid, hoedanigheid en parametertabel uit http://domeintabellen-idsw.rws.nl/ als csv bestanden en plaats ze in de submap aquodomein Pas in ./bin/filter_imwa.py de namen voor de domeintabellen aan.

P.M. M. maart 2017

Nieuws

  • mei 2018, Thematische kaarten aangepast (figuur met aantallen metingen per periode toegevoegd).
  • november 2017, Meetnetten aangepast, meetnetten opgenomen in download meetpunten
  • maart 2017, Imwa meetwaarden gereedschap toegevoegd in de rubriek Gereedschappen
  • maart 2017, Meetpunten atlas bijgewerkt (Watertypen versie 2016 toegevoegd)
  • december 2016, Stoffen tov MAC-MKN, hoe vaak zijn stoffen gemeten, hoe vaak en hoeveel boven de MAC-waarde enz.
  • september 2016, Directe download meetresultaten als GeoJson of CSV toegevoegd in de rubriek Gereedschappen.
  • januari 2016, Bladzijde KRW geeft toegang tot diverse KRW rapportages en factsheets
  • december 2015, Demo voor een Dataportaal HPZ en demo voor Dijkprofielen gemaakt.
  • oktober 2015, Het hoofdrapport van de studie naar de achtergrondbelasting van het oppervlaktewater met stikstof en fosfor is toegevoegd.
  • september 2015, Thematische kaarten aangepast (nieuwe achtergrond toegevoegd voor betere leesbaarheid, start nu op met de periode 2010-2014 met kleurschema rood) De schalen zijn aangepast zodat meer details zichtbaar worden.
  • september 2015, Statistiek per gebied heeft nu ook data van zwevend stof.
  • september 2015, Meetpunten atlas, kies een meetpunt en er komt een bladzijde met luchtfoto's, foto's, chloride en sulfaatgehaltes, huidig KRW type en overige achtergrondinfo.
  • mei 2015, Signalen Datawatt voor 2011, een bladzijde om historische reeksen meetdata van gemalen die geregistreerd zijn met de oude datawatt / tmx apparatuur op te halen.
  • Oudernieuws