Ontsluiting historische kwantiteisdata (Datawatt/TMX Lange Rond en Waterlanden voor 2011)

Inmiddels heb ik op hnk-water.nl een bladzijde beschikbaar waarmee je reeksen TMX data kunt downloaden. http://hnk-water.nl/as/ Het betreft data uit de systemen van de voormalige waterschappen Lange Rond en de Waterlanden; ik zie ook enige data van uitwaterende sluizen.

Uitleg bladzijde met op te vragen data

De bladzijde bestaat uit 4 kolommen: van links naar rechts:

  1. Een selectbox met analoge adressen die in de database voorkomen, wanneer je er een kiest komt in kolom 3 de lijst met waarden van het gekozen analoge signaal uit de database. Het adres bestaat uit de combinatie van het zgnd rtuid, met het address, de objectnaam uit de action excell sheet en de post uit het action excel sheet (Zie bij brondata)
  2. Een selectbox met digitale adressen die in de database voorkomen, wanneer je er een kiest komt in kolom 4 de lijst met waarden van het gekozen digitale signaal uit de database. Het adres bestaat uit de combinatie van het zgnd rtuid, met het address, de objectnaam uit de action excell sheet en de post uit het action excel sheet (Zie bij brondata)
  3. Een uitvoerscherm voor analoge data, met het knopje boven de uitvoer kan de getoonde uitvoer opgehaald worden (in zip archief ingepakt tekst in csv fomaat, met scheidingsteken een ; en als decimaal een punt) Getoond wordt de datum, de tijd en vervolgens de velden value, overflow, blocked en invalid (value is een floating point getal, de volgende velden zijn allen 0/1 waarden) aan elkaar vast; in de download zijn ze gescheiden.
  4. Een uitvoerscherm voor digitale data, met een knopje boven de uitvoer kan de getoonde uitvoer opgehaald worden (in zip archief ingepakt tekst in csv fomaat, met scheidingsteken een ; en als decimaal een punt). Getoond wordt de datum, de tijd en vervolgens de velden value, blocked en invalid (dit zijn allen 0/1 waarden) aan elkaar vast; in de download zijn ze gescheiden.

Er moet nog het nodige gebeuren om waterstanden en draaiuren en dergelijke betrouwbaar in fews te krijgen, met name het uitzoeken van de juiste adressen. In elk geval is dit vast een begin

Brondata

De brondata is een verzameling van ca 840 mdb bestanden die Jeroen eind 2011 ter beschikking kreeg van het toenmalige cluster peilbeheer. Voor de metingen zijn van belang de ca 240 mdb bestanden waarvan de naam bestaat uit de tekens 2H gevolgd door in cijfers een verkorte datum in het formaat jjmmdd. Per maand zijn in die mdb's alle informatie van het telemetriesysteem (datawatt?) opgenomen. In deze mdb bestanden zijn 6 tabellen opgenomen; van belang zijn de tabellen Di (digitaal in) en Ai (analoog in)

Van de Ai en Di tabel zijn de volgende velden gebruikt: Rtuid = het id van het object (gemaal, stuw enz) Adress = het id van het opgenomen signaal (bijv. "waterstand binnen" of "pomp laagtoerental" ) Datetime = de datum en tijd van gemeten signaal Value = de waarde van het gemeten signaal (digitaal 0 of 1, analoog een floating point getal 18.8f ) Overflow = aanduiding ongeldige waarde (alleen analoog 0 of 1) blocked = aanduiding ongeldige waarde (zowel analoog als digitaal 0/1) invalid = aanduiding ongeldige waarde (zowel analoog als digitaal 0/1)

De vertaling van Rtuid en Address staat in een apart excel spreadsheet (Action.xls; er zijn meer bestanden "Action bestand 2003.xls" en "Action 5-6-07.xls") In de mdb bestanden komen combinaties Rtuid met adress voor die niet in het action.xls bestand staan en omgekeerd.

De info uit de ca 240 mdb bestanden (ca. 10,7 GB) is per signaal en per maand gezipped ingelezen in 1 sqlite database (ca 0,34 GB).

Nieuws

  • mei 2018, Thematische kaarten aangepast (figuur met aantallen metingen per periode toegevoegd).
  • november 2017, Meetnetten aangepast, meetnetten opgenomen in download meetpunten
  • maart 2017, Imwa meetwaarden gereedschap toegevoegd in de rubriek Gereedschappen
  • maart 2017, Meetpunten atlas bijgewerkt (Watertypen versie 2016 toegevoegd)
  • december 2016, Stoffen tov MAC-MKN, hoe vaak zijn stoffen gemeten, hoe vaak en hoeveel boven de MAC-waarde enz.
  • september 2016, Directe download meetresultaten als GeoJson of CSV toegevoegd in de rubriek Gereedschappen.
  • januari 2016, Bladzijde KRW geeft toegang tot diverse KRW rapportages en factsheets
  • december 2015, Demo voor een Dataportaal HPZ en demo voor Dijkprofielen gemaakt.
  • oktober 2015, Het hoofdrapport van de studie naar de achtergrondbelasting van het oppervlaktewater met stikstof en fosfor is toegevoegd.
  • september 2015, Thematische kaarten aangepast (nieuwe achtergrond toegevoegd voor betere leesbaarheid, start nu op met de periode 2010-2014 met kleurschema rood) De schalen zijn aangepast zodat meer details zichtbaar worden.
  • september 2015, Statistiek per gebied heeft nu ook data van zwevend stof.
  • september 2015, Meetpunten atlas, kies een meetpunt en er komt een bladzijde met luchtfoto's, foto's, chloride en sulfaatgehaltes, huidig KRW type en overige achtergrondinfo.
  • mei 2015, Signalen Datawatt voor 2011, een bladzijde om historische reeksen meetdata van gemalen die geregistreerd zijn met de oude datawatt / tmx apparatuur op te halen.
  • Oudernieuws