WSWIN-Daten zur Awekas Box bringen

  • Hallo,
    möchte zumindest die Daten des heurigen Jahres in die AwekasBox importieren, da sonst einfach die Statistiken unbrauchbar sind (habe die Box ja erst seit ein paar Tagen und bin noch in der Einarbeitungsphase)
    Habe nun im Meteohub-Forum folgenden Hinweis gefunden:

    Quote

    und diesen an meine Konfiguration angepasst, was nun so lauten würde:

    Quote

    Es kommt aber dann die Fehlermeldung:
    Error reading file /data/transfer/EXP07_14.csv: No such file or directory


    Ein Verzeichnis /data ist bei mir aber gar nicht vorhanden, sondern eben nur transfer, in dem auch, wie verlangt, die EXP07_14.csv liegt.
    a) was läuft hier falsch?
    b) was ist noch zu beachten? Sollte das aktuelle Jahr Monat für Monat importiert werden oder sollte man ein Jahresfile bereitstellen?

  • Ich bin hier leider überfragt - das weiß Othi am beste.


    (Sonnenstunden lassen sich außer mit WSWIN durch keine andere Software berechnen - auch nicht mit Meteohub/AWEKAS-Box. :golly: )

  • Hallo,
    da ich im Forum wetterstationen.info nachgefragt habe, dort aber letztlich keine funktionierende Lösung erhalten habe, hier nochmals gefragt, denn es muss doch irgendjemand geben, der schon mal versucht hat, WSWIN-Daten in Meteohub zu importieren.
    Der Vorschlag

    Quote

    bringt die Fehlermeldung (/wie schon gepostet)
    Error reading file /data/transfer/EXP07_14.csv: No such file or directory
    Nun habe ich auf Anraten von Boris den Pfad mitgegeben und es so versucht:

    Quote

    http://ip-zum meteohub/cgi-bin/import.cgi?file=/data/transfer/EXP07_14.csv&alt=430
    bzw.
    http://ip-zum meteohub/cgi-bin/import.cgi?file=/public/transfer/EXP07_14.csv&alt=430
    (beides soll angeblich derselbe Pfad sein)

    aber dann kommt eben die Fehlermeldung

    Quote

    Error reading file /data/transfer//data/transfer/EXP07_14.csv: No such file or directory

    was in meinen Augen heißt, dasss der Pfad doch automatisch mitgegeben wird, denn nun ist er ja doppelt vorhanden und das kann ja keinesfalls gehen.
    Dann bliebe als Alternative noch die Möglichkeit (wenn man der Fehlermeldung glaubt), dass die Datei nicht vorhanden wäre, aber die EXP07_14.csv ist definitiv im Verzeichnis 'transfer'
    Ich bin also, so gesehen, ratlos, wenn es nicht jemandem schon gelungen ist.
    Das Blöde ist halt, wenn ich nun im August erst Daten habe, dass dann das tolle Template , das Othmar mitliefert, relativ sinnlos ist, denn die Bereiche Monat/Jahr/seit Beginn stimmen dann ja nicht.
    Ich würde halt gerne zumindest das aktuelle Jahr importieren.
    Bis jetzt sieht es eben so aus:
    http://www.don-wetter.de/meteohub/index.php

    • Official Post

    Hallo Werner


    Also ich habe mal testweise den Pfad versucht und bei mir hat es funktioniert.


    Vorgehensweise:


    1.) per Windows Dateiexplorer zur Box verbinden awekasbox-ip (in meinem Fal 10.0.0.100) in Dateiexplorer eingeben und Ordner "public " öffnen

    2.) im Punkt Wartung eine Sicherung machen

    3.) wenn die Sicherung fertig ist (ein paar Minuten) sichere den kompletten Ordner "weather" auf deinen Rechner (PC) - somit hast du den Ist Zustand gesichert und kannst immer wieder zurück. Im Meteohub Log steht wenn die Sicherung fertig ist.

    4.) öffnen den Ordner "transfer" und kopiere deine Datei rein (in meinem Fall "test.csv)
    5.) Führe im Browser den Import durch: http://awekasbox-ip/cgi-bin/import.cgi?file=importfile&alt=seehöhe


    ACHTUNG: alle Daten des Monats die bereits von der Box aufgezeichnet waren gehen verloren.
    Du musst also in der WSWIN Datei schon alle Daten des Monats drinnen haben! Sollte etwas schiefgegangen sein, kannst du die überschriebene Datei (in diesem Fall weather/201406/raw) von der Sicherung zurückkopieren. Wie der genaue Import funktioniert kann ich nciht sagen, da kann besser Meteohub Auskunft geben.

  • Hallo Othmar,


    danke für die genaue Anleitung (wird auch für andere hilfreich sein), aber genauso gehe ich vor und bei mir kommt immer die gleiche Fehlermeldung, wie schon geschrieben:
    Error reading file /data/transfer/EXP07_14.csv: No such file or directory
    Ich frage mich langsam, ob da auf meinem System etwas verkehrt läuft (da kannst Du natürlich nicht weiterhelfen)
    Trotzdem zuletzt gefragt: welchen Aufbau hatte denn Deine test.csv?
    Ich habe manchmal den Eindruck, es könnte an meiner Exportdatei liegen, aber ich muss ja die Monatsdatei exportieren. Andererseits sagt die Meldung ja, dass entweder die Datei oder das Verzeichnis nicht gefunden wurde.

  • Hallo,
    vor ich noch mehr unnötigen Aufwand bei Helfenden verursache:
    Es ist ein überaus ärgerlicher Fehler von mir. Ich habe immer wieder auch den Dateinamne kontrolliert und dabei vergessen, auf die Endung zu achten.
    Meine Datei war auf dem Server als
    EXP07_14.CSV
    und ich habe beim Aufruf des Links immer (aus alter Gewohnheit
    EXP07_14.csv
    genommen. Das kann natürlich auf Linux/Unix nicht gehen.
    Einziger Trost für mich: vielleicht lernt jemand anderer daraus.

  • Hallo,
    um an das Thema im threadtitel nochmals anzuknüpfen:
    Es ist offenbar doch nicht so trivial, WSWIN-Daten nach Meteohub zu bringen, da es hier einige Stolpersteine gibt. Das fängt an beim Dezimalzeichen (Punkt oder Komma) und geht weiter mit der Zeit, da WSWIN ja nicht UTC verwendet, Meteohub in den Rohdaten aber schon.
    Ich bin nun im Kontakt mit Boris (er ist sehr hiflsbereit und kooperativ) und wenn eine komplett funktionierende Lösung in Sicht ist, werde ich sie hier einstellen, wenn erwünscht.

  • Hallo,
    es ist jetzt dank Boris soweit, dass WSWIN-Daten relativ problemlos in Meteohub importiert werden können.
    Dies war zwar bisher bereits möglich, aber nur bei bestimmten WSWIN-Konfigurationen.
    Die Importfunktion wurde nun dahingehend erweitert bzw. verbessert, als es nun möglich ist
    - Dateien zu importieren, bei denen als Dezimalzeichen der Punkt verwendet wird (13.5)
    - Dateien zu importieren, bei denen als Dezimalzeichen das Komma verwendet wird (13,5)
    - es nicht nur möglich ist, die WSWIN-Monatsdateien zu importieren (EXP08_14.CSV als Beispiel), sondern auch Exportdateien von WSWIN, die z.B. ein ganzes Jahr enthalten (EXP_20140101.CSV), was natürlich den Import wesentlich vereinfacht. Es ist allerdings darauf zu achten, dass die SensorIDs, die in einer solchen Datei nicht vorhanden sind, manuell vor dem 1. Datensatz eingefügt werden.
    Beispiel:


    Datum;Zeit;Temp. I.;Außentemp.;Temp. A. min;Temp. A. max;BodenTemp;Feuchte I.;Feuchte A.;Luftdruck;Niederschl.;Wind;Richtung;Sonnenschein;ET;UV;Solar;Windböen;Empfang;GWD;W0;W1
    ;;°C;°C;°C;°C;°C;%;%;hPa;l/m²;km/h;°;min;mm;UV-I;W/m²;km/h;%;GWD;B0;B1
    ;;1;2;6;7;13;17;18;133;34;35;36;37;40;41;42;45;46;96;97;98
    01.01.2014;02:00;19,2;-1,8;-1,8;-1,7;-1,7;43;91;1016,2;0,000;4,8;135;0;0,000;0,0;0;9,7;100,00;6;0;44


    Für die WSWIN-User, die diese Funktion gar nicht kennen:
    "Datei - Exportieren - Wetterdaten exportieren" --> dort bei "Messgrößen" wählen "Datum: 1 Datei" auswählen
    Dann wird angeboten, ab welchem Jahr und welchem Monat bis zu welchem Jahr und Monat die Daten exportiert werden sollen.


    Folgendes ist aus Meteohub-Seite zu beachten:
    - Diese erweiterte Importfunktion steht erst ab Meteohub_Version 4.9zc zur Verfügung (also Update durchführen)
    - da Meteohub die Daten von der Zeit her im UTC-Format speichert, sollte der erste Datensatz nicht mit 00:00 Uhr beginnen, sondern mit 02:00, also entsprechend editieren
    - es sollten u.U. nicht mehr als die Daten von 1/2 Jahr oder einem Jahr übertragen werden, da sonst die Gefahr besteht, dass es zu einem Timepout des Webservers kommt, aber das merkt man dann ja und kann eine kleinere Exportdatei erzeugen. Also das Jahr eventuell in 2 oder 4 Dateien aufteilen.


    Konkrete Vorgehensweise, um die Datei des Monats Juli 2014 in Meteohub zu importieren:
    a) in WSWIN die Exportdatei des Juli erstellen (in WSWIN die Monatsansicht des Juli einstellen, dann "Datei - Exportieren - Monatsdatei exportieren")
    b) mit einem Editor die Uhrzeit von 00:00 Uhr bis 01:59 Uhr entfernen (wegen UTC) - wer auf die 2 Stunden nicht verzichten kann, müsste aus dem Vormonat Juni die Werte von 22:00 Uhr bis 23:59 Uhr an den Anfang der Datei kopieren
    c) diese Datei in den Ordner "transfer" von Meteohub kopieren
    d) in Meteohub den Datenerfassungsprozess stoppen (Wartung) und dann den Import starten mit
    http://ip-zu-meteohub/cgi-bin/…=EXP07_14.CSV&alt=430
    (bei 'alt' natürlich die eigene Ortshöhe einsetzen - wichtig, wegen des Luftdrucks)
    e) wenn der Import gelingt, erscheint im Browser eine entsprechende Meldung, z.B.
    reading input file: /data/transfer/EXP08_14.CSV
    selected mode: WSWIN
    generated file: /data/weather/201407/raw (29 lines)
    generated file: /data/weather/201408/raw (5709 lines)
    total 5738 lines done.
    f) nun als Letztes die Datenerfassung wieder starten und die Neuberechnung der Daten in Meteohub starten


    Zuletzt:
    Ich würde dringend dazu raten, vor solchen Aktionen im Menüpunkt "Wartung" des Meteohub-Systems die Anwendungsdaten zu sichern.
    «

  • Hallo,
    das lässt sich nicht machen. Antwort:

    Quote from data-link=

    Denn
    damit würde eine Exportdatei für Wswin selbst nicht mehr eindeutig erkennbar
    beim einem Wiederimport. speziell wenn man auch ältere Wswin-Versionen nutzt.

    Es ist aber insofern kein solches Problem, denn man kann ja mehrere Monate auf einmal importieren und muss dann halt am Anfang 2 Stunden weglassen und am Ende die 2 Stunden des Folgemonats, der nicht mehr importiert wird, dazufügen. Damit ist dann auch die Statistik richtig, ich habe das exakt überprüft.

  • Hallo,
    hier jetzt noch ein kleine, aber wichtige Ergänzung zum Datenimport. Ich hatte mir da selber ein Bein gestellt und zwar, was den Luftdruck anbelangt. Alle Werte des ganzen Jahres stimmten mit WSWIN überein, nur der Luftdruck nicht. Der Grund für den Fehler lieferte ich selbst.
    Was habe ich als Meteohub-Neuling gemacht:
    Der Luftdrucksensor des Meteostick liefert bei mir um 4 hPa zu geringe Werte. Also habe ich in Meteohub (nach alter WSWIN-Manier) die Stationshöhe solange verringert, bis der Luftdruck stimmte.
    Doch das war kontraproduktiv, da ich nun in WSWIN eine Höhe von 430 m hatte, in Metohub aber eine von 397 m. Und beim Import muss ja die Höhe mitgegeben werden.
    Was war die Lösung des Problems? Boris hat mich darauf aufmerksam gemacht, dass es in Meteohub auch möglich ist, Sensoren zu kalibrieren (hatte ich schlicht nicht gesehen). Ich habe also das Experiment mit der Höhenkorrektur rückgängig gemacht und dafür den Luftdrucksensor unter "Einstellungen - Kalibrierung" so eingestellt, dass der Luftdruckwert korrekt ist.
    Kleine Ursache, große Wirkung. Vielleicht hilft dies ja mal auch jemand anderem.

  • Guten Abend zusammen,


    Dank der guten Beschreibung von Othmar und Werner, habe ich Heute mal versucht die WsWin Daten von Januar bis August 2014 zu importieren.
    Ich bin überrascht, es funktionierte problemlos.


    Was ich aber jetzt in der AWEKAS Webvorlage unter Statistik festgestellt habe, es hat wohl nur bei den ISS Daten und einem Zusatz-Temp.-Sensor funktioniert.
    Bei einem weiteren Temp.-Sensor und die 9 Sensoren der Bodenstation werden nur max. - und min.- Werte ab Start von Meteohub angezeigt.


    Hat jemand eine Idee, was ich da falsch gemacht habe?

  • Guten Tag zusammen,


    es sind wohl noch keine 24 Stunden her, aber ich glaube nicht, dass da noch was passiert.
    Es hat sich gegenüber Gestern nichts verändert.
    Alle Statistik-Daten der ISS stimmen, bei einem weiteren Temp.-Sensor und die 9 Sensoren der Bodenstation
    werden nur max. - und min.- Werte ab Start von Meteohub angezeigt.


    Hab mir mal die Webseite von Werner (weneu) angeschaut, da sieht es bei dem Bodensensor +5cm auch nicht anders aus.
    Hat noch jemand eine Idee?

  • Hallo Wilfried,

    Quote from data-link=

    Hab mir mal die Webseite von Werner (weneu) angeschaut, da sieht es bei dem Bodensensor +5cm auch nicht anders aus.

    das Problem sind die ID's
    Bei mir ist der aktuelle Bodensensor th1, meine alten Daten (Januar bis 5. August) standen aber nach dem OImport nur im Sensore t11 zur Verfügung (war durch die Übertragung bedingt).
    Ich habe also die Möglichkeit, entweder die alten Daten anzuzeigen, wenn ich im Awekas-Template anstatt th1 den Sensor t11 einstelle (was aber langfrisitg keinen Sinn macht) oder die neu von Meteohub gesammelten Daten.
    Ich kenne zumindest keine brauchbare Möglichkeit, die Altdaten aus t11 nach th1 zu übertragen.(bin allerrdings, was Meteohub anbelangt, ja noch ein Säugling)

  • Moin! Bin erst jetzt nach längerer Abwesenheit auf das Thema gestoßen und möchte, auch wenn das Problem im Wesentlichen gelöst zu sein scheint, dann auch nochmal meinen Senf dazu geben:


    Habe vor ca. einem Jahr erfolgreich einen Datenimport auf meteohub durchgeführt und bin dabei entsprechend einer Anleitung für die "weatherboxx" vorgegangen. Habe diese noch als pdf., zum Upload ist sie aber leider zu groß. Dürfte letztlich in etwa auch der hier skizzierten Vorgehensweise entsprechen, hat aber einiges an Arbeit gemacht. Das Problem mit den Bodensensoren stellte sich bei mir nicht, da ich die erst zeitgleich mit dem Meteohub in Betrieb nahm. Bei den UV - Werten musste ich für die importierten Daten einen Multiplikator von 0,1 einstellen, da ansonsten um den Faktor 10 erhöhte Werte angezeigt wurden.


    Vielleicht hilft es ja noch jemandem.