Flowheater macht die Datenübernahme einfach

Worum geht es?

Datenübernahme kann ein schwieriges Geschäft sein. Oder eine Routineaufgabe. Ich habe FlowHeater der FlowHeater GmbH gefunden und möchte meine positiven Erfahrungen hiermit teilen.

flowheater

Im Kollegenkreis hat so jeder seine spezielle Art, Daten zu übernehmen. Zu exportieren, zu synchronisieren oder zu importieren. Es werden Tools der Datenbank, eigene Skripte, oder die Funktionen der Entwicklungsumgebung verwendet. Ich bin aber natürlich der Meinung, ich mache es besser. Ich erstelle Definitionen für Datenübertragungen in einer grafischen Umgebung. Das geht nicht nur schneller, es verhindert auch Fehler. Sicher hat man mit selbst geschriebenen Skripten noch mehr und detaillierte Kontrolle, man muss es aber auch kontrollieren, sprich machen. In FlowHeater klickt man zusammen, testet und führt aus. Und wenn man es dann regelmäßig braucht, gibt es die Möglichkeit der geplanten Batchverarbeitung.

Was ist Flowheater?

  • Eine sehr intuitive Umgebung, um 2 Datenquellen zu verbinden. Ist dies geschehen, können einzelne Tabellen über sogenannte Pipes sehr einfach deren Spalten verbinden
  • Auf dem Wege von der Quelle ins Ziel, lassen sich diese Pipes mit … beeinflussen. So sind vielschichtige Änderungen der auf dem Wege befindlichen Daten möglich
  • Ob Daten nur angefügt, ersetzt und/oder aktualisiert werden sollen, ist über einen simplen Mausklick definiert
  • Diese Projekte lassen sich in einem FlowHeater-Dateiformat speichern und jederzeit wiederholen
  • Es gibt viele Konnektoren. Text, CSV, XML, ODBC, um nur einige und für mich wichtigsten zu nennen

Was macht Flowheater besser?

  • Es fängt Probleme ab Eine Verbindung und Datenübertragung funktioniert nahezu immer auf Anhieb. Zudem gibt es Hilfen wie “Testverbindung”
  • Es fängt Aufwand ab Durch die grafische Benutzeroberfläche ist es auch für den Laien recht einfach, eine Datenübertragung zu realisieren. Aber auch der Profi profitiert. In der Situation”schnell mal eben” aber auch bei komplexen Aufgaben. Vor allem durch die Testfunktionen, ohne wirkliche Übertragung, gestalten sich derartige Aufgaben wesentlich entspannter
  • Es wird protokoliert In einer Ergebnisübersicht sieht man, was passiert ist. Insbesondere auch das, was nicht passiert ist, sprich eine Erklärung, warum einzelne Daten nicht angekommen sind.
  • Es werden SQL-Skripte generiert. So ist ein Import auch ohne FlowHeater ausführbar

Beispiele

Online-Banking

Online-Banking habe ich lange Zeit mit Anwendungen wie “Mein Geld” durchgeführt. Doch immer wieder gab es irgendwelche Probleme mit den Zugängen oder Fehler genereller Art. Mir entstand immer mal wieder der Eindruck, dass ich mich mehr mit der Software, als mit den Daten beschäftigt habe. Eine Lösung musste her. Da es mir nur um Auswertung und hierfür Kategorisierungen ging, hatte ich eine realistische Chance, etwas sinnvolles selber programmieren zu können. Gesagt, getan.

Die Daten der Banken liegen online bei jeder mir bekannten Bank als CSV-Download vor. Einen kleinen manuellen Schritt, der Download dieser Daten, musste ich akzeptieren. Um danach aber keine Hampelei mehr zu haben, konnte ich nun auch für den Import dieser Daten etwas selbst programmieren. Oder Flowheater verwenden. Es ist jetzt nicht überraschend, dass ich mich für Letzteres entschieden habe, denn es hat mir eine Menge Arbeit erspart.

Folgende Aufgaben mussten erfüllt werden

  • Eine wiederverwendbare Definition des Imports
  • Reaktion auf Besonderheiten der jeweiligen CSV-Dateien
  • Manche Datenbanken haben einen aufwändigen Header. Der muss übersprungen werden
  • Direkter Import in eine SQL-Datenbank, ohne diese CSV-Daten vorher noch bearbeiten zu müssen

Umsetzung mit Flowheater

In ein definiertes Verzeichnis lade ich die CSV-Dateien herunter. Das ist der einzige Schritt, bei dem ich noch denken muss. Danach lasse ich FlowHeater die Daten in meine SQL-Datenbank (SAP SQL Anywhere 12) importieren. Und da FlowHeater alles für mich macht, sind die Daten schön aufbereitet in meiner eigenen Anwendung auswertbar.

Mit den sogenannten Heater-Funktionen, könnte ich bereits beim Import schon Regeln definieren und Daten aufbereiten. Denn diese bieten Kontrollstrukturen, Zeichenketten-, Zahlen- und Datumsfunktionen. Ich habe es nicht probiert, aber sicher könnte man an der Stelle Buchungen kategorisieren.

Alt text

Beispiel Umstellung von Artikelnummern

Die eigentliche Aufgabe, wie hier in der Überschrift beschrieben, betrifft Flowheater nun nicht wirklich. Dennoch halte ich dieses Beispiel für erwähnenswert.
Es soll in einer Datenbank mit ca. 40.000 Artikel der Artikelnummerstruktur geändert werden. Diese Daten sollten zunächst einmal schön bearbeitbar in eine Exceltabelle übernommen werden. Eigentlich kein großes Problem. Doch hatte ich das Problem, dass genau nach 16.267 Artikeln der Import abgebrochen ist. So ganz spontan habe ich auch nach der Analyse der Quelldaten keinen wirklichen Grund gefunden, woran das lag.

Hier machte sich dann guter Support bezahlt. Ich habe in meiner Ungeduld mal eben eine E-Mail an den Hersteller geschrieben. Schon nach kurzer Zeit bekam ich eine Antwort. Ich durfte Testdaten senden und bekam innerhalb einer Stunde die Lösung mitgeteilt. Und diese lautete wie folgt:

Das Problem ist, dass in der Bezeichnung teilweise ein „=“ am Anfang steht und Excel hier von einer Formel ausgeht. Siehe Zeile 16.267. Sie können das umgehen indem Sie mittels des String Append Heater ein Anführungszeichen am Anfang der Zeichenkette einfügen, siehe Beispiel.

Und das Beispiel konnte ich dann auch sofort verwenden.

Beispiel EXIF Daten

Mit FlowHeater importiere ich die EXIF-Daten völlig automatisch unter Verwendung des Batch-Moduls in unser ERP-System. Jeden Tag. Kein neues oder geändertes Bild wird übersehen. Die entsprechende CSV-Datei lassen ich über ein EXIF-Tool erzeugen. An der Stelle sein angemerkt, dass das Batch-Modul zusätzliche Kosten verursacht, aber auch im Vergleich zu Zeiterspanis und Nutzen ist dies nicht der Rede wert.

Warum lohnt sich die Investition?

  • FlowHeater spart Zeit. Aus meiner Erfahrung heraus kann ich sagen, sehr viel Zeit.
  • Die Software mag in der Optik vielleicht nicht jeden überzeugen, auch ich dachte zu Anfang, hmm, sieht etwas aus der Zeit aus. Doch darf man sich davon nicht im Negativen blenden lassen. Technisch absolut auf der Höhe der Zeit.
  • Es wird eine Batch-Modul angeboten. Definierte Vorgänge lassen sich dadurch automatisieren. Regelmäßiges Übertragen stellt kein Problem dar. Regelmäßiges Befüllen einer MySQL-Datenbank für Web-Anwendungen aus dem eigenen ERP-System oder anderen/weiteren Quellen lassen sich recht einfach realisieren.
  • Wer einmal EXCEL-Daten in sein ERP-System übernehmen wollte, kennt die Basteleien. Das geht mit FlowHeater definitiv deutlich schneller.

 

Total Commander lebt! Version 9 Beta1 erschienen

logo_phpBBKein anderes Tool hat derart lange Bestand in meiner Werkzeugkiste, wie der Total Commander. Ich frage mich nach wie vor, wie man effektiv an seinem PC arbeiten soll, ohne das damals noch Windows Commander genannte Schweizer Messer. Ich bin nach wie vor davon überzeugt, dass wenn man bereit ist, die Möglichkeiten zu erforschen, Shortcuts beherrscht und auch mal die Hilfe bemüht, es einfach nichts produktiveres gibt, im Bereich der Datei- und Verzeichnisverwaltung unter Windows.

An der Stelle einmal ein ausdrückliches „Danke schön“ an Christian Ghisler! Im Übrigen hat er noch nie Update-Gebühren verlangt. Und dies seit vielen Jahren nicht. Und auch mit neuer Version wird er es nicht tun. Ich hätte jedes Update bezahlt. Ohne zu überlegen.

In Version 9.0 beta 1 sind folgende neuen Features enthalten:

Es hat nun wenig Sinn diese Liste hier zu wiederholen. Für mich ein Highlight ist die Integration des „Everything„-Tools. Weitere aus meiner Sicht bedeutende Neurungen sind:

  • Ansichtsmodi, können manuell über das Menü „Anzeigen“ oder automatisch durch benutzerdefinierte Regeln umgeschaltet werden
  • Symbole auf den Tabs (Registerkarten) anzeigen, abhängig vom angezeigten Ordner
  • Gedimmte Symbole für versteckte Dateien / Ordner
  • Klick auf Tab-Header bei Option „gesperrt, aber Verzeichnisänderungen erlaubt“ -> ins Basisverzeichnis dieses Tabs zurückkehren
  • Bessere Unterstützung für Bildschirme mit hoher Auflösung
  • Skalierung der Dialogfelder (OverrideDPI) über Konfigurieren – Einstellungen – Schrift
  • Unicode-Unterstützung für descript.ion-Dateien
  • Umbenennen (Umsch+F6): Pfeil nach oben/Pfeil nach unten um zur vorherigen/nächsten Datei zu springen (konfigurierbar)
  • F5 Kopieren/F6 Bewegen: Combobox mit allen geöffneten Tabs und allen Unterverzeichnissen im Zielfenster (Umsch: Quellfenster)
  • F5 Kopieren: leere Verzeichnisse überspringen durch Anhängen von | **\ an die Zeile „nur Dateien dieses Typs“
  • Dateien direkt löschen (nicht in den Papierkorb): Bei Fehlern erst am Ende der gesamten Operation nachfragen
  • Dateien direkt löschen: Neue Option „Alle überspringen“, falls Dateien fehlen
  • „Everything“-Tool benutzen, um auf NTFS-Laufwerken viel schneller zu suchen, wenn möglich auch bei Netzwerklaufwerken
  • Mehrfach-Umbenenntool:
    • Neue Buttons zum Einfügen seltener benutzter Felder
    • Verbesserter Dialog zur Auswahl von Namensbereichen
    • Automatisches Umbenennen in „name (2).ext“, „name (3).ext“ anbieten, wenn es doppelte Namen gibt, oder Namen, die bereits vorhanden sind
  • Lister:
    • Strg+Umsch+Q: Schnellansicht in einem separaten Lister-Fenster öffnen, Inhalt anpassen beim Wechsel zu anderen Dateien
    • Größeren Puffer verwenden, um große Textblöcke ohne Zeilenumbrüche korrekt anzuzeigen
  • Virtuelle Ordner wie die Netzwerkumgebung asynchron einlesen (schnellere erste Antwort) und in Hintergrund-Thread

Dann werde ich jetzt mal mit dem Beta-test beginnen.

 

Papierloses Büro: Halbautomatische Archivierung preiswert realisiert 

Inspiriert durch diesen Artikel von Caschy habe ich einmal schnell zusammen geschrieben, wie ich mein papierloses Büro realisiert habe.

postscan_offce-n-pdff

Mein größtes Problem war bisher die Disziplin. Und das hatte einen einfachen Grund. Das Scannen war ja schon immer schnell erledigt, in meinem Fall mit Scanner Pro für iOS oder mit meinem ScanSnap. Doch dann lagen da einen Haufen hübsch benannter PDFs und die musste man sich alle noch einmal ansehen, um ihnen einen sinnvollen Namen zu geben und sie in eine vernünftige Ordnerstruktur abzulegen. Ich habe mir ein Rezept erstellt, mit dem ich das alles ein wenig automatisiere oder zumindest vereinfache. Und das alles zu recht günstigen Konditionen.  Die Zutaten dazu sind:

 

  1. Abby Finereader Corporate (~189,– € HVK, deutlich preiswerter im Netz zu finden)
  2. Autohotkey (kostenlos)
  3. xpdf  (kostenlos)
  4. Total Commander  (37,– €, lebenslange Updates)
  5. Office-N-PDF (69,– €)

Zu den Kosten: Das sind lediglich ~295 € für eine rechtssichere Langzeitarchivierung, die folgendes kann:

  • Perfektes OCR
    • Hohe Erkennungsraten
    • Automatisch im Hintergrund
    • Ordner auf neue Dateien prüfen und geplant verarbeiten
  • Anhand von Regeln
    • den Zielordner bestimmen
    • Metadaten aus dem Dokument lesen
    • PDF-Metadaten schreiben
    • Alternativ oder optional in Evernote ablegen
    • Belegtyp, Belegnummer, Belegdatum und Kundennummer aus Dokument lesen
    • In ERP importieren oder verlinken
  • Zusätzliche Informationen im Verzeichnis
    • Für das schnelle manuelle Umbenennen
    • Zum Verschieben in die richtige  Ordnerstruktur
    • Um Regeln unkompliziert erstellen zu können

Nächster Schritt ist das automatische Aufteilen großer Dokumente, ebenfalls nach Regeln. Wenn bspw. mehr als eine Leer(Trenn-)seite vorhanden ist, neues Dokument anlegen. Oder wenn sich die Belegnummer ändert. Damit ist es dann möglich, große Stapel zu scannen und später aufzutrennen.

Das Rezept

Zunächst werden alle Dokumente gescannt. Hier ist dann einzig der korrekte Zielort von Bedeutung. Der Pfad, der als Hotfolder in Abbyy Finereader konfiguriert wurde. Dateiname ist noch völlig irrelevant. Da man hier nicht viel denken muss, ist das dann schnell erledigt. Und man kann einen mobilen Scanner auch so einrichten, dass er per Cloud ebenfalls in diesen Ordner überträgt.

Nun kommt ein von mir geschriebenes Skript zur Anwendung. Es ist für/mit Autohotkey entwickelt. Die Autohotkey-Dokumentantation ist sehr umfangreich, daher gehe ich zu AHK hier nun nicht detaillierter ein.

Was macht nun mein Skript?

Es schreibt mit xpdf den vorab erkannten Inhalt der PDF in eine descript.ion Datei im gleichen Verzeichnis. Je Dokument dort ein Eintrag. Dies wird dann im Total Commander sehr praktisch angezeigt:

postscan_totalcommander

Zunächst habe ich hier nun die Möglichkeit, anhand diese Texte, die mit Strg-Z je Datei auch in voller Größe angezeigt werden, die Dateien sinnvoll zu benennen und zu verschieben. Doch mein Skript fängt jetzt erst richtig an:

Es liest aus einer XML definierte Regeln: postscan_xml

Aus diesen geht u.a. hervor, was in die Metadaten der PDF geschrieben, nach welchen Suchworten das Dokument mit der Regeln verknüpft, oder auch, nach welchem Datum, Belegnummer, etc. gefunden werden soll.

Sobald das Skript fündig geworden ist und dann auch noch alle Aufgaben erfüllen konnte, wird die Datei ins Archiv an richtige Stelle, mit sprechendem Dateinamen und informativen Metadaten verschoben. postscan_pdf

Sollte das Skript zwar zum Dokument eine Regel gefunden haben, aber es fehlen erforderliche Daten, wird dies ebenfalls wieder in die descript.ion-Datei geschrieben und ich sehe sofort, für welche Dateien ich die Regeln überarbeiten muss. Im optimalen Fall, habe ich für alle meine eingehenden Belege Regeln definiert. Dann brauche ich nur noch scannen. Sonst nichts. Danach ist der Eingangsordner leer.

Evernote-Integration

Für Dokumente, die ich mobil dabei haben möchte, kann ich Evernote-Daten angeben. Sie werden dann auch gleich mit Tags und ordentlichem Titel dort importiert.

Das Langzeitarchiv

Nun müssen die Dokumente noch gesetzeskonform in ein unveränderliches Langzeitarchiv. Hierzu verwende ich Office-N-PDF von JBSoftware. Diese Lösung hat den für mich den entscheidenden Vorteil: Es importiert Archive aus einer Ordnerstruktur und bildet diese exakt im Kategoriebaum so ab. Und beim Export kann man diese Struktur ebenfalls wiederherstellen. Hieraus ergibt sich in Kombination mit den Metadaten im PDF-Dokument eine völlige Unabhängigkeit. Solange es aber JBSoftware gibt, Office-N-PDF weiterentwickelt wird, kann ich mich an Volltextsuche, schönem Kategoriebaum, gespeicherte Suchen (bspw für Steuererklärung) und vielem mehr erfreuen.

ERP-Integration

Im ERP-System, im meinem Fall TimeLine Enterprise, möchte ich nun ebenfalls diese Dokumente im Zugriff haben. Hier importiere ich, ebenfalls mit meinem Skript, komprimierte, kleinere Versionen der archivierten Dokumente inkl. eines Office-N-PDF-URL zum Archiv, so es dann doch mal das Original sein muss.

Und die Originale?

Die Originale hefte ich in Ordnern, je Jahr, unterteilt je Monat, chronologisch ab. Es wird nichts entsorgt. Durch die Chronologie ist aber dennoch alles immer schnell wiederfindbar. Da brauche ich weder Barcodes noch sonstige Stempel. Da ich mit einem Ordner je Jahr hinkomme, maximal 2, nimmt das alles nicht nennenswert Platz weg.

Fazit

Es war zugegebenermaßen recht viel Arbeit, das Autohotkey-Skript zu schreiben, zumal ich die Sprache auch noch mehr lernen musste. Meine Zeit eingerechnet, ist das vielleicht doch nicht eine so ganz preiswerte Lösung. Aber ich wollte auch AHK lernen. Und ich bin nun unabhängig. Letzteres gerade für meine in mancher Hinsicht wertvollen Dokumente, ein unglaublich wichtiges Argument. Und es ist natürlich auch nicht zu vergessen, dass die Regeln geschrieben werden müssen. Das hatte ich in einer ersten Version alles in einer CSV-Datei. Hier hat sich die Umstellung auf XML wirklich gelohnt. Denkbar wäre nun noch, die Regeln im ERP-System abzulegen. Aber auch das ist meiner geplanten Folgeversion vorbehalten.

 

 

 

 

 

 

Schreibtrainer Tipp10 in neuer Version

tipp10_2016So kann man doch auf die Idee kommen, dass Schreibtrainer ein ausgelaugtes Thema ist und sich keiner mehr die Mühe macht, daran noch etwas zu ändern, oder zu verbessern. Trifft für sehr viele Programme in dem Bereich auf jeden Fall zu. Nicht jedoch bei Tipp10!

Mit vollständig überarbeitetem Layout in der Onlineversion präsentiert sich TIPP10 moderner und effektiver. Das neue Layout passt sich jetzt an die Browsergröße an und bietet so mehr Platz für Inhalte und neue Funktionen. Und vor allem ist TIPP10 jetzt auch mit Tablets besser zu nutzen. Woher wussten die Entwickler, dass das genau das ist, was ich mir gerade gewünscht habe?

Daran dürfen wir uns u.a. erfreuen:

  • Die Größe des Schreibtrainers lässt sich anpassen
  • Für den Schreibtrainer stehen zwei Farblayouts zur Verfügung (hell und dunkel)
  • Das aktive Zeichen kann jetzt auch unterstrichen dargestellt werden
  • Die Lernstatistik hat nun eine Summenzeile, einen Export und erweiterte Filter

Eine Liste aller Änderungen sind hier zu finden: https://www.tipp10.com/de/news/

An der Stelle sein erwähnt, dass Tipp10 kostenlos ist, der Anbieter sich aber über eine Spende freut.

Fazit: Meine klare Empfehlung.

Redmine auf aktuellen Stand gebracht, so ist es abgelaufen

Es braucht gar nicht weiter gelesen werden. Ich habe die Aktion abgebrochen. Ich habe eigentlich jede Hürde gemeistert. Ruby in korrekter Version, Rails und Passenger. Passenger ohne Fehlermeldungen. Mysql2 und weitere Dinge, alles hinbekommen. Keine Fehlermeldungen. Aber es funktioniert dennoch nicht. Auch /public ist korrekt.  Redmine will einfach nicht starten. Nachdem ich derart viel Zeit mit dem Thema verbracht habe, musste ich mir wieder ehrlich gestehen, dass man sowas nicht „mal eben“ macht und man sich mehr als gedacht in die Sache rein hängen muss.

Sollte ich sowas noch einmal in Angriff nehmen, denke ich daran schon mal viel Zeit zu reservieren. Und: Ruby On Rails ist nicht meine Welt.


 

Welche Umgebung liegt vor?

Welche Linux-Version?

zulu1902:~# uname -a
Linux zulu1902.*******.de 2.6.32-5-amd64 #1 SMP Tue May13 16:34:35 UTC 2014 x86_64 GNU/Linux

Welche Distribution?

zulu1902:~# lsb_release -a No 
LSB modules are available.
Distributor ID: Debian
Description: Debian GNU/Linux 6.0.10 (squeeze)
Release: 6.0.10
Codename: squeeze

Welche Ruby-Version ist installiert?

zulu1902:~# ruby -v
ruby 1.8.7 (2010-08-16 patchlevel 302) [x86_64-linux]

Welche Rails-Version ist installiert?

zulu1902:~# rails -v
Rails 2.3.5

 Welche Umgebung ist erforderlich?

ruby 1.9.33, 2.0.02, 2.1, 2.2.1
Rails 4.20

Demnach muss Ruby wie auch Rails zunächst aktualisiert werden. Ich habe es zunächst mit RVM probiert, aber irgendwie ursächlich fieser Fehlermeldungen im Zusammenhang mit MySQL den Faden verloren. Nichts ging mehr. extconf.rb:67:in `<main>‘: uninitialized constant Config (NameError) ist zwar relativ sprechend, auch habe ich erfahren, es es nicht mehr Config sondern RbConfig ist. Aber ist habe die Probleme nicht lösen können. Ein beherztes

rvm implode 

hat dieser Geschichte, deren Sinn ich im Nachhinein gar nicht mehr nachvollziehen kann, ein entsprechendes Ende gesetzt. 

 

1. Update Ruby On Rails

Ich habe Ruby zunächst vom System entfernt. Mit
sudo apt-get remove ruby1.8
war das schnell erledigt. Dann habe ich nach dieser Anleitung Ruby komplett neu eingerichtet. Mit
wget ftp://ftp.ruby-lang.org/pub/ruby/2.3/ruby-2.3.0.tar.gz
heruntergeladen und mit folgenden Kommandos kompiliert und installiert:

cd ruby-1.9.3-p547
./configure --enable-pthread --prefix=/usr/local 
make && checkinstall --type=debian --install=yes --fstrans=no --pakdir='~'

Ein erneuter Versuch… 

Ich laufe noch immer auf viele Fehler, also versuche ich es erneut:

rvm install 2.2.1
rvm use 2.2.1
rvm install rails

Probleme mit Passenger

Leider gibt es erhebliche Probleme bei der Installation des Passenger Application Servers. /mod_passenger.so ist nicht zu finden. Ein beherztes

find -iname mod_passenger.so 

hat mir dann den wahren Ort den Apache-Moduls verraten und ich konnte, abweichend von der Installationsdokumentation, den korrekt Pfad eintragen. Und siehe da, Webserver Apache läuft wieder. Nun mit geladenem Passenger-Modul.

Nun kann das Update Redmine durchgeführt werden

Die Anleitung hierzu habe ich hier gefunden: http://www.redmine.org/projects/redmine/wiki/RedmineUpgrade

1. Backup

Da sowieso jeden Tag ein Backup durchgeführt wird, beschränke ich mich auf die Kontrolle, ob es denn heute auch funktioniert hat. Wobei nur die Datenbank gesichert und auf einen anderen FTP-Server übertragen wird, jedoch nicht die Dateien. Dies mache ich sicherheitshalber auch fix per WinSCP manuell. Zu finden in /usr/share/redmine/files

2. Das Update

Es gibt 2 Varianten: Download des Stable Releases oder Checkout aus einen SVN -Repository. Da Letzteres sehr einfach erscheint, es sind nun 2 Befehle an der Kommandozeile, versuche ich zunächst die 2. Option.

svn update
bundle update