Google Analytics mit Pentaho Data Integration

Google Analytics - automatisierte Datenerhebung mit Pentaho Dataintegration

In Bereichen bei denen täglich neue Daten aus unterschiedlichen Quellen gesammelt und ausgewertet werden ist es sinnvoll Verfahren zu entwickeln, die eine automatisierte Erhebung und Analyse der Vielzahl an unterschiedlichen Daten ermöglichen. In der Webanalyse werden aus verschiedenen Datenquellen wie Tracking-, Controlling-Systeme und bestimmten e-Commerce-Tools in zeitlich unterschiedlichen Abständen Daten erhoben. Arbeiten Webanalysten ohne automatisierte Verfahren, so wächst deren Aufwand mit der steigenden Anzahl an Daten und den damit verbundenen Analysen.

Schaubild Datenzusammenführung durch pentaho

Im folgenden Beitrag wird die Business-Intelligence Software Pentaho Data Integration (PDI, auch Kettle genannt) vorgestellt, mit der automatisierten Datenerhebungs- und Analyse-Verfahren möglich sind. Wir erklären Ihnen, wie Sie unterschiedliche Dimensionen und Metriken aus einem Google Analytics Account entnehmen und wie Sie diese Daten in eine Output-Datei (bspw. Excel) exportieren sowie abspeichern.

Schritt 1: Installation von Pentaho Data Integration

Um die BI-Lösung auf dem Rechner nutzen zu können muss zunächst der folgende Link aufgerufen werden:

https://sourceforge.net/projects/pentaho/

Über den Download-Button kann Pentaho Data Integration heruntergeladen und anschließen installiert werden.

Bemerkung:

Falls Sie Java SE Development Kit 8u77 noch nicht auf Ihrem Rechner installiert haben, ist es notwendig dieses Kit ebenfalls zu installieren. Die Installation ist über folgende Seite möglich:

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Schritt 2: Pentaho Data Integration laden

Nach der erfolgreichen Installation, wird das BI-Tool wie folgt aufgerufen:

  1. Den Ordner „data-integration“ auf dem Rechner öffnen
  2. Datei „Spoon“ öffnen (dies ist eine bat-Datei)
Spoon Datei

Schritt 3: Erste Pentaho Transformation vorbereiten

a) Nachdem Spoon geladen ist kann eine Transformation über den Reiter File | new | Transformation bzw. über CTRL+N erzeugt werden.

Dadurch werden verschiedene Ordner bzw. Objekte sichtbar: 

Spoon Test

b) Da wir uns in diesem Beitrag mit der automatisierten Datenerhebung aus Google Analytics beschäftigen, wählen wir aus dem Ordner Input das Feld Google Analytics Hierfür klicken wir mit der linken Maustaste einmal auf Input und ziehen das Objekt Google Analytics mit gedrückter linker Maustaste auf die leere Fläche.

Spoon Ausschnitt

c) Anschließend kann über einen Doppelklick auf Google Analytics im Transformationsbereich das Objekt geöffnet werden. In der geöffneten Maske können Sie dadurch Ihre individuellen Daten angeben.

Google Analytics Input Step
 

Damit die automatisierte Datenerhebung erfolgen kann, müssen diese folgenden Felder in den Google Analytics Connection Settings ausgefüllt werden:

  • OAuth Service Email
  • KeyFile

d) Damit wir die Informationen für die oben genannten beiden Felder erhalten, muss an dieser Stelle Pentaho Data Integration zunächst minimiert und folgender Link aufgerufen werden, um auf die Google Analytics Entwicklerumgebung zu gelangen: https://console.cloud.google.com/ 

Exkurs: Google Analytics API – eindeutiger Schlüssel für den Datentransfer

a) Wurde der oben genannte Link geöffnet erscheint ein Fenster, bei dem Sie einen Projektname angeben sollen. Falls bereits ein anderes Projekt angelegt wurde, muss auf „create a project“ geklickt werden, um Folge Ansicht zu erhalten.

Eingabe Projektname

Anstatt „My Project“ kann ein beliebiger Name an dieser Stelle vergeben werden. Beispielsweise „Google Analytics Test API“. Über „Create“ wird die Eingabe bestätigt.

Eingabe Projektname

b) Auf der folgenden Seite zeigt der API Manager von Google unterschiedlich viele API für die jeweiligen Produkte an. Wir interessieren uns in diesem Fall für die Google Analytics API, deshalb muss unter „Other popular APIs“ die Analytics API angeklickt werden.

Populäre APIs

c) Über den „enable-Button“ wird die API aktiviert. Nach der Aktivierung erscheint jedoch folgende Meldung:

Analytics API

Damit wir die API für dieses Projekt auch nutzen können, müssen also noch Zugangsdaten erstellt werden. Dafür ist ein Klick auf „Go to Credentials“ notwendig.

d) Auf der Folgeseite sollte im Anschluss unter „create credentials“ der dritte Punkt „Service account key“ ausgewählt werden.

APIs

e) Zur Erstellung dieses Schlüssels kann unter „Service Account“ ein eindeutiger Account Name für eine bessere Übersicht (falls mehrere Schlüssel erstellt werden oder bereits erstellt sind) eingeben werden.

Unter „Key type“ sollte „P12“ ausgewählt werden und mit „create“ sollten Sie die Eingabe bestätigten.

Kreiere einen Service Account Schlüssel

f) Der erstellte Schlüssel muss nun heruntergeladen und auf dem Rechner gespeichert werden. Wird an dieser Stelle der Schlüssel nicht ordnungsgemäß heruntergeladen, gibt es keine Möglichkeit mehr die Datei zu erhalten.

g) Im letzten Schritt klicken wir auf „Manage service accounts“ und notieren uns die „Service Account ID“ sowie die „Key ID“.

h) Anschließend kann die Entwicklerumgebungs-Webseite von Google geschlossen und Google Analytics aufgerufen werden. Je nachdem aus welchem Google Analytics-Konto man Daten erheben möchte, wählt man dieses Konto aus und fügt unter „Verwalten | Nutzerverwaltung“ die erstellte Service Account ID hinzu.

Berechtigung für folgenden Nutzer hinzufügen

Schritt 4: Erste Pentaho Transformation durchführen

Nachdem alle Schritte im API Manager bzw. Google Developer Console und Google Analytics (Verwaltung) durchgeführt wurden, kann wieder Pentaho Data Integration aufgerufen werden.

a) Wir öffnen wieder „Google Analytics Input Step“ und fügen für das Feld „OAuth Service Email“ die für die Google Analytics API erstellte „Service Account ID“ ein.

b) Nun klicken wir auf „Browse“ neben dem „Key File“ Feld und laden die Datei die wir in der Google Analytics Entwicklerumgebung erstellt haben. (siehe Exkurs).

c) Unter „Application Name“ kann optional noch ein Name für die Applikation vergeben werden.

d) Im letzten Schritt dieser Konfiguration klicken wir auf „Get profiles“ neben dem Feld „get tableld from profile“. Nach wenigen Sekunden ist die Verbindung zu Google Analytics hergestellt.

Google Analytics Input Step

e) Damit ist die „technische“ Konfiguration abgeschlossen. Darauf aufbauend können wir auswählen welche Dimensionen und Metriken in welchen Zeitraum gezogen werden sollen. Zudem kann festgelegt werden, ob bei bestimmten Daten Filtereigenschaften ausgeschlossen/eingeschlossen werden sollen.

In dieser Voreinstellung werden für den 07.04.2016 alle Visits für die Dimension „Browser“ gezogen.

Query Definition

f) Im letzten Schritt ziehen wir über „Get Fields“ die gewünschten Daten und bestätigen die Auswahl mit „OK“.

g) Dann wird noch eine Output-Datei benötigt. Diese Output-Datei kann eine Excel-Datei, eine Access Datenbank oder ein Visualisierungs-Tool sein. Wir wählen an dieser Stelle die Excel-Datei (Microsoft Excel Output). Dieses Objekt kann erneut mit der gedrückten linken Maustaste nach rechts verschoben werden.

Output

h) Um eine Verbindung zwischen der Input- und Output-Datei zu erstellen gehen wir mit der Maus über der Input-Datei „Google Analytics“ wodurch direkt darunter vier Auswahlmöglichkeiten erscheinen. Wir wählen das vierte Zeichen, ganz rechts. Es wird ein Pfeil angezeigt. Ohne gedrückte Maustaste bewegen wir den Pfeil zur Output-Datei und klicken mit der linken Maustaste darauf. Damit ist die Verbindung hergestellt.

Google Analytics zu Microsoft Excel Output

i) Mit Doppelklick auf „Microsoft Excel Output“ können wir optional noch einen Namen für die xls-Datei vergeben und über „Browse…“ noch einen Zielort zum Speichern der Datei angeben.

Microsoft Excel Output

j) Über das Play-Zeichen können wir nun endlich die Transformation starten.

Google Analytics zu Microsoft Excel Output

Anschließend klicken wir bei der nächsten Anzeige „Execute a transformation“ auf „Launch“.  Damit wird die Excel-Datei mit den gewünschten Daten befüllt und am Zielort abgespeichert.

Diese Datei kann nun im Zielordner geöffnet werden.

Excel Tabelle

Damit haben wir gemeinsam eine kleine Excel-Datei erstellt, ohne uns in Google Analytics anmelden zu müssen. Natürlich können noch jede Menge weitere Metriken, Dimensionen, aber auch mathematische Funktion (u.v.m.) eingefügt und ausgeführt werden. In den nächsten Artikeln werden wir Stück für Stück die Komplexität der Datenerhebung und Datenanalyse mit Pentaho Data Integration anheben.

IT-WINGS NEWSLETTER

Bleiben Sie immer up to date!

Weitere Blogbeiträge

Mann im Anzuf malt mit Stift einen leuchtenden, aufsteigenden Graph

Tracking-Tools

Tracking-Tools: Infos, Funktionen & Anbieter Einer der wichtigsten Einblicke, die man als Online Marketer gewinnen kann, ist der über das Nutzerverhalten auf einer Website. Um an diese wichtigen Daten kommen

Weiterlesen »
Mensch hält Handy in der linken Hand und vor ihm steht ein Laptop auf einem Tisch

Position-Zero

POSITION ZERO: Ist Platz 1 nicht mehr genug? Das SEO-Ziel schlechthin ist für die Meisten immer noch: Das Ranking auf dem ersten Platz der Suchergebnisse. Doch dieser erste Platz wird

Weiterlesen »