Datenimporte in die imx.Platform

Datum: 10. November 2017
Autor*in: Tobias Pfannkuche


Aufgrund der kontinuierlich steigenden Anzahl externer Datenlieferanten bzw. der Anbindung von Schnittstellen im Rahmen von Datenimporten und damit verbundenen wiederkehrenden Fragen, hier eine Zusammenfassung der Kern-Anforderungen, um Daten von Drittanbietern in die imx.Platform zu übernehmen, sowie Grundfunktionalitäten für Datenimporte.

Anforderungen

Grundsätzlich sind folgende technischen Anforderungen einer Schnittstelle, die wir zwecks Datenübernahme/-import nutzen wollen, zu erfüllen:

  • Strukturiertes Datenformat (XML, JSON, CSV), idealerweise in UTF-8 Codierung
  • einheitliche Datentypen pro Feld
  • Pro Entität (s.u.) eine eindeutige, unveränderliche Fremd-ID
  • Anbindung mittels HTTP/REST-API (inkl. BasicAuth oder OAuth) oder FTP (Push oder Pull)

Daten-Entitäten

Die folgenden Daten-Entitäten können in die imx.Platform importiert werden. Für jeden Entitäts-Typ müssen von einem Datenlieferanten die beschriebenen Informationen bereitgestellt werden.

Stammdaten (Hotel, Unterkunft o.ä.) / Point Of Interest (POI)

  • Titel
  • Adressinformationen (PLZ, Ort)
  • optional: Beschreibungstext
  • optional: Geo-Informationen
  • optional für Stammdaten: Modul-Daten und Medien
  • optional: Typisierung (Spielstätte, Veranstalter)

Angebot

  • Titel
  • Preisinformationen (u.a. Preise von/bis/absolut; Preiseinheiten; kostenlos)
  • Verfügbarkeit (Datum von/bis)
  • optional: Beschreibungstext
  • optional: Modul-Daten und Medien

Veranstaltung

  • Titel
  • optional: Beschreibungstext
  • POI-Zuweisung (Spielstätte/Veranstalter); hier kann auch auf festgelegte, bereits existierende POIs zurückgegriffen werden („Fallback-POIs“)
  • Termin-Informationen
  • optional: Buchungsinformationen (global oder auf Termin-Basis)
  • optional: Mapping-Definitionen (Kategorien, Merkmale)
  • optional: Medien

Darüber hinaus gibt es noch weitere Datenfelder, die hier nicht aufgeführt sind und im Einzelfall analysiert und abgestimmt werden. Außerdem lassen sich auch einmalige Datenübernahmen von sogenannten „Basis-Entitäten“ umsetzen, wie Veranstaltungs-Kategorien, Betriebsarten, etc.

Im Idealfall wird vom Kunden in Zusammenarbeit mit dem Projektmanager bereits ein Feld-Mapping erstellt, welches als Arbeitsgrundlage für die technische Umsetzung der Datenübernahme dient.

Modul-Erweiterungen

Sowohl die Stammdaten als auch Veranstaltungen bieten die Möglichkeit von kundenspezifischen Erweiterungen (Module). Hier können je nach Anforderung und Datenlieferant spezialisierte Lösungen umgesetzt werden.

Mehrsprachigkeit

Werden über eine Datenquelle mehrsprachige Informationen geliefert (bspw. für Titel, Beschreibungstexte, o.ä.) so können diese je nach Setup der imx.Platform problemlos übernommen werden.

Import-Strategien

Es werden die folgenden Strategien für Datenimporte unterstützt:

  • nur neue Datensätze werden hinzugefügt, bestehende Datensätze bleiben unverändert
  • neue Datensätze werden hinzugefügt, bestehende Datensätze werden aktualisiert
  • neue Datensätze werden hinzugefügt, bestehende Datensätze werden aktualisiert, fehlende Datensätze einer Datenquelle werden deaktiviert. Hinweis: diese Import-Strategie ist nur dann sinnvoll, wenn eine Datenquelle immer ein vollständiges Set an Daten liefert!

Für die Aktualisierung von Datensätzen wird pro Daten-Importer definiert, welche Felder der zu aktualisierenden Entität vom Import überschrieben werden sollen und welche Felder unverändert bleiben. Es lassen sich bei Bedarf kundenspezifische Logiken umsetzen oder es kann Standard-Funktionalität genutzt werden. Die Definition von ausgewählten Feldern, deren Inhalte vom Import überschrieben werden, ist insbesondere dann sinnvoll, wenn von Kundenseite bei importierten Datensätzen Änderungen und/oder Anreicherungen stattfinden sollen.

Vollimport vs. Deltaimport

Um die Menge von Aktualisierungsoperationen zu minimieren und damit unnötige Datenbank-Updates zu vermeiden, gibt es die Möglichkeit, auf Basis eines Zeitstempels der letzten Änderungen eines Datensatzes an der Datenquelle (ChangeDate / lastModifiedDate) nur diejenigen Datensätze in der imx.Platform zu aktualisieren, die sich seit dem letzten Datenimport für einen gegebenen Datensatz geändert haben. Die Steuerung dieser Logik lässt sich mittels Konfigurations-Einstellungen umgehen, etwa wenn aus bestimmten Gründen nochmals ein Vollimport notwendig ist.

Standard-Datenimport

Sollte ein Datenlieferant keine verfügbare Schnittstelle vorliegen haben bzw. eine Neuentwicklung angestrebt werden, gibt es für den Import von Veranstaltungs- und POI-Daten (Spielstätte, Veranstalter) ein standardisiertes XML-Format, um Daten in die imx.Platform zu importieren. Mittels einer speziellen Administrations-Funktionalität in der imx.Platform können die sogenannten „Standard-Importer“ konfiguriert werden, für die Aktivierung muss lediglich für das jeweilige Kundenprojekt ein Cronjob eingerichtet werden.


Kommentare

Selber kommentieren:






Weitere Beiträge zum Thema Technologie


Bilder SEO – Bisher eigentlich komplett vernachlässigt

Autor*in: Axel Güldner


Technologie // User Experience & Design


Heute möchte ich ein Thema anschneiden, welches bisher wohl so niemand auf dem Schirm hatte (ich zumindest habe bisher keinen Gedanken daran verschwendet). Aber als ich dann in einem anderen Blog darüber gelesen habe, hat mich dann sofort die Faust der Erkenntnis getroffen, ähnlich einer Brockhaus-Enzyklopädie, die einem ins Gesicht fällt. Wir bemühen uns immer …


Beitrag lesen
07
FEB
12

HTML5 Polyfill

Autor*in: Sascha Nützel


Technologie


Nachdem das „required“- Attribut im Safari nicht funktioniert, bin ich auf die Suche nach einem Polyfill gegangen. Dabei bin ich auf folgende Bibliothek gestoßen: https://github.com/aFarkas/webshim Die Einbindung gestaltet sich recht simpel und wird hier https://github.com/aFarkas/webshim#installation-and-usage gut erklärt. Es besteht auch die Möglichkeit, nicht alle Module einzubinden sondern nur vereinzelt gebrauchte (z.B. ‚forms‘). Das Portalseitige Minify muss für …


Beitrag lesen
31
AUG
16

Einrichten des GoogleTagManagers

Autor*in:


Technologie


Zum Hintergrund: seit kurzem verwenden wir den GoogleTagManager(GTM) bei den Hörnerdörfern. Ziel ist es die diversen Analytics Accounts die hier verwendet werden (Bolsterlang, Fischen etc.) unter einen Hut zu bringen. Hierzu kann man im Tagmanager Profil Regeln und Tags erstellen, anhand derer das Tracking dann ausgeführt wird (dazu später mehr). Ermöglicht  wird das Ganze über …


Beitrag lesen
26
AUG
14

Netbeans und GIT

Autor*in: Florian Müller


Technologie


Ich habe mich mal während der Arbeit mit Git mit den Git Hooks beschäftigt. Ziel war es, unnötige Builds in der Pipeline zu vermeiden, welche aufgrund von Lintern fehlschlagen. Dazu wollte ich einen Pre-Commit Hook einsetzen. Ein simpler Hook, welcher vor einem Commit ausgeführt werden sollte: Wenn man über die Command line commiten will, wird diese auch …


Beitrag lesen
21
APR
17