07 Dez Hohe Performance in der Data-Syndication mit CatalogExpress

Bei den Prozessen rund um Ihre Data-Syndication sollten Sie das Thema Performance unbedingt berücksichtigen. Nichts ist für den Nutzer ärgerlicher als lange Warte- oder Reaktionszeiten innerhalb der Produktdaten-Aufbereitung. Im Umkehrschluss bedeutet eine schlechte Performance auch längere Arbeitsabläufe und damit einhergehend sinkt auch die Performance bei den Datenempfängern (Handel, Kunden, Großhändlern, Marktplätze). Eine geringere Sichtbarkeit, schlechtere Listung oder sogar Fehlbestellungen können die Konsequenz sein, wenn Daten nicht rechtzeitig aktualisiert werden.

Daher ist es richtig und wichtig, sich mit der Performance Ihres Data-Syndication-Tools auseinanderzusetzen – am besten noch vor der Tool-Einführung.

In unserem neusten Beitrag erfahren Sie, woran Sie erkennen, ob eine Data-Syndication-Lösung gut performt. Außerdem zeigen wir Ihnen einige Zahlen, Daten, Fakten zur Performance unseres CatalogExpress.

Welche Faktoren sind für eine hohe Performance im Produktdatenmanagement wichtig

Eins vorweg: Eine pauschale Aussage über die Performance in der Data-Syndication bzw. im Produktdatenmanagement ist oft nicht möglich, da diese von der Komplexität Ihrer Produktdaten und Leistung Ihrer Quellsysteme (ERP, PIM) bzw. Zielsysteme (Marktplätze, Kundenportale etc.) oder auch Ihrer Internetverbindung abhängt.

Ein paar 1.000 Produkte lassen sich logischerweise schneller aufbereiten als 80.000 Produkte, die in der komplexen BMEcat-Struktur dargestellt werden sollen. Wenn printfähige Assets übertragen werden müssen, dauert allein diese Übertragung länger.

Dennoch gibt es Indikatoren, die Ihnen wichtige Anhaltspunkte zur Performance in der Data-Syndication geben:

Technologie

Die Technologie gibt Ihnen erste Informationen über die Rechenleistung bzw. den Ressourcenverbrauch oder auch die Ausfallzeiten bei Updates. Nur mit einer cloudfähigen Architektur ist eine echte Skalierung möglich. Dann können Sie auch mehrere Millionen Datensätze verarbeiten.

Wichtig ist auch, dass der Data-Syndication-Prozess flüssig läuft und nicht lokale Systeme (Arbeitsplatz, Server, Quellsystem) dadurch „lahm“ gelegt werden.

Verfügbarkeit

Eine sehr wichtige Kennzahl ist die Verfügbarkeit. Denn Sie möchten sicherlich nicht in eine Lösung investieren, die ständig abstürzt oder gar für mehrere Stunden nicht verfügbar ist, wenn Sie gerade Daten aktualisieren möchten.

Dauer der Datenbereitstellung (End-to-End)

Ein vollständiger Datenbereitstellungsprozess sieht unterschiedliche Prozessschritte vor. Typische Schritte sind z.B.:

• Datenimport von Quellsystemen
• Datentransformation
• Datenvisualisierung
• Assetabholung
• Assettransformation
• Generierung der Exporte oder Productfeeds
• Distribution der Daten

Wie eingangs schon erläutert, ist es aufgrund von unterschiedlichen Rahmenbedingungen schwer, die Dauer der Datenbereitstellung zu pauschalisieren. Wie schnell können beispielsweise die Quellsysteme Daten ausliefern?

Unserer Erfahrung nach gibt es hier Systeme, die mehrere parallele Datenabfragen nicht unterstützen oder zumindest sehr langsam werden. Sie können also nur Aussagen zur Performance treffen, wenn Sie verschiedene Data-Syndication-Lösungen mit ähnlichen oder noch besser gleichen Use-Cases vergleichen und die Performance unabhängig von äußeren Einflüssen messen.

Zahlen, Daten, Fakten zur Performance von CatalogExpress in der Data-Syndication und BMEcat-Generierung

Sie haben nun einige allgemeingültige Fakten zur besseren Performance-Einschätzung von Data-Syndication-Lösungen kennengelernt. Sie fragen sich jetzt sicherlich auch, was davon kann der CatalogExpress überhaupt leisten? Dazu gibt es jetzt spannende Einblicke in die Welt der Zahlen und Performance-Daten unseres Produktdatengenerators CatalogExpress.

Technologie

Mit dem Cloud-Ready System bietet Ihnen CatalogExpress eine hohe Performance und Sie sparen Rechenleistung. Denn die benötigten Cloud-Ressourcen werden nur dann genutzt, wenn sie benötigt werden. Während Ihr elektronischer Katalog im Hintergrund erstellt wird, können Sie ohne Probleme am nächsten Katalog arbeiten oder auch andere Arbeiten auf Ihrem Rechner erledigen. Kurz gesagt: CatalogExpress legt ihren PC nicht „lahm“ und auch auf Serverseite arbeitet CatalogExpress hocheffizient, ohne die technischen Ressourcen zu sehr in Anspruch zu nehmen

Verfügbarkeit

CatalogExpress war im letzten Jahr weniger als 5 Minuten ungeplant nicht verfügbar. Das sind mehr als 99,99% Verfügbarkeit.

Durch unsere CI/CD-Strategie entstehen nahezu keine Ausfallzeiten bei Updates. Unter anderem werden Updates nur dann eingespielt, wenn keine Aktionen auf den Systemen laufen, so dass Ihre Benutzer davon nichts mitbekommen. In 2023 werden wir noch einen Schritt weiter gehen und mit Rolling-Updates über den Kubernetes-Cluster selbst diese “nicht-Verfügbarkeiten” eliminieren.

Dauer der Produktdaten-Bereitstellung – Geschwindigkeit ist keine Hexerei

Die Dauer der Datenbereitstellung, also der Katalogerstellung, zeigen wir Ihnen anhand von zwei Use Cases aus der Praxis.

Szenario 1:  Wie lange dauert es einen BMEcat aus über 1 Millionen Produkten zu generieren?

Konkret geht es darum 1.074.595 Produkte aus unterschiedlichen XML-Dateien als BMEcat 2005 mit ECLASS Klassifizierung und Textmerkmalen auf Knopfdruck und ohne parallele Prozesse zu generieren. Bei diesem Use Case handelt es sich um einen der großen Kataloge, die mit CatalogExpress generiert werden. Hier die Performance-Daten im Detail einmal hochgerechnet:

Die Geschwindigkeit der kompletten BMEcat-Generierung in CatalogExpress dauert 49:15 Minuten. Dabei ist die Dauer des Ende-zu-Ende-Prozess gemeint. Also vom Laden der Quelldaten (hier z.B. mehrere XML-Quellen, ca. 12 Minuten) über das Transformieren der Daten in eine durchaus tiefe BMEcat-Struktur (ca. 27 Minuten) und das Bereitstellen der Daten über eine Distribution (ca. 10 Minuten).

Klar sind diese bloßen Zahlen ohne Vergleichswerte schwer zu interpretieren. Dennoch hilft Ihnen vielleicht der Vergleich eines Word-Dokuments, um die beeindruckende Performance des CatalogExpress noch besser zu begreifen:

Der fertig erstellte BMEcat aus diesem Szenario umfasst stolze 5 GB. Es handelt sich dabei um Text im XML-Format. Zum Vergleich: 200 Seiten reiner Text in einem Word-Dokument machen in etwa 1 MB aus (Quelle: https://www.gutefrage.net/frage/wie-viel-text-auf-1gb-).  Hochgerechnet auf 5 GB entspricht das 1 Mio. Textseiten in Word. Wenn Sie sich das einmal vor Augen halten, sind das jede Menge Daten.

Szenario 2 Erstellung eines Produktdatenkatalogs von 300.000 Produktdaten innerhalb von 15 Minuten

Bei einer Ausschreibung im Bereich Data-Syndication ging unser CatalogExpress ins Rennen. Zielsetzung war es 4 Kataloge mit je 90.000 Produkten innerhalb von 15 Minuten auszulesen, zu transformieren und wieder bereitzustellen. CatalogExpress schaffte es in unter 20 Minuten und legte damit die beste Performance aller teilnehmenden Anbieter hin.

Schnelle BMEcat Erstellung und hohe Performance in der Data-Syndication mit CatalogExpress

Tatsächlich können Sie mit CatalogExpress auch noch weitaus größere Datenmengen verarbeiten, als in unseren Szenarien beschrieben. Darauf haben wir beim Design der Architektur viel Augenmerk gelegt.

Mit der Guru-Variante von CatalogExpress haben Sie außerdem die Möglichkeit, Ihre Performance noch weiter zu steigern. Mithilfe von parallelen Prozessen erstellen Sie dort verschiedenste elektronische Produktkataloge gleichzeitig. Ihre Data-Syndication-Prozesse und die Geschwindigkeit bei der BMEcat-Generierung werden weiter beschleunigt.

Für alle, die noch mehr wollen: Wir können individuell noch weitere Optimierungen vornehmen. Sprechen Sie uns an und vereinbaren Sie ein unverbindliches Beratungsgespräch.