Skip to main content

Sobald eine Seite sehr viele Produkte haben soll, stößt man schnell an das Problem, dass es trotz unserer Import-Schnittstelle von Amazon relativ lange dauert 1.000 oder mehr Produkte zu importieren. Das liegt daran, dass Amazon pro Abfrage maximal 10 Produkte liefert. Während andere Partnerprogramme wie zanox oder affilinet oftmals eine CSV Datei der Shops anbieten, die mit Hilfe unserer WP All Import Extension relativ einfach importiert werden kann, gibt es sowas bei Amazon nicht.

Aber wir wären ja nicht wir, wenn wir für dieses „Problem“ keine Lösung parat hätten. 😉 Wir erstellen uns einfach selbst eine CSV für die Amazon Produkte. Dazu brauchen wir theoretisch nur die Namen und die ASIN der Produkte und sobald diese beiden Daten eingegeben sind, werden fehlende Informationen (Preis, Bilder, Ref-Link, etc.) beim Aktualisieren automatisch gezogen. Um eine solche CSV Datei zu erstellen gibt es nun mehrere Möglichkeiten.

Die technisch simpelste, aber auch aufwendigste Lösung wäre es das ganze per Hand anzulegen. Dazu öffnen wir Excel und schreiben in Spalte 1 die ASIN des Produktes und in Spalte 2 den Namen, speichern es als CSV und machen beim letzten Schritt dieses Artikels weiter.

Option 2: wir automatisieren diese Arbeit mit Hilfe von data-miner.io!


Bevor wir loslegen noch 2 wichtige Infos:

ACHTUNG!

An dieser Stelle der Hinweis, dass es bei extrem großen Mengen an Produkten unter Umständen zu Problemen beim Aktualisieren der Produktdaten kommen kann. Bei einem typischen all-inkl.com Webspace, schafft der Cronjob z.B. pro Durchlauf ca. 100 Produkte.

Stellt ihr den Aktualisierungszyklus nun auf eine Stunde, schafft es euer Webspace also ca. 2400 Produkte aktuell zu halten. Wenn der Cronjob höher gestellt wird, frisst das natürlich sehr viele Ressourcen auf eurem Webspace und kann dazu führen, dass euch euer Hoster ermahnt diesen Verbrauch einzuschränken, da es alle User auf dem Server betrifft.

Daher nicht einfach wahllos Produkte en masse importieren, sondern mit Bedacht arbeiten! 🙂

INFO!

Um mehr Produkte in kürzerer Zeit zu aktualisieren, empfiehlt es sich den Cronjob für die Aktualisierung manuell zu starten. Dazu könnt ihr externe Dienste wie z.B. Cronjobs.de verwenden, oder den Cronjob direkt bei eurem Hoster anlegen (sofern dieser die Funktion unterstützt).

Den Link zum manuellen Cronjob findet ihr im Punkt „Debug“ in eurem Backend. Damit es nicht zu Überschneidungen kommt, sollten die internen WordPress Cronjobs deaktiviert werden. Dazu folgenden Code-Schnippsel…

define('DISABLE_WP_CRON', 'true');

…in die WP-Config einfügen.


Wie funktioniert Data Miner?

Data Miner ist ein kleines Tool, welches eine Webseite untersucht, verschiedene Daten aus dem Quelltext zieht und diese anschließend in einer CSV ablegen kann. Für Technik-Laien wird es nun etwas komplexer, da wir hier mit Fremdwörtern wie XPath arbeiten, aber es wird ja alles gut erklärt und eigentlich ist es nur noch Copy/Paste.

Los geht’s!

Als erstes müssen wir uns die Chrome Extension Data Scraper installieren und uns einen kostenlosen Account bei data-miner.io einrichten. Bei einem kostenlosen Account haben wir bis zu 500 Abfragen pro Monat, was je Amazon-Seite mit 24 Produkten bis zu 12.000 Produkte bedeutet. Damit kann man, denke ich, arbeiten. (*hust* zur Not gibt’s ja wegwerf-E-Mail-Adressen, *hust*)

Wir navigieren nun bei amazon.de in die Kategorie, aus der wir die Produkte importieren wollen. Für unser Beispiel verwenden wir die Kategorie Elektronik » Kamera » Digitalkamera » Spiegelreflexkameras. Natürlich kann man an dieser Stelle nun noch deutlich detaillierter filtern, zum Beispiel nach Megapixel, Marke, Preis oder Bewertung. Insbesondere das Sortieren nach Marken und „Unter-Typen“ macht in so fern Sinn, wenn man die Produkte auch direkt in verschiedene Kategorien einsortieren will. In unserem Beispiel bleiben wir nun aber etwas „oberflächlich“ und arbeiten mir der ungefilterten Hauptkategorie.

Sobald unsere „Filtereinstellung“ wie gewünscht ist klicken wir oben rechts bei Chrome auf das Data Miner Icon und kurz darauf öffnet sich ein kleines Dropdown in dem schon jede Menge vordefinierter „Recipes“ zu finden sind. Wir klicken jedoch auf „Create Recipe“ und erstellen uns ein eigenes, so wie wir es brauchen.

Data Miner Einstellungen

Auf der linken Seiten finden wir nun verschiedene Einstellungsmöglichkeiten, die innerhalb verschiedener Toogles versteckt sind.

1. Auto Pagination Settings

Als erstes definieren wir die Pagination, sodass Data Miner automatisch weitere Seiten scrapen kann. Dazu tragen wir folgende Werte ein:

  • XPath for Next page: //span[@id='pagnNextString']
  • Navigation Type: Click on Element Specified
  • Time Between Page Navigation: 10

2. XPath for Rows

Hier wird nun festgelegt, wann eine neue Row (also Tabellenzeile) erstellt werden soll, das passiert natürlich nach jedem Produkt:

  • XPath: //*[contains(@class,'s-result-list')]/li

3. Xpath for Columns

In diesem Abschnitt definieren wir nun die einzelnen Spalten der Tabelle und geben an, welche Informationen wir brauchen. In unserem Beispiel wie gesagt nur Title und ASIN. Dazu geben wir im linken Teil den XPath-Code an und legen rechts davon den Namen der Spalte fest. Hier fügen wir folgende Werte ein:

  • @data-asin ASIN
  • .//a/h2/@data-attribute TITLE

Über einen Klick auf das Zahnrad-Symbol können wir noch definieren, welchen Wert wir aus den HTML-Tags ziehen wollen, in dem Fall sollte es auf Text stehen (ist es auch per Default).

Die üblichen Settings lassen wir so wie sie sind bzw. leer und testen nun unser Rezept durch das Klicken auf den Scrape-Button und sollten daraufhin mehrere Einträge erhalten.

data-miner-recipe

Wenn das geschafft ist klicken wir nun links im Toggle „Auto Pagination“ auf den Test Next Page -Button. Im Hintergrund sollte sich nun der Browser auch neugeladen haben und wenn wir auf die Amazon-Seite schauen und runter scrollen müsste die Pagination auf auf Seite 2 stehen.

amazon-pagination-page-2

Wenn das bei dir nun auch so aussieht, klicken wir auf Start Auto Pagination und lehnen uns kurz zurück. Data Miner geht nun die komplette Kategorie durch, Seite für Seite, und sammelt fleißig die von uns definierten Daten. Ich geh in der Zeit eine rauchen und mach mir einen Kaffee.

So, wieder da und Data Miner arbeitet noch. Nach ca. 10 Minuten ist unser Crawl dann auch fertig und hat alle Produkte aus dieser Kategorie gefunden. Nicht erschrecken, dass im rechten Fenster nur wenige Produkte stehen, die Liste zeigt immer nur die aktuelle Seite an, in der Leiste unten steht aber bei Accumulated Rows die gesamte Anzahl der gesammelten Daten.

Wir klicken nun rechts unten auf den Button Download und erhalten eine CSV Datei die wir im Anschluss über die WP All Import Extension in unser System importieren können.

CSV via WP All Import importieren

Schritt 1: Wir klicken im Backend beim Punkt „All Import“ auf „New Import“, wählen die Datei aus und definieren anschließend Erstelle neue Produkte, über das Dropdown.

Schritt 2 zeigt nun ein Beispiel Datensatz, hier müssen wir keine Änderungen vornehmen und können direkt weiter.

Bei Schritt 3 ziehen wir per Drag & Drop die asin und den title von der rechten Seite in die entsprechenden Felder. Der Title ist oben das erste Feld und die ASIN finden wir unter dem Punkt „Affiliate Theme – Produktinformationen“ (lautet in dem Fall Artikel-Nr.). Ebenfalls hier findet man die beiden Einstellungen Portal & Shop, wo jeweils Amazon ausgewählt werden muss.

Bei Schritt 4 ziehen wir in das Feld Unique Identifier noch die ASIN von der rechten Seite und klicken anschließend auf weiter, bevor wir auf der nächsten Seite nochmals ein paar finale Informationen finden und den Import-Vorgang über den Button Bestätigen & Import starten ausführen.

Das dauert nun wieder ein paar Minuten und sobald wir durch sind finden wir unter dem Menüpunkt Produkte nun unsere importierten Artikel. Damit wir nun die Daten wie Preis, Bilder und Link bekommen müssen wir unter dem Punkt Import »  Amazon » Einstellungen diese Daten natürlich auf Aktualisieren gestellt haben! Um den Updateprozess direkt anzustoßen gehen wir nun auf den Punkt Debug und scrollen ans Ende zu „Cronjobs manuell ausführen“. Dort rufen wir nun den Link der Amazon API im Browser auf und warten erneut kurze Zeit. Je nach Menge der Produkte, der Einstellung ob externe oder interne Bilder und die Scriptlaufzeit des Servers etc. muss der Cronjob eventuell mehrmals ausgeführt werden, damit alle Produkte aktualisiert werden (alternativ werden die Produkte aber auch durch den automatischen Updateprozess innerhalb der nächsten X Stunden aktualisiert). Und voilà, fertig!


Update (10.11.2016 – 13:40):

Da die Frage aufkam, ob das ganze nicht gegen die AGB von Amazon verstößt hier ein kleines Updates.

Kurz und knapp: Nein! Da wir bei diesem Vorgehen keine „versteckten“ Daten abfragen ist alles in Ordnung und Amazon kennt das Tool und hat dagegen keine Maßnahmen ergriffen (und plant das auch nicht).


Update (06.04.2017):

Passende Video-Anleitung unseres Partners mutric.com

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden


Ähnliche Beiträge


Kommentare

Damian Wilk 28. Januar 2017 um 17:27

Hallo, wo genau kann ich den wp-config meiner Webseite finden? Ich wollte dort Euren Code: define(‚DISABLE_WP_CRON‘, ‚true‘); einfügen, und den Cronjob bei meinem Hoster aufsetzen

Antworten

André 29. Januar 2017 um 1:36

Hey Damian. Die findest du auf deinem FTP Server im Hauptverzeichnis, wo WordPress liegt. 🙂

Antworten

Ylli Binakaj 5. Februar 2017 um 20:29

Hi danke für den Beitrag. Leider kann ich bei Punkt 3 CSV via WP All import importieren kein Feld mit "Affiliate theme Produktinformation" oder gar Artikel Nummer oder ähnliches finden. Nicht mal etwas wo ich die URL eingeben kann. Muss ich hier die Vollversion von WP All import besitzen?

Antworten

André 6. Februar 2017 um 11:55

Nein, du brauchst die Vollversion nicht. Dafür haben wir ja extra die WP All Import Extension (https://affiliatetheme.io/extensions/wp-all-import-addon/) erstellt. Vermutlich hast du die nicht installiert. 🙂

Antworten

Stephan Ott 17. Februar 2017 um 22:00

Hi André!
Kann es sein, dass sich am Setting was geändert hat? Bekomme ständig die Meldung "No data avaiable in table" zudem ist bei Auto Pagination alles grau (kann es also nicht aktivieren). Danke für deine Antwort.

Antworten

André 27. Februar 2017 um 9:37

Hey Stephan, mir ist nichts bekannt und es funktioniert soweit wunderbar.

Antworten

Tom Tom 19. März 2017 um 23:23

Hallo.
Danke für den ausführlichen Beitrag.
Ich komme ab dem Schritt wo wir auf "Create Recipe" klicken nicht weiter. Ich werde hier nur auf eine Seite weitergeleitet und dazu animiert ein weiteres Addon Namens: Recipe Creator [Beta] zuladen. Hier sind die Einstellungen wieder andere.
Kann also kein neues Recipe anlegen.

Antworten

André 23. März 2017 um 9:27

Hey Tom, hmmm kann ich so erstmal nicht bestätigen, hier funktioniert alles wunderbar. :\ Ansonsten mal die Jungs von Data Miner anhauen. 🙂

Antworten

Alex 27. März 2017 um 22:59

Hallo und Danke für die super Beschreibung! Ich möchte die ASIN auf einer Amazon Bestsellerseite rausbekommen, leider bekomme ich das nicht hin. Wäre für jede Hilfe dankbar!

Antworten

André 28. März 2017 um 9:34

Dafür kannst du theoretisch unseren ASIN Grabber (direkt im Amazon Import) nutzen. Und schau mal hier, dürfte auch spannend sein: https://affiliatetheme.io/produktimport-amazon-rss/ 🙂 … Ansonsten muss ich die Tage eh mal den Artikel updaten, da sich mittlerweile die Funktion bei data-miner etwas geändert hat.

Antworten

Marcel Wagner 17. April 2017 um 22:03

Hi André / Christian,

wenn ich anstatt des Titels auf der Übersichtsseite den Titel auf dem Detail-Profil haben möchte, wie ziehe ich mir diesen? 🙂
Bei einigen Produkten ist der Titel auf der Detail-Seite länger/enthält mehr Informationen.

Antworten

Bastian 27. April 2017 um 13:09

Hello Andre,
aber das verlinken meiner Felder aus der .csv mit meinen Custom-Fields geht dann wohl doch nur mit der Pro-Version? Habe jetzt eine .csv Liste mit ca. 100 Produkten und diversen Attributen, aber kann nur die einfachen Attribute miteinander verlinken.

Antworten

André 27. April 2017 um 13:37

Hey Bastian,

ja solche Details kann man dann leider nur mit der Pro. Es gibt aber auch noch mehrere Plugins auf dem Markt, wie z.B. Really Simple CSV Importer oder WP Ultimate CSV Importer (die haben auch einen ACF Support), evtl. geht’s damit. 🙂 Halt uns gerne auf dem laufenden!

Gruß
André

Antworten

Bastian 27. April 2017 um 14:42

Hallo Andre,
vielen Dank für deine Antwort. Schade, dann werde ich einmal weitere Produkte auf dem Markt analysieren und betrachten.

Aber das Problem sind dann doch die "ASIN"-Nummern oder? Die habe ich ebenfalls in meiner .csv, aber ihr habt ja für WP ALL Import noch die "AffiliateTheme – Produktinformationen" so schön hinzugefügt.

Mit besten Grüßen
Bastian

André 27. April 2017 um 16:25

Die ASIN kannst du ja auch importieren (mit unserer Extension), aber z.B. nicht Farbe=Rot und so, also die eigentlichen Custom Fields. 🙂


Enrico Kunath 9. Mai 2017 um 13:05

Hallo,

Wenn ich jetzt folgendes:
define(‚DISABLE_WP_CRON‘, ‚true‘);
Einfüge, werden keine Produktaktualisierungen von WP mehr ausgeführt oder? Also kein eBay, affilinet und co?
Ich muss dann sozusagen alle Produkt API’s übern Server anstoßen?

Habe derzeit 64 Produkte… werden aber noch extrem mehr. Welche Intervalle empfehlt ihr, bin bei strato.

Macht weiter so!

Liebe Grüße
Enrico

Antworten

André 9. Mai 2017 um 17:20

Genau, wenn du den Cron über die Config deaktivierst musst du ihn über deinen Hoster anstoßen (den Link findest du in den Debuginfos).

Wie viele Produkte ein Webspace schafft hat viele Variablen. Wie schnell / performant ist der Space? Wie ist die PHP Laufzeit usw usw. Bei normalem Webspace solltest du mit max. 30 Produkten pro Durchlauf rechnen. Ein Durchlauf dauert max. 5 Minuten (je nach PHP Laufzeit). Also kannst ruhig den Cron alle 15 Minuten laufen lassen – unser Theme checkt bei jedem Aufruf die max. möglichen und auch nur die, die nicht in den letzten 24h aktualisiert wurden.

Antworten

Enrico Kunath 9. Mai 2017 um 18:12

Werden da eigentlich trotzdem Änderungen ins API log eingetragen? Weil bei meinen Produkten im preisvergleich steht immer die selbe Zeit wann was geändert wurde… nur der cronjob bei strato läuft stündlich.

André 9. Mai 2017 um 19:18

Ja, das ist das gleiche. Der WP Cron dient ja nur dazu den Update-Prozess anzustoßen, ebenso wie der externe Cron. Sollte es hier allg. zu Fehlern kommen bitte mal im Forum melden, dann schauen wir mal genauer. 🙂


Nick T 28. Juni 2017 um 21:02

Hallo,

kann ich den miner nur für Amazon nutzen, oder auch für alle anderen Online-Shops.
Ich arbeite derzeit an einem Projekt, beidem der Shop leider nicht bei Affilinet etc. gelistet ist und auch keine CSV-Datei zur Verfügung stellt..

freundliche Grüße,
Nick

Antworten

André 28. Juni 2017 um 23:14

Wenn der Shop Deeplinks zu dem Produkt anbietet, theoretisch ja. Kann man so pauschal aber nicht sagen.

Antworten

Marcel Wagner 7. Juli 2017 um 21:22

Hi André / Christian,

wenn ich anstatt des Titels auf der Übersichtsseite den Titel auf dem Detail-Profil haben möchte, wie ziehe ich mir diesen? 🙂
Bei einigen Produkten ist der Titel auf der Detail-Seite länger/enthält mehr Informationen.

Antworten

André 8. Juli 2017 um 12:04

Hey Marcel,

der Titel wird nur optisch gekürzt, ist aber über das @data-attribute (siehe Xpath beim Miner) vollständig verfügbar.

Wenn du Informationen von der Detailseite benötigst, müsstest du für jede ASIN einen zusätzlichen Crawl über deren Detailpage durchlaufen lassen.

Gruß
André

Antworten

Matthias Fuchs 24. Juli 2017 um 18:16

Hat sich bei Data Mine was geändert ? Wenn Ich auf das Icon klicke nachdem ich die Produkte ausgewählt habe-kann ich nur das blaue Feldchen unten links anklicken (Create New Recipes- was mache ich da verkehrt ?

Antworten

André 25. Juli 2017 um 9:15

Du brauchst mittlerweile ein weiteres Addon und zwar den "Recipe Creator" von Data Miner. Ich schau mal, dass ich demnächst ein Update vom Artikel mache. 🙂

Antworten

Matthias Fuchs 25. Juli 2017 um 18:24

Danke.


michael giersberg 17. August 2017 um 10:23

Hallo André, gibts evtl schon eine neue angepasste Anleitung? Vielen Dank

Antworten

André 17. August 2017 um 13:07

Nope, komme leider nicht dazu 🙁

Antworten

michael giersberg 17. August 2017 um 14:55

Ok, sehr schade. Kann ich evtl. woanders eine Anleitung finden? Oder gibts eine andere Möglichkeit für einen Massenimport?

André 17. August 2017 um 15:40

Der eigentliche Import bleibt ja identisch, lediglich das Abfragen der Daten hat sich geändert. Hier einfach mal bei YouTube gucken oder selbst ein wenig probieren. 🙂


Gerri 30. August 2017 um 16:09

Hallo André,

wie kann ich bei Massenimport die Produktbeschreibung mit importieren?
Habe bei den Einstellung im Amazon Import Beschreibung Ja Produktbeschreibung importieren gestellt.
Trotzdem werden diese nicht angezeigt.

Gruß

Antworten

André 30. August 2017 um 17:42

Das ist bisschen komplizierter.

Zum einen wird bei dem normalen Import eine Produktbeschreibung importiert, aber nur wenn du diesen auch über das Backend ausführst (nicht bei dem Massenimport). Denn hier werden die Produkte ja via extern angelegt und dort wird dann nur Preis und Bilder aktualisiert, natürlich keine Beschreibung. Des Weiteren ist die "Beschreibung" nicht die komplette Beschreibung von Amazon, sondern nur ein Feld mit der "Kurzbeschreibung". Diese ist bei Amazon sehr oft gar nicht ausgefüllt oder beinhaltet nur wenige Keywords ist somit zu 90% sinnlos. Des Weiteren ist die Verwendung von Inhalten, die vllt. etwas umfangreich sind, auch nicht empfehlenswert aufgrund von Duplicated Content.

Du kannst aber auch mit Data Miner jedes Produkt einzeln abfragen (laut dem Tutorial liest du ja nur die Übersichtsseite aus). Hier müsstest du einfach mal selbst ein wenig basteln, bedenke aber, dass das einfache Kopieren von Texten nicht erlaubt ist (Urheberrecht) und du damit auf die Schnauze fallen kannst.

Antworten

Marko 7. September 2017 um 15:33

Hallo André,

bei mir ist es das Gleiche wie bei Anderen hier, der Button "Create Recipes" bei Data Miner wurde gegen einen Button mit Link zur Extension "Recipe Creator" ausgetauscht. Eure beschriebenen Regeln, finden dort keine Anwendung mehr. Google & Youtube bringen mir keine Lösung. Habt ihr inzwischen schon eine Lösung dafür?

Gruß Marko

Antworten

André 19. September 2017 um 15:57

Hey, hatte leider nach wie vor noch keine Zeit ein neues Tutorial zu machen, aber gibt in nächsten Update eh was cooleres; also vergiss Data-Miner erstmal. 😉

Antworten

Marko Wegemund 15. November 2017 um 14:10

Alles klar. Danke dir


Mario Stieler 27. März 2018 um 19:29

Danke für diesen genialen Trick für einen Massenimport. Leider bekomme ich die Einrichtung des Data-Miners nicht hin. Vermutlich durch das Update vom 02.02.18 sieht die Data Miner-Oberfläche ganz anders aus. Könntet ihr eure Anleitung anpassen? Das wäre toll 🙂

Antworten

André 4. April 2018 um 11:17

Hey Mario, steht auf der ToDo, komme aber aktuell leider nicht dazu :\ Das Grundprinzip sollte aber relativ ähnlich sein, außer, dass man ein weiteres Addon für die Receips braucht soweit ich das gesehen habe.

Antworten

Mario 29. März 2018 um 23:33

Ich bin mit der neuen Version von Recipe Creator von Data Miner schon sehr weit gekommen. Lediglich den Befehl für die ASIN bekomm ich nicht hin. Wie muss der Code zum Auslesen der ASIN lauten? Laut Quelltext von Amazon.de müsste es "data-asin" sein. Aber unter Cols 3 funktioniert ".data-asin" als Selektor nicht. Wie muss dieser Befehl sein?

Antworten

mario 29. März 2018 um 23:34

Über eine Antwort würde ich mich freuen. Danke für dein Mühe!!

Antworten

André 4. April 2018 um 11:19

Bitte melde dich mal im Forum, samt Screenshots was du schon gemacht hast, vllt. finden wir da fix ne Lösung. Aber ohne was zu sehen kann ich dir leider nichts zu sagen. 🙂 Vllt. ein mal ein Tipp: data-asin ist keine CSS-Klasse, somit ist der "." falsch. Hierbei handelt es sich um ein komplettes HTML Attribut.

Antworten

Cihan Tünger 9. Januar 2021 um 10:32

Kann ich auch diese Anleitung nutzen wenn ich noch keine Api von Amazon bekommen habe ? Oder ist das leider nicht möglich und falls ja, wird die Amazon Partner ID mit übernommen oder wie ist die einzutragen ?

Antworten

Christian 11. Januar 2021 um 6:47

Ja, kannst du. Du musst an die URL noch dein Partner-Tag manuell anfügen. Das geht in WP All Import.


Olaf Theobald 18. Juni 2019 um 9:02

Wäre super wenn es mal eine neue Anleitung oder Video für die neue Version geben wurde. Die ganzen Einstellungen gibt es nicht mehr.

Antworten

Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*
*