PROJEKT

Web-Scraping-Software für saubere, exportbereite Daten

Individuelle Softwareentwicklung, Web Scraping, Datenextraktion, Datenbereinigung, Deduplizierung, Datenvalidierung, Datenbankintegration, Exportautomatisierung

  • Branche: Unternehmensdienstleistungen
  • Luxemburg Standort: Luxemburg
  • Umsetzungsdauer: 16 Wochen
  • Technologien: Python, PHP
4+ Monate

Dieser Kunde verbringt viel Zeit damit, Datensätze aus Websites, Datenbanken und APIs zu sammeln, bevor die Daten für Analysen oder den Import bereit sind. Die Web-Scraping-Software verarbeitet Seiten, Endpunkte und Dateien. Sie extrahiert ausgewählte Felder und bereinigt sowie validiert sie anschließend. Das Ergebnis sind konsistente Daten für Tabellenkalkulationen, SQL-Datenbanken oder Anwendungen. So erhält ein Datenverarbeitungsunternehmen eine wiederholbare Methode zur Aufbereitung von Datensätzen aus unterschiedlichen Quellen und reduziert manuelle Arbeit sowie Nachbearbeitungen.

Zusammenfassung

Problem

Der Kunde erfasst und bereitet Datensätze aus unterschiedlichen Quellen manuell auf, was viel Zeit kostet.

Lösung

Die Lösung wurde zu einem wiederholbaren Web-Scraping- und Datenbereinigungs-Workflow für Extraktion, Validierung und Export.

Ergebnis

Die Software wurde entwickelt, um den manuellen Vorbereitungsaufwand und Fehler zu reduzieren, bevor die Daten ihr Ziel erreichen.

Kundengeschichte

Der Kunde ist ein Datenverarbeitungsunternehmen aus Luxemburg. Es führt Datensätze aus Websites, Datenbanken und APIs für die weitere Nutzung zusammen.

Die manuelle Erfassung und Aufbereitung kostet Zeit, da die Quellen unterschiedliche Strukturen und Formate haben. Uneinheitliche Felder führen außerdem vor dem Export oder Import zu zusätzlicher Arbeit.

Die Anforderung war klar: Es sollten wiederholbare Python-, Kommandozeilen-, Notebook- oder anwendungsbasierte Workflows erstellt werden. Diese mussten Daten extrahieren, bereinigen und validieren, bevor sie an das gewünschte Ziel gesendet werden.

Die Lösung wurde rund um die Quelleneinrichtung, einen Arbeitsbereich für Bereinigung und Validierung sowie den strukturierten Export entwickelt. Regeln für Felder, Schemas und Ziele blieben sichtbar, damit das Kundenteam mit seinen eigenen Standards arbeiten konnte.

Der Kunde benötigte

  1. Wiederholbare Python-, Kommandozeilen-, Notebook- oder anwendungsbasierte Workflows ausführen.
  2. Bereinigte Ergebnisse als CSV, Excel, Parquet, JSON, Sheets, Text oder SQL exportieren.
  3. Daten bereinigen, normalisieren, transformieren, deduplizieren, filtern, sortieren und zusammenführen.
  4. Protokolle, Fehlerberichte, Dokumentation, Einrichtungsanleitungen, Code und Abhängigkeiten bereitstellen.

Warum Standardsoftware nicht passte

Standardprodukte decken Teile der Aufgabe ab: Web-Erfassung, verwaltete Extraktion, Datenintegration oder konfigurierbare Scraping-Regeln. Der Entwurf beschreibt separate Funktionen für Quell-Extraktion, Bereinigung und Validierung sowie Zielzuordnung und Berichterstattung. Der vollständige Workflow des Kunden erforderte daher eine eigene Kombination.

Projektübersicht

Die Lösung wurde in drei Phasen konzipiert: Einrichtung der Quellen und Extraktion, Bereinigung und Validierung sowie strukturierter Export. Dadurch bleibt der Weg vom Quelldatensatz bis zum Ziel klar.

Der erste Bildschirm bündelt Websites, Datenbanken und APIs in einer Einrichtung. Außerdem werden Dateien akzeptiert und Felder sowie Zielstruktur für jeden Lauf definiert.

Für den Umgang mit unterschiedlichen Quellformaten wurden Python-Workflows zur Extraktion und Vorbereitung bereitgestellt. HTML-Parsing, Datenbankzugriff, Tabellenkalkulations-Import und Dokumentkonvertierung unterstützen die angegebenen Quellen.

Der Bereinigungsbereich zeigt Roh- und bereinigte Werte, Dublettengruppen und Validierungsergebnisse. Bereinigungs- und Deduplizierungsregeln schaffen eine einheitliche Struktur.

Die Exportansicht ordnet Spalten und Schemas CSV-, Excel- oder Datenbankzielen zu. Verarbeitungsübersichten und Laufprotokolle machen den Status jedes Laufs sichtbar.

Dokumentation, Einrichtungsanleitungen und Quellcode waren enthalten. Abhängigkeitsinformationen und Betriebsprotokolle helfen dem Kundenteam, die Workflows zu verwalten und an die eigenen Datenregeln anzupassen.

Wichtige bereitgestellte Funktionen

  • Web Scraping für ausgewählte Seiten und Felder
  • Extraktion aus Datenbanken, APIs, Dateien und Dokumenten
  • Wiederholbare Python- und anwendungsbasierte Workflows
  • Bereinigung, Normalisierung und Transformation
  • Erkennung von Dubletten und Zusammenführung von Datensätzen
  • Validierung von Schemas und Feldern
  • Berichte zu übersprungenen Datensätzen und Fehlern
  • CSV-, Excel-, Parquet-, JSON-, Text-, Sheets- und SQL-Export

Erweiterbar um

+ Verarbeitung von Seitennummerierungen + Unterstützung für dynamische Seiten und JavaScript + Umgang mit Ratenbegrenzungen + CAPTCHA-Verarbeitung + Zusätzliche Zielkonnektoren + Dokumentation und Unterstützung bei Verarbeitung und Einrichtung

Wer diese Lösung noch nutzen kann

Unternehmen mit ähnlichen Aufgaben in der Datenaufbereitung können dieselbe Lösung an ihre Quellen, Regeln und Ziele anpassen.

Ein Forschungs- und Analyseteam

Aufgabe Es bereitet Datensätze aus Websites, APIs, Dateien und Datenbanken für Analysen und Berichte auf.
So unterstützt die Lösung Die Lösung extrahiert ausgewählte Felder, validiert sie, entfernt Dubletten und exportiert einen konsistenten Datensatz.
Professionelle Dienstleistungen

Ein Unternehmen für Dokumentenverarbeitung

Aufgabe Es verarbeitet Stapel aus PDFs, Berichten, Rechnungen, Formularen und gescannten Dokumenten.
So unterstützt die Lösung Die Lösung extrahiert Dokumentdaten, wendet Bereinigungs- und Validierungsregeln an und protokolliert übersprungene oder fehlerhafte Elemente.
Geschäftsdienstleistungen

Ein Datenbetriebsteam

Aufgabe Es importiert extrahierte Datensätze in Tabellenkalkulationen, SQL-Datenbanken oder Anwendungen.
So unterstützt die Lösung Die Lösung ordnet bereinigte Spalten dem erforderlichen Ziel zu und führt für jeden Lauf eine Verarbeitungsübersicht.
Geschäftsdienstleistungen

Technologie-Stack

Python

Extraktions- und Bereinigungs-Workflows

Python führt die wiederholbaren Workflows aus, die Datensätze extrahieren, bereinigen, normalisieren, validieren und zusammenführen.

PHP

Import und Export von Tabellenkalkulationen

PHP unterstützt die Verarbeitung von Tabellenkalkulationen und CSV-Dateien, wenn der Workflow PHP-basierte Tools verwendet.

JavaScript / TypeScript (Node.js)

Web- und Tabellenverarbeitung

Node.js unterstützt HTML-Parsing, Tabellenverarbeitung und Datenbankverbindungen in anwendungsbasierten Workflows.

SQLAlchemy

Datenbankabstraktion

SQLAlchemy (eine Bibliothek, die Anwendungen über eine gemeinsame Schnittstelle mit Datenbanken verbindet) unterstützt den Datenbankzugriff und die Zielverarbeitung.

PyMySQL

Zugriff auf MySQL-Datenbanken

PyMySQL (ein Python-Treiber für MySQL und MariaDB) verbindet den Workflow mit MySQL-Datensätzen.

firecrawl-anydoc

Dokumentkonvertierung

firecrawl-anydoc (eine Bibliothek, die Dokumente und Tabellen in Markdown konvertiert) unterstützt die Extraktion von Dokumentinhalten.

openpyxl

Lesen und Schreiben von XLSX-Dateien

openpyxl (eine Python-Bibliothek für Excel-Arbeitsmappen) liest und schreibt XLSX-Dateien.

cheerio

HTML-Parsing und Scraping

cheerio (eine Bibliothek zum Parsen und Bearbeiten von HTML) extrahiert ausgewählte Inhalte aus Webseiten.

CSV, XLSX, JSON, Parquet

Strukturierte Dateiausgaben

Diese Formate übertragen bereinigte Datensätze in Dateien, Tabellenkalkulationen, Anwendungen und Analysetools.

Integrationen

PostgreSQL, MySQL, and SQLite

Der Workflow liest Datenbankdatensätze und schreibt bereinigte Daten in SQL-Ziele.

Google Sheets

Bereinigte Datensätze werden in Google-Sheets-Strukturen übertragen.

Excel

Das System liest Tabellenquellen und exportiert zugeordnete Datensätze als Excel-Dateien.

Websites and APIs

Der Scraper empfängt Seiten und API-Antworten und extrahiert anschließend ausgewählte Felder.

Das Ergebnis

Quellen und Felder bleiben an einem Ort definiert

Der Bildschirm für die Quelleneinrichtung bietet dem Datenverarbeitungsunternehmen einen klaren Ausgangspunkt für Web Scraping und Datenextraktion. Er bündelt Quelldetails, angeforderte Felder und HTML-Selektoren.

Wiederholbare Läufe verwenden für regelmäßige Aufgaben dieselben Extraktionsregeln, während der Quellentyp Websites, Datenbanken und APIs abdeckt.

So funktioniert es

  1. Die Quelleneinrichtung liest URLs, Endpunkte, Datenbankdetails, Dateipfade, ausgewählte Felder und HTML-Zielelemente ein.
  2. Der Extraktionsworkflow parst die Quellinhalte und bereitet die angeforderten Felder vor.
  3. Das System wendet das ausgewählte Zielformat oder Datenbankziel auf den Lauf an.
  • Website-Felder können mit HTML-Elementselektoren ausgewählt werden.
  • Datenbank-, API- und Dateiquellen verwenden die jeweils relevanten Verbindungs- oder Pfaddetails.
Tipp: Eine erste funktionsfähige Version kann anhand typischer Kundendateien geprüft werden, bevor die übrigen Regeln angepasst werden.
Einrichtung von Quellen und Extraktion

Einrichtung von Quellen und Extraktion

Funktionen auf diesem Bildschirm
Website-Daten scrapen Textdaten abrufen Daten aus HTML extrahieren

Bereinigungsregeln sorgen für konsistente Datensätze

Der Bereinigungsbereich zeigt Roh- und bereinigte Werte nebeneinander mit dem Validierungsstatus. Dublettengruppen und Gründe für übersprungene Datensätze erleichtern die Prüfung vor dem Export.

Das Ergebnis ist eine konsistente Struktur für Analyse, Import oder Abfragen statt einer Sammlung unverarbeiteter Quelldatensätze.

So funktioniert es

  1. Der Bereinigungsworkflow normalisiert, transformiert, filtert, sortiert und konsolidiert Feldwerte.
  2. Das Deduplizierungsmodul identifiziert Dublettengruppen und bereitet zusammengeführte Datensätze vor.
  3. Das Validierungsmodul prüft Datensätze anhand von Schemas, Vorlagen, Feldlisten oder erwarteten Formaten.
  • Der Validierungsstatus wird für jeden Datensatz oder jedes Feld angezeigt.
  • Übersprungene Datensätze und Verarbeitungsfehler bleiben im Arbeitsbereich sichtbar.
Arbeitsbereich für Bereinigung und Validierung

Arbeitsbereich für Bereinigung und Validierung

Funktionen auf diesem Bildschirm
Daten mit Python extrahieren Daten deduplizieren Daten in Echtzeit validieren Extrahierte Felder validieren Übersprungene Datensätze protokollieren

Bereinigte Datensätze erreichen das erforderliche Ziel

Die Exportansicht verbindet bereinigte Daten mit der vom Kunden benötigten Zielstruktur. Sie ordnet Spalten Dateien, Tabellenkalkulationen oder Datenbanken zu.

Eine Verarbeitungsübersicht und ein Laufprotokoll zeigen die Anzahl verarbeiteter, übersprungener und fehlerhafter Datensätze für den Export.

So funktioniert es

  1. Das Exportmodul ordnet bereinigte Spalten dem ausgewählten Ausgabeformat oder Zielschema zu.
  2. Das System schreibt Datensätze als CSV, Excel, Parquet, JSON, einfachen Text, Google Sheets, SQL oder Datenbankdatensätze.
  3. Das Laufprotokoll erfasst die Verarbeitungsübersicht, übersprungene Elemente und Fehler.
  • Zu den SQL-Zielen gehören PostgreSQL-, MySQL- und SQLite-Datensätze.
  • Tabellenziele können Excel- oder Google-Sheets-Strukturen verwenden.
Hinweis: Dokumentation, Einrichtungsanleitungen, Quellcode und Abhängigkeitsinformationen unterstützen das Kundenteam bei der laufenden Verwaltung.
Strukturierter Export und Zielansicht

Strukturierter Export und Zielansicht

Funktionen auf diesem Bildschirm
Extrahierte Daten organisieren Excel-Exporttool Daten in einer SQL-Datenbank speichern Excel-Datenbank automatisch aktualisieren Neue Datensätze in MySQL einfügen

Was die Lösung bietet

Mit dieser Lösung kann das Datenverarbeitungsunternehmen:

  • Wiederholbare Extraktions-Workflows für regelmäßig verwendete Quellen ausführen
  • Ausgewählte Website-Felder scrapen und Datensätze aus Dateien, APIs und Datenbanken extrahieren
  • Datensätze bereinigen, normalisieren, transformieren, zusammenführen und deduplizieren
  • Daten validieren, bevor sie ein Ziel erreichen
  • Konsistente Datensätze in Dateien, Tabellenkalkulationen, SQL-Datenbanken oder Anwendungen exportieren
  • Übersprungene Datensätze, Fehler und Verarbeitungsübersichten prüfen

Könnten Standardlösungen die Aufgabe übernehmen?

Vor dem Design wurde die Aufgabe anhand der jeweiligen Produktbeschreibungen mit Standardprodukten verglichen.

Was der Kunde benötigt Software zur Datenextraktion Data Extraction Web-Scraping-Plattformen Oxylabs, Zyte, Scrapfly Datenintegrationsplattformen Dataddo, Improvado Individuelle Lösung
Wiederholbare Extraktions-Workflows ausführen
In den erforderlichen Datenformaten exportieren —
Quelldaten bereinigen und deduplizieren — — —
Protokolle, Code und Dokumentation bereitstellen — — —
An die eigenen Regeln des Kunden angepasst: Phasen, Rollen, Berichte — — —
Alle Schritte an einem Ort — — —
Keine manuellen Schritte zwischen Programmen teilweise teilweise teilweise

Auf Grundlage der öffentlichen Produkt- und Kategoriebeschreibungen.

Standardprodukte decken Datenextraktion, Web-Erfassung und Datenübertragung ab. Ein Standardprodukt reicht aus, wenn nur einer dieser Bereiche benötigt wird.

Für diesen Kunden mussten die erforderlichen Quellen, Bereinigungsregeln, Validierungen, Berichte und Ziele an einem Ort zusammenspielen.

Die Produktbeschreibungen boten nicht die vollständige Kombination aus den eigenen Regeln des Kunden und der Aufbereitung vom Ausgangspunkt bis zum Ziel.

Am Ende

Am Ende wurde die Lösung entwickelt, um manuelle Arbeit zwischen Datensätzen aus unterschiedlichen Quellen und bereinigten Dateien oder Datenbanken zu reduzieren.

FAQ

Sie möchten ein ähnliches System entwickeln? In den folgenden Antworten erfahren Sie, wie ein individueller Workflow für Extraktion und Datenbereinigung zu Ihren Quellen und Zielen passen kann.

Etwas Ähnliches benötigt? Sprechen wir darüber
Oder weitere Projekte ansehen