PROJEKT

Websites für strukturierte Kontaktdaten scrapen

Individuelle Softwareentwicklung, Websitedaten-Scraping, Extraktion von Kontaktdaten, Entwicklung eines wiederverwendbaren Scrapers, Datenbereinigung und Validierung, CSV- und Excel-Export, JSON-Export, CRM-fertige Daten

  • Branche: Marktforschung
  • Kroatien Standort: Kroatien
  • Umsetzungszeit: 10 Wochen
  • Technologien: Python, JavaScript / TypeScript (Node.js)
3 Monate

Dieser Kunde verbringt Zeit damit, Kontakt- und Unternehmensdaten von Firmenwebsites, öffentlichen Datenbanken und Online-Verzeichnissen zu sammeln. Die Software ist eine individuelle Lösung zum Scrapen von Websites, die Quell-URLs und ausgewählte Felder übernimmt. Sie extrahiert Kontaktdatensätze, bereinigt und validiert sie und liefert organisierte Dateien für das Marktforschungsteam. Wiederverwendbare Extraktionen machen die regelmäßige Datensammlung weniger abhängig von manueller Eingabe.

Zusammenfassung

Problem

Der Kunde verbringt viel Zeit damit, Kontaktdaten manuell zu sammeln und zu prüfen.

Lösung

Die Lösung wurde zu einem wiederverwendbaren Scraper für die Extraktion, Bereinigung, Validierung und Organisation bestimmter Websitedaten.

Ergebnis

Die Software wurde entwickelt, um manuelle Datensammlung und Nacharbeit bei Marktforschungsdaten zu reduzieren.

Kundengeschichte

Der Kunde ist ein Marktforschungsunternehmen aus Kroatien. Es sammelt Unternehmensnamen, E-Mail-Adressen und Telefonnummern von Firmenwebsites, öffentlichen Datenbanken und Online-Verzeichnissen.

Auch Postanschriften und weitere Unternehmensdaten gehören zu den erfassten Informationen.

Das Team bereitet Kontaktdaten für Marktanalysen, Geschäftsentwicklung, Telefonakquise und den CRM-Import auf. Manuelle Sammlung, wiederholte Prüfungen und doppelte Datensätze kosten Zeit und verursachen Nacharbeit.

Die Anfrage war klar: Aus definierten Quellen ausgewählte Kontaktfelder extrahieren, die Sammlung bei Bedarf erneut ausführen und saubere strukturierte Dateien bereitstellen.

Die Lösung wurde rund um einen Bildschirm zur Quelleneinrichtung, einen Ausführungsmonitor, einen Bereich zur Datenbereinigung und Exporteinstellungen entwickelt. Die Datensätze konnten vor ihrer Verwendung geprüft werden.

Der Kunde benötigte

  1. Kontaktfelder aus Websites, Datenbanken, Verzeichnissen und Online-Quellen extrahieren
  2. Einen wiederverwendbaren Scraper ausführen und dessen Quellcode oder Notebook erhalten
  3. Extrahierte Datensätze bereinigen, validieren, organisieren und deduplizieren
  4. Strukturierte Daten als CSV, Excel, JSON oder kategorisierte Arbeitsmappen exportieren

Warum Standardsoftware nicht ausreichte

Fertige Tools zur Datenextraktion decken Teile der Aufgabe ab, definieren jedoch nicht gemeinsam die genauen Felder, Bereinigungsregeln und Ausgabedateien des Kunden. Eine individuelle Lösung war erforderlich, um wiederholbares Scraping, Validierung, Deduplizierung, organisierte Arbeitsmappen und wiederverwendbaren Code in einem Prozess zu verbinden.

Projektübersicht

Die Lösung wurde auf die tatsächlichen Quellen, Felder und Regeln des Kunden zugeschnitten. Auf dem ersten Bildschirm werden Website-URLs, Kontaktfelder und wiederkehrende Extraktionseinstellungen vor dem Start definiert.

Für die Erfassung aus einer oder mehreren Quellen wurde ein Extraktionsmonitor bereitgestellt. Er zeigt Ausführungsstatus, Quell-URLs, extrahierte Datensätze sowie Lade- und Zugriffshinweise an einem Ort.

Anschließend werden die Datensätze bereinigt und geprüft. Duplikatübereinstimmungen, Validierungsstatus, Kontaktfelder und Kategorien bleiben sichtbar, damit der Datenmanager eine konsistente Kontaktliste erstellen kann.

Der letzte Bildschirm wurde für eine praktische Übergabe konzipiert. Er exportiert organisierte Datensätze als CSV, Excel oder JSON und hält Einrichtungsanweisungen oder Prozessnotizen zusammen mit der Datei bereit.

Der Scraper verwendet wiederverwendbaren Code und kann an die Regeln des Kunden angepasst werden. Dokumentation und Schulungsmaterialien unterstützen die eigenständige Arbeit mit dem System.

Wichtige gelieferte Funktionen

  • Einrichtung von Websites und Quellenlisten
  • Extraktion ausgewählter Kontaktfelder
  • Wiederverwendbares und erneut ausführbares Scraping
  • Überwachung von Extraktionsläufen
  • Erfassung von E-Mail-Adressen und Telefonnummern
  • Validierung und Bereinigung von Datensätzen
  • Duplikaterkennung und Deduplizierung
  • Kategorisierung von Kontaktdaten
  • CSV-, Excel- und JSON-Export

Erweiterungen möglich

+ Regelmäßige Aktualisierung der Excel-Datenbank + E-Mail- und Domainprüfung + Schlüsselwortbasierte Kategorisierung + Datumsbasierte Kategorisierung + Erklärung des Quellcodes + Zusätzliche Scraping-Methoden

Wer diese Lösung noch nutzen kann

Diese Unternehmen haben eine ähnliche Aufgabe. Die Lösung kann an ihre Quellen, Felder und Übergaberegeln angepasst werden.

Ein Unternehmen für Business Services

Aufgabe Es sammelt Unternehmens- und Kontaktdaten von öffentlichen Websites und Verzeichnissen.
So unterstützt die Lösung Die Lösung extrahiert ausgewählte Felder, entfernt doppelte Datensätze und bereitet Dateien für den CRM-Import oder die Geschäftsentwicklung vor.
Geschäftsdienstleistungen

Ein Unternehmen für professionelle Dienstleistungen

Aufgabe Es erstellt Kontaktlisten aus Firmenwebsites und Online-Quellen.
So unterstützt die Lösung Die Lösung sammelt E-Mail-Adressen, Telefonnummern und Unternehmensdaten in strukturierten Dateien.
Professionelle Dienstleistungen

Technologie-Stack

Python

Scraping und Browserautomatisierung

Python unterstützt Web-Crawling, Seitenanalyse und browserbasierte Extraktion.

JavaScript / TypeScript (Node.js)

Verarbeitung strukturierter Dateien

JavaScript und TypeScript unterstützen die Verarbeitung strukturierter Dateien.

Scrapy

Website-Crawling und Scraping

Scrapy (ein Framework zum Crawlen und Scrapen von Websites) sammelt Datensätze aus definierten Quellen.

BeautifulSoup

Parsing von HTML-Seiten

BeautifulSoup (eine Bibliothek zum Auslesen von Informationen aus Webseiten) analysiert Seiteninhalte und findet bestimmte Felder.

selenium

Browserbasierte Extraktion

selenium (ein Tool zur Steuerung eines Webbrowsers) unterstützt Extraktionen, bei denen das Ladeverhalten einen Browser erfordert.

csv-parse

Lesen und Parsen von CSV-Dateien

csv-parse (eine Node.js-Bibliothek zum Lesen von CSV-Dateien) liest strukturierte CSV-Daten.

maatwebsite/excel

Excel- und CSV-Export

maatwebsite/excel (ein Laravel-Paket für Excel- und CSV-Dateien) unterstützt die organisierte Bereitstellung von Tabellen.

jsonify

Verarbeitung von JSON-Daten

jsonify (eine JavaScript-Bibliothek für die Arbeit mit JSON) unterstützt JSON-Datensätze, ohne globale Objekte zu verändern.

CSV, Excel, JSON

Bereitstellung strukturierter Daten

Diese Formate übertragen organisierte Kontaktdatensätze für Analysen, CRM-Importe und andere geschäftliche Anwendungen.

Integrationen

CRM systems

Die Lösung exportiert organisierte Kontaktdatensätze in Formaten, die für den CRM-Import geeignet sind.

Excel

Die Lösung exportiert kategorisierte Kontaktdaten und organisierte Arbeitsmappen als Excel-Dateien.

CSV files

Die Lösung liest und schreibt komma-separierte Kontaktdatensätze für den strukturierten Austausch.

JSON files

Die Lösung stellt strukturierte Datensätze als JSON für Systeme bereit, die dieses Format verwenden.

Email verification service

Ein E-Mail-Verifizierungsdienst kann E-Mail-Adressen und Domains vor der Übergabe prüfen.

Das Ergebnis

Präzise Quellen und Felder vor der Sammlung festlegen

Der erste Bildschirm hält die Extraktionsanfrage spezifisch. Website-URLs, Quellenlisten und ausgewählte Kontaktfelder legen fest, was der Scraper sammelt.

So funktioniert es

  1. Die Software speichert die angegebenen Websites und Quellenlisten.
  2. Die Software behält ausgewählte Felder wie E-Mail, Telefonnummer und Postanschrift bei.
  3. Die Software speichert wiederkehrende Extraktionseinstellungen für erneute Läufe.
  • E-Mail-Adressen und Telefonnummern stehen als separate Kontaktfelder zur Verfügung.
  • Postanschriften und Unternehmensdaten können in die ausgewählten Felder aufgenommen werden.
Einrichtung von Quellen und Feldern

Einrichtung von Quellen und Feldern

Funktionen auf diesem Bildschirm
Websitedaten scrapen E-Mail-Adressen scrapen Telefonnummern extrahieren Postanschriften extrahieren

Extraktionsfortschritt und gesammelte Datensätze anzeigen

Der Extraktionsmonitor bündelt Quell-URLs, Ausführungsstatus und extrahierte Datensätze. Zugriffswarnungen und Ladehinweise machen das Verhalten der Quellen während der Sammlung sichtbar.

Das Team erhält vor der Bereinigung einen klaren Überblick über die von einer oder mehreren Websites gelieferten Datensätze.

So funktioniert es

  1. Scrapy (ein Framework zum Crawlen und Scrapen von Websites) sammelt Daten aus den aufgeführten Quellen.
  2. BeautifulSoup (eine Bibliothek zum Parsen von Webseiten) liest Website-Inhalte und extrahiert bestimmte Felder.
  3. Die Software zeigt Ausführungsstatus, Quell-URLs, extrahierte Daten sowie Lade- und Zugriffshinweise an.
  • Die Extraktion unterstützt mehrere Seiten und Websites.
  • Der Scraper kann mit wiederverwendbaren Regeln erneut ausgeführt werden.
Hinweis: Sammlungsregeln müssen das Verhalten der Website, Plattformbedingungen, Datenschutzgesetze, die DSGVO und andere geltende Anforderungen berücksichtigen.
Monitor für Extraktionsläufe

Monitor für Extraktionsläufe

Funktionen auf diesem Bildschirm
Websitedaten scrapen Daten extrahieren

Sauberere Kontaktdatensätze erstellen

Der Bereinigungsbildschirm bietet dem Datenmanager eine zentrale Stelle zur Prüfung von Validierungsstatus, Duplikatübereinstimmungen und Kategorien. Die Kontaktdatensätze bleiben vor dem Export organisiert.

Duplikatanzeigen helfen dabei, wiederholte Einträge von der nutzbaren Kontaktliste zu trennen, während Kategorien die Daten für Analysen oder Kontaktaufnahme vorbereiten.

So funktioniert es

  1. Die Software zeigt E-Mail-Adressen, Telefonnummern und Postanschriften in der Kontakttabelle an.
  2. Die Software vergleicht Datensätze und zeigt Duplikatübereinstimmungen sowie den Validierungsstatus an.
  3. Die Software wendet Kategorien auf organisierte Kontaktdatensätze an.
  • Datensätze können nach Daten oder Schlüsselwörtern kategorisiert werden.
  • Ein Dienst zur Datendeduplizierung kann die Vermeidung von Duplikaten unterstützen.
Datensätze bereinigen und Duplikate entfernen

Datensätze bereinigen und Duplikate entfernen

Funktionen auf diesem Bildschirm
Kontaktdaten organisieren Duplikate vermeiden Dienst zur Datendeduplizierung Große Datensätze bereinigen Daten kategorisieren Kontaktdaten extrahieren

Daten im vom Team verwendeten Format bereitstellen

Der Exportbildschirm macht aus geprüften Datensätzen eine praktische Übergabe für Analyse oder CRM-Import. CSV, Excel und JSON halten die Übergabe flexibel, ohne die Quellfelder zu verändern.

Einrichtungsanweisungen und Prozessnotizen bleiben mit den Übergabeeinstellungen verknüpft und helfen dem Team, die Funktionsweise der Extraktion zu verstehen.

So funktioniert es

  1. Die Software bereitet organisierte Kontaktdatensätze für die Ausgabe als CSV, Excel oder JSON vor.
  2. Die Software erstellt eine Dateizusammenfassung für das ausgewählte Format.
  3. Die Software stellt Links zu Einrichtungsanweisungen oder Prozessnotizen bereit.
  • CSV-Dateien unterstützen den strukturierten Austausch.
  • Excel-Dateien unterstützen kategorisierte Arbeitsmappen.
  • JSON-Dateien unterstützen die Datennutzung zwischen Systemen.
Export- und Übergabeeinstellungen

Export- und Übergabeeinstellungen

Funktionen auf diesem Bildschirm
Unternehmenskontaktlisten exportieren Excel-Exporttool CSV-Daten verwalten

Was die Lösung bietet

Mit dieser Lösung kann das Marktforschungsunternehmen:

  • Bestimmte Kontakt- und Unternehmensfelder aus definierten Online-Quellen sammeln
  • Extraktionsregeln für wiederkehrende Datensammlungen erneut ausführen
  • Validierungsstatus und Duplikatübereinstimmungen vor der Übergabe prüfen
  • Datensätze nach Kategorien wie Daten oder Schlüsselwörtern organisieren
  • Saubere Kontaktdaten für Analyse und CRM-Import exportieren
  • Wiederverwendbaren Code, Einrichtungsanweisungen und Prozessnotizen pflegen

Könnten fertige Systeme diese Aufgabe übernehmen?

Vor der Entwicklung wurde die Aufgabe anhand der jeweiligen Produktbeschreibungen mit fertigen Produkten verglichen.

Was der Kunde benötigt Web-Scraping-APIs Zyte, Scrapfly, ScrapingBee Web-Scraping-Tools Octoparse, Oxylabs Datenextraktionssoftware Data Extraction Individuelle Lösung
Kontaktfelder aus Quellen extrahieren teilweise
Scraper mit Quellcode erneut ausführen — teilweise teilweise
Datensätze bereinigen und deduplizieren — teilweise
Strukturierte Kontaktdateien exportieren
Passt zu den eigenen Regeln des Kunden: Phasen, Rollen, Berichte — — —
Alle Schritte an einem Ort — — —
Keine manuellen Schritte zwischen Programmen teilweise — teilweise

Nach den öffentlichen Beschreibungen der Produkte und ihrer Kategorie.

Fertige Produkte decken Websitezugriff, Crawling, Extraktion und Dateibereitstellung ab, während allgemeine Datenextraktionssoftware eine breitere Datenabfrage ermöglicht.

Ein fertiges Produkt reicht aus, wenn die Aufgabe nur einen dieser Bereiche benötigt. Dieser Kunde brauchte eigene Software, weil die erforderlichen Felder, Bereinigungsregeln, Kategorien, der wiederverwendbare Code und die Exporte an einem Ort zusammenspielen mussten.

Die Produkte beschreiben eine automatisierte Sammlung, doch die Prüfungs-, Validierungs-, Deduplizierungs- und Übergaberegeln des Kunden erfordern weiterhin einen maßgeschneiderten Prozess.

Am Ende

Am Ende wurde die Lösung entwickelt, um manuelle Arbeit auf dem Weg von öffentlichen Online-Quellen zu sauberen Kontaktdateien zu reduzieren.

FAQ

Sie möchten ein ähnliches System entwickeln? Lesen Sie die Antworten unten, um zu sehen, wie Scraping, strukturierte Exporte und individuelle Regeln zusammenspielen.

Sie benötigen etwas Ähnliches? Sprechen wir darüber
Oder weitere Projekte ansehen