Hackaton POC

Elasticsearch-style Matching: OCR-Text gegen Personen-Datensätze

Live-Demo für hackaton.ajne.ch · Client-seitige Simulation · 500 Beispieldatensätze

1. Text eingeben oder Dokument hochladen

PDF-Upload liest den Text (falls möglich). Für echte OCR wäre ein Backend nötig. Datumsformate: dd.mm.yyyy, yyyy-mm-dd, etc.

2. Beispieldaten (500 Records)

Konzept: Score = gewichtete Anzahl der passenden Felder (constant_score Idee).

Boosts: Nachname 3, Vorname 2, Strasse 2, PLZ 2, Ort 1, Geburtsdatum 3, Hausnummer 1.

Wenn kein Score > 2 gefunden wird, werden die besten niedrigeren Treffer angezeigt.

3. Ergebnisse (sortiert nach Score)

Noch keine Suche durchgeführt. Text eingeben und «Matchen» klicken.

Claude’s Analyse des Problems

Die ursprüngliche Frage war: Wie kann man einen langen OCR-Text (aus einem PDF) gegen einen Elasticsearch-Index mit Personen- und Adressdaten werfen und die Records zurückbekommen, die die meisten Felder (Name, Vorname, Strasse, PLZ, Geburtsdatum etc.) matchen?

Kernaussage von Claude

  • Die Abfrage läuft verkehrt herum: Normalerweise ist die Query kurz und das Dokument lang. Hier ist die Query der lange OCR-Text.
  • Empfehlung: bool mit einer should-Klausel pro Feld, jede als constant_score mit festem Boost.
  • Damit ist der Score eine gewichtete Anzahl der passenden Felder – nicht durch BM25/TF verzerrt.
  • _name für matched_queries, minimum_should_match um Zufallstreffer zu filtern.
  • Fuzziness nur bei Namen, und vorher Regex-Extraktion von Datum, PLZ, Hausnummer.
  • Text vorher aufbereiten (Stoppwörter, kurze Tokens, Duplikate entfernen), weil sonst die Query zu gross wird.
  • Für mehrwortige Felder (z.B. «St. Gallen»): besser Percolator oder Shingles.

Percolator

Claude schlägt den Percolator als konzeptionell beste Lösung vor: Man speichert jeden Datensatz als Query (z.B. match_phrase pro Feld) und schickt den OCR-Text als Dokument durch. Elasticsearch liefert die Records zurück, deren Felder im Text vorkommen. Das ist genau «welche Records stecken in diesem Dokument?».

Meine Einschätzung

Die Antwort ist sehr gut und praxisnah. Claude hat das Problem richtig erkannt und einen sauberen, skalierbaren Ansatz vorgeschlagen.

  • constant_score ist genau richtig, weil man eine «Anzahl der passenden Felder» will und nicht BM25-Verzerrungen durch Wortlänge oder Häufigkeit.
  • Die vorherige Extraktion von strukturierten Feldern (Datum, PLZ) ist zwingend – ein reines Volltext-Match auf Datumsformaten funktioniert unzuverlässig.
  • Der Hinweis auf indices.query.bool.max_clause_count und die Notwendigkeit der Textaufbereitung ist wichtig und oft unterschätzt.
  • Percolator ist für diesen Use-Case (langer Text → passende gespeicherte Records) tatsächlich die eleganteste Lösung. Bei bis zu einigen 100k Records ist er gut einsetzbar.
  • Der bool/constant_score-Ansatz ist die pragmatischere Alternative, wenn man den Index nicht umbauen oder Percolator nicht einsetzen will/kann. Mit Shingles oder Phrase-Matching im Client lässt sich die Qualität weiter steigern.
  • Schwachstelle bei mehrwortigen Feldern wurde korrekt erkannt. Ein einzelnes Wort-Match auf «Bahnhofstrasse» ist oft zu schwach; man will eher die Phrase.

Fazit: Mit der vorgeschlagenen Query (oder Percolator) kann man produktiv arbeiten. Der POC hier simuliert den constant_score-Ansatz client-seitig, damit man die Logik sofort ausprobieren kann, ohne Elasticsearch aufzusetzen.

Architektur & Matching-Logik des POC

1. Überblick: Normaler Search vs. Percolator vs. POC

Normale Suche Kurze Query → viele Dokumente Treffer nach Relevanz (BM25) Percolator Gespeicherte Queries ← langes Dokument Welche Queries matchen das Doc? Dieser POC OCR-Text → 500 Records Client-seitige constant_score-Sim.

2. Matching-Pipeline im POC

OCR-Text Eingabe / Upload Datum extrahieren PLZ extrahieren Tokenisieren Score berechnen pro Record / Feld Ergebnisse sortiert nach Score

3. Score-Berechnung (constant_score-Idee)

Feld Boost Matching-Logik
Nachname3Normalisierter String-Contains / Token-Overlap
Geburtsdatum3Exakte Übereinstimmung nach Extraktion (mehrere Formate → ISO)
Vorname2Normalisierter String-Contains / Token-Overlap
Strasse2Normalisiert (Str. → Strasse), Contains
PLZ2Exakte Übereinstimmung der extrahierten 4-stelligen Zahlen
Ort1Normalisierter Contains
Hausnummer1Einfacher String-Contains

Der Gesamtscore ist die Summe der Boosts der passenden Felder. Kein BM25, keine TF/IDF-Verzerrung. Wenn kein Record Score > 2 hat, werden die besten niedrigeren Scores angezeigt.

4. Beispieldaten

500 erfundene Datensätze mit echten Schweizer PLZ/Ort-Kombinationen. Mehrfache Überschneidungen: mehrere PLZ pro Ort (z.B. Zürich 8001–8057, Bern 3000–3027, Basel 4000–4058) und Orte, die sich PLZ teilen (z.B. 2300 La Chaux-de-Fonds / La Cibourg, 6600 Locarno / Muralto).

Zusätzlich feste Testfälle: Anna Müller, Bahnhofstrasse 12, 8001 Zürich, 1985-03-14 (und die OCR-Variante «Muller» / «Bahnhofstr.» / «Zurich»).

5. Einschränkungen des POC

  • Kein echtes Elasticsearch – reine Client-seitige Simulation.
  • Kein echtes OCR (nur Text-Upload / manuelle Eingabe).
  • Fuzzy-Matching nur über Normalisierung und einfaches Contains, kein Levenshtein.
  • Mehrwortige Phrasen werden nicht speziell behandelt (ein Wort reicht für einen Match).
  • Ideal für Verständnis und Demo; für Produktion → Percolator oder optimierte ES-Query + Backend-OCR.