Elasticsearch-style Matching: OCR-Text gegen Personen-Datensätze
Live-Demo für hackaton.ajne.ch · Client-seitige Simulation · 500 Beispieldatensätze
PDF-Upload liest den Text (falls möglich). Für echte OCR wäre ein Backend nötig. Datumsformate: dd.mm.yyyy, yyyy-mm-dd, etc.
Konzept: Score = gewichtete Anzahl der passenden Felder (constant_score Idee).
Boosts: Nachname 3, Vorname 2, Strasse 2, PLZ 2, Ort 1, Geburtsdatum 3, Hausnummer 1.
Wenn kein Score > 2 gefunden wird, werden die besten niedrigeren Treffer angezeigt.
Noch keine Suche durchgeführt. Text eingeben und «Matchen» klicken.
Die ursprüngliche Frage war: Wie kann man einen langen OCR-Text (aus einem PDF) gegen einen Elasticsearch-Index mit Personen- und Adressdaten werfen und die Records zurückbekommen, die die meisten Felder (Name, Vorname, Strasse, PLZ, Geburtsdatum etc.) matchen?
bool mit einer should-Klausel pro Feld, jede als constant_score mit festem Boost._name für matched_queries, minimum_should_match um Zufallstreffer zu filtern.Claude schlägt den Percolator als konzeptionell beste Lösung vor: Man speichert jeden Datensatz als Query (z.B. match_phrase pro Feld) und schickt den OCR-Text als Dokument durch. Elasticsearch liefert die Records zurück, deren Felder im Text vorkommen. Das ist genau «welche Records stecken in diesem Dokument?».
Die Antwort ist sehr gut und praxisnah. Claude hat das Problem richtig erkannt und einen sauberen, skalierbaren Ansatz vorgeschlagen.
indices.query.bool.max_clause_count und die Notwendigkeit der Textaufbereitung ist wichtig und oft unterschätzt.Fazit: Mit der vorgeschlagenen Query (oder Percolator) kann man produktiv arbeiten. Der POC hier simuliert den constant_score-Ansatz client-seitig, damit man die Logik sofort ausprobieren kann, ohne Elasticsearch aufzusetzen.
| Feld | Boost | Matching-Logik |
|---|---|---|
| Nachname | 3 | Normalisierter String-Contains / Token-Overlap |
| Geburtsdatum | 3 | Exakte Übereinstimmung nach Extraktion (mehrere Formate → ISO) |
| Vorname | 2 | Normalisierter String-Contains / Token-Overlap |
| Strasse | 2 | Normalisiert (Str. → Strasse), Contains |
| PLZ | 2 | Exakte Übereinstimmung der extrahierten 4-stelligen Zahlen |
| Ort | 1 | Normalisierter Contains |
| Hausnummer | 1 | Einfacher String-Contains |
Der Gesamtscore ist die Summe der Boosts der passenden Felder. Kein BM25, keine TF/IDF-Verzerrung. Wenn kein Record Score > 2 hat, werden die besten niedrigeren Scores angezeigt.
500 erfundene Datensätze mit echten Schweizer PLZ/Ort-Kombinationen. Mehrfache Überschneidungen: mehrere PLZ pro Ort (z.B. Zürich 8001–8057, Bern 3000–3027, Basel 4000–4058) und Orte, die sich PLZ teilen (z.B. 2300 La Chaux-de-Fonds / La Cibourg, 6600 Locarno / Muralto).
Zusätzlich feste Testfälle: Anna Müller, Bahnhofstrasse 12, 8001 Zürich, 1985-03-14 (und die OCR-Variante «Muller» / «Bahnhofstr.» / «Zurich»).