adbar / toponyms

Old prototype for toponym extraction in historical texts written in German

Outdated code base, development now takes place on geokelone package

Project basics

Prototype for toponym extraction in historical texts written in German, as seen in:

• Barbaresi, A., article to appear in book on Visual Linguistics.
• Digital Humanities 2017 (Montréal, Canada): Barbaresi, A., Toponyms as Entry Points into a Digital Edition: Mapping Die Fackel (1899-1936), Proceedings of Digital Humanities 2017, to appear.
• Digital Humanities 2016 (Cracow, Poland): Barbaresi, A. and Biber, H., Extraction and Visualization of Toponyms in Diachronic Text Corpora, Digital Humanities 2016 Conference Abstracts, pp. 732-734.
• CLARIN-D CA-3 Hands-On Session (Hamburg, Germany): Barbaresi, A., Extraktion und Visualisierung von Ortsnamen im Deutschen Textarchiv.
• DHd 2016 (Leipzig, Germany): Barbaresi, A., Visualisierung von Ortsnamen im Deutschen Textarchiv, in Proceedings of DHd 2016, pp. 264-267.

Files currently in the repository

• Scripts released under GNU GPLv3 license

  1. Extraction of place names (work in progress! stable version only)
  2. Preparation of data from Geonames (used as a fallback)

• Curated registers containing place names released under CC BY-SA 4.0 license, 2016 versions, update pending

  1. Manually curated historical lists: continental, state, and region levels
  2. Semi-automatically completed list: cities and towns
  3. Data gathered from Wikipedia (CC-BY license), to be cleared and uploaded

Sources

Data

Wikipedia

• List of German exonyms
• Verzeichnis:International/Städtenamen
• Liste der Listen deutschsprachiger Bezeichnungen nicht deutschsprachiger Orte
• Kategorie:Historische Landschaft oder Region in Europa
• etc.

Other

• Verzeichnis der mehrsprachigen Ortsnamen (Südost- und Osteuropa) archive
• OME-Lexikon Orte und Städte archive
• WW II European Gazetteer archive
• Austro-Hungarian Army Peacetime Locations and Recruiting Areas 1866 archive
• Österreichisch-Ungarische Monarchie, Königreiche und Länder archive

Stop lists

• https://tools.wmflabs.org/persondata/data/pd_dump.txt
• http://gfds.de/vornamen/beliebteste-vornamen/
• https://de.wiktionary.org/wiki/Verzeichnis:Deutsch/Liste_der_h%C3%A4ufigsten_m%C3%A4nnlichen_Vornamen_Deutschlands
• https://de.wiktionary.org/wiki/Verzeichnis:Deutsch/Liste_der_h%C3%A4ufigsten_weiblichen_Vornamen_Deutschlands
• https://de.wiktionary.org/wiki/Verzeichnis:Deutsch/Liste_der_h%C3%A4ufigsten_Nachnamen_Deutschlands
• https://de.wiktionary.org/wiki/Verzeichnis:Deutsch/Liste_der_h%C3%A4ufigsten_Nachnamen_%C3%96sterreichs
• https://de.wikipedia.org/wiki/Liste_deutschsprachiger_Schriftsteller
• https://de.wikisource.org/wiki/Liste_der_Autoren

Method

• https://www.mediawiki.org/wiki/Extension:GeoData#API
• Haversine formula and implementation
• https://github.com/asciimoo/exrex

Additional infos

Thanks to Logan Pecinovsky (BBAW, Berlin) and Judith Brottrager (ÖAW, Vienna) for helping with the curation of the lists.

Outdated code base, development now takes place on geokelone package