Dazu habe ich eine Prozedur geschrieben, die folgende Arbeitsschritte erldigt:
Aus allen diesen Textpaaren bildet sie zunächst das Kreuzprodukt aus den Wörtern beider Texte), das heißt sie kombiniert jedes Vorkommen jedes Wortes in dem einen Text (definiert durch die laufende Nummer des Worts) mit jedem in dem anderen Text. Alle jene Wortpaare, deren beide Hälften gleich sind, speichert sie mit den zugehörigen Wort-Nummern in einer Hilfstabelle, die, nachdem sie ihren Zweck erfüllt hat. wieder gelöscht wird.
Diese "Einzelwörterkonkordanzen" dienen als Datengrundlage bei der Suche nach längeren Folgen übereinstimmender Wörter. Von jedem der Paare in der Liste der Einzelwörterkonkordanzen ausgehend, wird gefragt, ob auch die jeweils darauffolgenden Wörter (also die Wörter mit der nächstgrößeren Wort-Nummer) in derselben Liste stehen. Wenn sie in beiden Texten gleich sind, muß das der Fall sein. In diesem Fall wird die Frage bezüglich der nächsten beiden Wörter wiederholt, so lang, bis die Übereinstimmung aufhört. Dann werden der Wortlaut der Wortfolgenkonkordanz und die Anfangs- und Endpositionen aus beiden Texten in einer Tabelle "Wortfolgenkonkordanzen" abgelegt. Das Wortpaar in der Einzelwörterkonkordanzenliste, von dem die Suche ausgegangen war, wird nun als erledigt gelöscht und die nächste Suche beginnt beim nächsten Wortpaar.
Man kann in diese Suchprozedur noch eine gewisse Fehlertoleranz einbauen, indem man programmiert: falls eine Übereinstimmung nur durch ein Paar (einstellbar wären auch 2, 3 ? Paare) verschiedener Wörter unterbrochen wird und beim nächsten Wortpaar weitergeht, soll bei dem ungleichen Wortpaar nicht abgebrochen werden. In der Ergebnistabelle soll es durch Auslassungspunkte kenntlich gemacht werden. Ich habe den Vergleich mit dieser Einstellung durchgeführt, um die Gefahr der Verfälschung des Ergebnisses durch bloß orthographische Abweichungen oder geringe sprachliche Freiheiten noch weiter zu minimieren. Will man die Ergebnisse ohne diese unvollständigen Übereinstimmungen sehen, ist es später ein Leichtes, sie auszublenden.
Als Ergebnis der Datenerfassung habe ich eine Tabelle mit 290510 Wortfolgenkonkordanzen erhalten.
Diese Tabelle zeigt jeden Konkordanzfund mit dem Textpaar, in dem er vorkommt, für sich an. Das ist noch nicht ganz der Gesamtüberblick über die Beziehungen zwischen Wortfolgen und Texten, den ich brauche, um Textgruppen anhand der Wortfolgen (anstelle der Varianten in Salemans' Verfahren) als Kriterium bilden zu können.
Zu jeder Wortfolge sollen also alle Texte, in denen sie vorkommt, angezeigt werden und zu jedem Text alle Wortfolgen, die er mit andern gemeinsam hat. Durch ein paar Datenumformungen ist das jetzt leicht zu erreichen. Beim Suchen nach Wortfolgenkonkordanzen geich jeden Fund daraufhin zu prüfen, ob die Wortfolge neu oder schon in anderen Texten gefunden worden ist, hätte die Such-Prozedur übermäßig belastet, das Erkennen von Wortfolgen-Duplikaten ist nämlich recht aufwendig, müssen doch orthographische Varianten auch hierbei ausgeschlossen bleiben.
Deswegen will ich die in der Tabelle "Wortfolgenkonkordanzen" enthaltenen RohDaten normalisieren, indem ich sie in drei miteinander verknüpfte Tabellen verteile: In einer sollen nur die wirklich verschiedenen Texte stehen, in einer anderen nur die wirklich verschiedenen Wortfolgen und eine dritte soll als Verknüpfungstabelle darüber Auskunft geben, zu welchen Texten welche Wortfolgen gehören. So wird das Tabellenvolumen verkleinert, die Abfragegeschwindgkeit gesteigert, und die Eindeutigkeit der Daten gesichert, denn die Verknüpfungstabelle akzeptiert nur noch Verweise auf eindeutigen Datensätze der Text- und der Wortfolgentabelle - und dazu die Incipit- und Explicit-Nummern.
1. Die eindeutige Text-Tabelle habe ich bereits beim Textimport angelegt.
2. Eine eindeutige Wortfolgentabelle erhalte ich mit Hilfe eines "INSERT-INTO"-SQL-Statements aus der Tabelle mit den Wortfolgenkonkordanzen. Dabei muß jedoch verhindert werden, daß Duplikate oder orthographische Synonyme von Wortfolgenkonkordanzen in die neue Tabelle übertragen werden. Um orthographische Synonyme zu erkennen, wende ich dieselbe Methode an wie beim Finden der Wortfolgenkonkordanzen: In einer neuen Spalte füge ich das SoundEx-Synonym der jeweiligen Wortfolge hinzu. Die drei Auslassungspunkte, die beim Aufzeichnen der Wortfolgenkonkordanzen gesetzt worden sind, wo zwei Texte in einem einzigen Wort inmitten einer längeren Wortfolgenkonkordanz voneinander abweichen, ersetze ich in den Synonymen durch einen "Regulären Ausdruck", der ein beliebiges Wort vertritt Nach diesen Synonymen gruppiere ich dann die gesamte Tabelle. Nur den jeweils ersten Wert jeder Gruppe übertrage ich in die neue Tabelle Da ich die Wortfolgen in Zukunft nicht mehr sortieren oder durchsuchen brauche, brauche ich als Felddatentyp jetzt nicht mehr "Text" mit der Längenbeschränkung auf 255 Zeichen zu wählen und kann den Wortlaut derer, die bisher unvollständig eingetragen waren, vervollständigen. Es zeigt sich, daß es 10.518 verschiedene Wortfolgen gibt, die in mindestens 2 Texten vorkommen.
Abschließend füge ich der neuen Tabelle schon jetzt ein Feld hinzu, in dem ich die Länge der Wortfolge in Wörtern berechnen lasse (aus der Differenz von Explicit- und Incipit-Wortnummer in der alten Tabelle), das spart später Rechenleistung. Die Längen liegen zwischen 485 und 2 Wörtern.
3. Nun ist noch aus der Tabelle "Wortfolgenkonkordanzen" eine Tabelle "WortfolgenUndTexte" zu erstellen, die in einer Spalte Texte und in der anderen die darin vorkommenden Wortfolgen zeigen soll, dazu noch 2 Spalten für Anfangs- und Endwortnummer der Wortfolge in dem Text.
Dazu füge ich der alten Tabelle zunächst ein numerisches Feld "Wortfolge_Nr" hinzu, das das Textfeld "Wortfolge" ersetzen soll. Nun verknüpfe ich die Felder "Synonym" in beiden Tabellen miteinander und setze daraufhin alle Werte im Feld "Wortfolge_Nr" in der alten Tabelle auf die Werte der Wortfolgennummer in der neuen Tabelle. Schließlich ändere ich die Beziehung zur Wortfolgenkonkordanzen-Tabelle dahin, daß sie statt der Synonym-Felder die beiden Wortfolge_Nr-Felder umfaßt. Von der Tabelle Wortfolgenkonkordanzen aus kann nun über den Verweis auf die eindeutigen Wortfolgen in der neuen Tabelle zugegriffen werden, was man durch eine Abfrage testen kann. Die Felder "Wortfolgen" und "Synonym" in der alten Tabelle sind jetzt überflüssig geworden, und ich könnte sie löschen , wenn ich nicht die alte Tabelle sowieso durch eine neue Grundtabelle "WortfolgenUndTexte" ersetzen würde.
Danach kann ich aus "Text1" und "Text2" der Wortfolgenkonkordanzen-Tabelle durch eine UNION-Abfrage eine einzige Spalte "Text" bilden und daraus die neue Grundtabelle erstellen, die künftig "Wortfolgenkonkordanzen" ersetzen soll. Dies ist eine Tabelle mit nur noch 53.530 Datensätzen gegenüber den mehr als 290.000 in "Wortfolgenkonkordanzen".
