AI-Driven generation of old english: a framework for low-resource languages

Abstract

La preservación de las lenguas antiguas es una tarea esencial para la comprensión de la herencia cultural y lingüística de la humanidad. Sin embargo, el inglés antiguo permanece críticamente subrepresentado en los recursos digitales, lo que limita su accesibilidad a las técnicas modernas de procesamiento de lenguaje natural (NLP). Presentamos un framework escalable que utiliza modelos de lenguaje de gran escala (LLMs) avanzados para la generación de textos de alta calidad en inglés antiguo, con el fin de abordar esta brecha. En esta investigación, nos enfocamos en modelos del estado del arte, incluyendo Llama-3.1-8B y Mistral-7B, como nuestros modelos base, los cuales posteriormente son adaptados a las características únicas del inglés antiguo. Nuestro enfoque combina técnicas de entrenamiento eficiente en parámetros (Low-Rank Adaptation - LoRA), generación sintética de datos mediante back-translation y un pipeline de agente dual que separa las tareas de generación de contenido (en inglés) y de traducción (en inglés antiguo). La evaluación con métricas automáticas (BLEU, METEOR y CHRF) muestra mejoras respecto a los modelos base, con puntuaciones BLEU que aumentan de 26 a más de 65 para la traducción de inglés a inglés antiguo. La evaluación humana experta confirma una alta precisión gramatical y fidelidad estilística en los textos generados, con puntuaciones promedio de 9.0/10 en flexión y orden de palabras, 9.1/10 en autenticidad léxica y 7.8/10 en coherencia semántica. Estos resultados demuestran que nuestro framework es capaz de expandir de manera confiable los corpus históricos limitados, manteniendo la integridad lingüística, con aplicaciones prácticas inmediatas para la investigación en humanidades digitales, la filología computacional y el desarrollo de recursos educativos para el estudio del inglés antiguo. Más allá de expandir el corpus de inglés antiguo, nuestro método ofrece un modelo practico para revitalizar otras lenguas en peligro de extinción, vinculando así la innovación en IA con los objetivos de preservación cultural.

Preserving ancient languages is essential for understanding the cultural and linguistic heritage of humanity. Old English, however, remains critically under-resourced, which limits its accessibility to modern natural language processing (NLP) techniques. We present a scalable framework that uses advanced large language models (LLMs) to generate high quality Old English texts to address this gap. In this study, we specifically employ state-of-the-art models, including Llama-3.1-8B and Mistral-7B, as our foundation models, which are then adapted to the unique characteristics of Old English. Our approach combines parameter-efficient fine-tuning (Low-Rank Adaptation (LoRA)), data augmentation via back-translation, and a dual-agent pipeline that separates content generation (in English) and translation (into Old English). Evaluation with automated metrics (BLEU, METEOR, and CHRF) shows improvements over baseline models, with BLEU scores increasing from 26 to over 65 for English-to-Old English translation. Expert human assessment confirms high grammatical accuracy and stylistic fidelity in the generated texts, with average scores of 9.0/10 for inflection and word order, 9.1/10 for lexical authenticity, and 7.8 for semantic coherence. These results demonstrate that the framework can reliably expand limited historical corpora while maintaining linguistic integrity, with immediate practical applications in digital humanities research, computational philology, and the development of educational resources for Old English study. Beyond expanding the Old English corpus, our method offers a practical blueprint for revitalizing other endangered languages, thus linking AI innovation with the goals of cultural preservation.