Ithaca восстанавливает древнегреческие тексты

Cпециалисты из DeepMind разработали нейросетевую модель под названием «Итака» (Ithaca), способную восстанавливать частично утраченные древнегреческие надписи.

Для начала команда DeepMind в сотрудничестве с коллегами из университетов Венеции, Оксфорда и Афин, взяв необработанный датасет, состоящий из 178551 расшифрованной надписи, разработала алгоритм перевода его в подходящее для машинного обучения состояние. С помощью этого алгоритма удалось уменьшить шум, нормализовать используемые символы, эффективно нивелировать различные «неровности» изображений и сопроводить все надписи метаданными, относящимися ко времени и месту создания. Всего было учтено 84 древних региона, а также возможность использования в надписи нескольких языков, различные способы определения хронологической информации и многое другое. Не все исходные надписи удалось таким образом достаточно качественно обработать, тем не менее в результирующем многозадачном датасете набралось 78 608 описанных и размеченных надписей, созданных в период с 800 г. до н.э. по 800 г. н.э. На этом корпусе разработчики и обучили «Итаку».

Затем они скрыли часть изображения в тех же надписях, чтобы проверить, правильно ли Ithaca заполнит эти пробелы. После специалисты дали нейросети новое задание — восстановить около 8 тыс. частично утраченных надписей. Выяснилось, что ИИ восстанавливает тексты с точностью 62%; создатели модели утверждают, что это лучше, чем получается у профессиональных эпиграфистов (специалистов в области изучения древних надписей, сделанных на твёрдых материалах: камне, керамике, металле). А вот когда ИИ «объединяется» со специалистами-людьми, добавляют авторы проекта, точность восстановления текстов достигает 72%.

Кроме того, приложение обучили «привязывать» исследуемый текст ко времени и месту, сравнивая его с текстами, происхождение которых установлено. Датировку текстов ИИ-модель производит в диапазоне достоверности до 30 лет.

Последнее время эпиграфисты полагаются в своей работе на обширные цифровые корпуса уже известной информации, однако поиск «параллельных мест» в значительной степени зависит от формулировки поискового запроса, из-за которой могут быть упущены релевантные результаты. Применённые специалистами DeepMind методы машинного обучения в сочетании с внушительными вычислительными мощностями используемого оборудования позволили преодолеть это ограничение.

Источник: XX2 век