TY - JOUR TI -

Поиск семантических дубликатов в коротких новостных сообщениях

T2 - Бизнес-информатика IS - Бизнес-информатика KW - коллекция коротких текстовых сообщений KW - кластеризация текстов KW - нечеткие дубликаты KW - векторная модель семантики KW - нейронная сеть AB - С.А. Фомин - бакалавр технических наук, оператор лаборатории научно-исследовательского центра, Академия гражданской защиты МЧС РоссииАдрес: 141435, Московская область, г. Химки, мкр. НовогорскE-mail: sergio-dna@yandex.ruР.Л. Белоусов - кандидат технических наук, научный сотрудник научно-исследовательского центра, Академия гражданской защиты МЧС РоссииАдрес: 141435, Московская область, г. Химки, мкр. НовогорскE-mail: romabel-87@mail.ru      В статье рассмотрена задача, связанная с обнаружением публикаций, схожих по смыслу, а также публикаций, посвященных одному событию. Особенность решаемой задачи заключается в том, что в качестве публикаций рассматриваются короткие новостные сообщения, средняя длина которых составляет 40 слов. Для решения указанной задачи разработан алгоритм, в основу которого положена векторная модель семантики, где каждый текст рассматривается как точка в многомерном пространстве. Преобразование корпуса текстов в матрицу производится с помощью меры TF-IDF. Необходимо отметить, что даже для небольших корпусов (объемом порядка 800 сообщений) размерность векторного пространства может превосходить 2000 компонент, а в среднем размерность составляет около 8500 компонент. Для сокращения размерности пространства используется метод главных компонент. Его применение позволяет рационально сократить размерность пространства и оставить около трех процентов компонент от их исходного количества.      В сокращенном пространстве для объединения векторов в кластеры применяется агломеративная иерархическая кластеризация по алгоритму Ланса-Уильямса, который запускает процесс слияния кластеров. Слияние кластеров производится с помощью вычисления расстояния между ближайшими элементами этих кластеров. Процесс слияния кластеров прекращается в том случае, если расстояние между двумя кластерами превышает некоторое значениеr.      При проведении численного эксперимента построена регрессионная модель, позволяющая найти наиболее подходящее значение параметра r для каждого корпуса сообщений. В качестве исходных данных для проведения численного эксперимента использовалась коллекция коротких новостей, общий объем которых составляет около 135 тысяч сообщений.      Разработанный алгоритм имеет достаточно высокие показатели качества, которые учитывают, с одной стороны, способность классифицировать парытекстовых сообщений как семантические дубликаты, а с другой - способность объединять найденные дубликаты в группы.  AU - С. А. Фомин AU - Р. Л. Белоусов UR - https://bijournal.hse.ru/2017--2 (40)/208606327.html PY - 2017 SP - 47-56 VL -