Использование методов тематического моделирования для анализа коротких текстов: сравнительный анализ

С развитием социальных сетей и соответствующих приложений ежедневно создаются большие объёмы текстового пользовательского контента в виде комментариев, отзывов и коротких сообщений. Поэтому пользователям часто трудно находить в таком контенте полезную информацию или дополнительные сведения по обсуждаемой теме. Для анализа огромных объёмов доступных в интернете текстовых данных социальных сетей применяют алгоритмы машинного обучения и обработки естественного языка, в том числе методы тематического моделирования, получившие широкое распространение в последние годы. В статье рассматриваются тематическое моделирование, основные области его применения, методы и инструменты. Кроме того, исследуются и сравниваются пять широко используемых методов тематического моделирования применительно к коротким текстам из социальных сетей, чтобы на практике продемонстрировать их преимущества при выявлении значимых тем. К ним относятся латентно-семантический анализ, латентное распределение Дирихле, неотрицательная матричная факторизация, случайная проекция и анализ главных компонент. Для оценки эффективности рассматриваемых методов тематического моделирования были отобраны два набора текстовых данных; оценка проводилась по качеству тем и ряду стандартных статистических метрик, включая полноту, точность, F-меру и тематическую когерентность. В результате методы латентного распределения Дирихле и неотрицательной матричной факторизации позволили выделить более содержательные темы и показали хорошие результаты. Статья освещает распространённые методы тематического моделирования в контексте коротких текстов и даёт ориентиры исследователям, планирующим применять эти методы.