MolGPT: генерация молекул с помощью модели «трансформер-декодер»

Применение методов глубокого обучения для генерации молекул, называемое обратным молекулярным дизайном, приобретает всё большее значение в разработке лекарственных препаратов. Представление молекул в нотации SMILES в виде строк символов позволяет применять для молекулярного дизайна современные модели обработки естественного языка, например трансформеры. Вдохновившись генеративными моделями предварительного обучения GPT, успешно создающими осмысленные тексты, мы обучили модель «трансформер-декодер» предсказывать следующий токен с использованием маскированного механизма самовнимания для генерации лекарственно-подобных молекул. Мы показали, что по способности генерировать валидные, уникальные и новые молекулы наша модель MolGPT не уступает ранее предложенным современным методам машинного обучения. Кроме того, мы продемонстрировали, что модель можно обучать в условном режиме, чтобы управлять несколькими свойствами генерируемых молекул. Модель также позволяет генерировать молекулы с заданными структурными каркасами и свойствами, если в качестве условий задать строки SMILES этих каркасов и значения свойств. С помощью карт значимости мы показали, что процесс генерации молекул de novo интерпретируем.