Клиническая оптимизация параметров аппарата для объемно-модулированной дуговой терапии локализованного рака предстательной железы с использованием обучения с подкреплением

Введение: Оптимизация параметров аппарата (MPO) при объемно-модулированной дуговой терапии (VMAT) требует значительных вычислительных ресурсов и чувствительна к заданным целевым дозовым показателям, что затрудняет ручное и автоматизированное планирование. Обучение с подкреплением (RL) основано на машинном обучении посредством многочисленных проб и ошибок и в ряде областей демонстрирует результаты, превосходящие возможности человека и существующих алгоритмов.

Цель: Разработать и оценить метод обучения с подкреплением для оптимизации параметров аппарата при VMAT у пациентов с локализованным раком предстательной железы, позволяющий быстро и автоматически создавать реализуемые планы VMAT для клинического линейного ускорителя, а также сравнить их дозиметрические характеристики с клиническими планами.

Методы: Предыдущий метод RL был расширен для оптимизации параметров аппарата при VMAT на основе трехмерной модели пучка клинического линейного ускорителя с использованием сети политики. На вход сети подавалось состояние, описывающее текущую контрольную точку; сеть прогнозировала непрерывные параметры аппарата для следующей контрольной точки, которые использовались для обновления входного состояния. Этот процесс повторялся до завершения формирования плана. Обучение RL проводили с целью минимизации целевой функции на основе дозы при предписанной дозе 60 Гр за 20 фракций. Использовали КТ-изображения и контуры 136 пациентов с локализованным раком предстательной железы, полученные ретроспективно; у 20 из них имелись исходные планы, использованные для инициализации обучения. Для снижения риска переобучения применяли аугментацию данных, а исследование пространства параметров выполняли с помощью гауссовских возмущений. После обучения метод RL для VMAT применили к независимой выборке из 15 пациентов и сравнили полученные дозиметрические характеристики с клиническими планами. Кроме того, метод RL объединили с используемой в клинике системой планирования лучевой терапии (TPS) для автоматизации окончательной доработки планов, сохранив возможность их ручной проверки и редактирования перед клиническим применением.

Результаты: Обучение RL включало 5000 итераций; в процессе исследования пространства параметров было создано 40 000 планов. Среднее время выполнения ± стандартное отклонение, необходимое для создания реализуемых планов VMAT в тестовой выборке, составило 3,3 ± 0,5 с; их автоматическая доработка в TPS занимала дополнительно 77,4 ± 5,8 с. После нормализации для обеспечения эквивалентного покрытия мишени планы RL+TPS характеризовались сходной общей максимальной дозой — 63,2 ± 0,6 Гр против 63,9 ± 1,5 Гр в клинических планах (p = 0,061) — и меньшей средней дозой на прямую кишку: 17,4 ± 7,4 против 21,0 ± 6,0 соответственно (p = 0,024).

Выводы: Разработан и применён метод оптимизации параметров аппарата при VMAT с использованием RL для модели клинического линейного ускорителя, позволяющий автоматически создавать реализуемые планы для пациентов с локализованным раком предстательной железы. В сочетании с клинической TPS этот метод может обеспечивать быстрое формирование планов высокого качества. Подход RL для VMAT позволяет выявлять сложные стратегии управления линейным ускорителем посредством проб и ошибок; рассмотрены ограничения алгоритма и направления дальнейшей работы.