Блог

Jun 14, 2023

Смешивание: оптимизация смешивания жидкостей с умом

Исследователи из Японии применяют метод обучения с подкреплением

Исследователи из Японии применяют подход, основанный на обучении с подкреплением, для изучения процесса смешивания жидкости во время ламинарного потока.

Токийский научный университет

Изображение: Процессы смешивания жидкостей в промышленных масштабах могут быть энергозатратными и дорогостоящими, если их не оптимизировать. Однако этот процесс обычно осуществляется методом проб и ошибок. Теперь исследователи из Японии используют машинное обучение для решения проблемы оптимизации смешивания жидкостей, раскрывая идеи, которые подчеркивают потенциал метода для применения в процессах смешивания промышленных жидкостей.посмотреть больше

Фото: Масанобу Инубиси из Токийского научного университета.

Смешивание жидкостей является важнейшим компонентом многих промышленных и химических процессов. Например, фармацевтическое смешивание и химические реакции могут потребовать гомогенного смешивания жидкостей. Достижение такого смешивания быстрее и с меньшими затратами энергии значительно снизит соответствующие затраты. В действительности, однако, большинство процессов смешивания не оптимизированы математически и вместо этого основаны на эмпирических методах, основанных на методе проб и ошибок. Турбулентное смешивание, при котором для перемешивания жидкостей используется турбулентность, является возможным вариантом, но оно проблематично, поскольку его либо трудно поддерживать (например, в микросмесителях), либо оно повреждает смешиваемые материалы (например, в биореакторах и миксерах для пищевых продуктов).

Можно ли вместо этого добиться оптимизированного перемешивания для ламинарных потоков? Чтобы ответить на этот вопрос, группа исследователей из Японии в новом исследовании обратилась к машинному обучению. В своем исследовании, опубликованном в Scientific Reports, команда прибегла к подходу под названием «обучение с подкреплением» (RL), при котором интеллектуальные агенты предпринимают действия в окружающей среде, чтобы максимизировать совокупное вознаграждение (в отличие от мгновенного вознаграждения).

«Поскольку RL максимизирует совокупное вознаграждение, которое является глобальным во времени, можно ожидать, что оно подойдет для решения проблемы эффективного смешивания жидкостей, что также является проблемой глобальной во времени оптимизации», — объясняет доцент Масанобу Инубуши. , соответствующий автор исследования. «Лично я убежден, что важно найти правильный алгоритм для правильной проблемы, а не слепо применять алгоритм машинного обучения. К счастью, в этом исследовании нам удалось соединить две области (смешение жидкости и обучение с подкреплением) после учитывая их физические и математические характеристики». В работу внесли вклад г-н Микито Кониси, аспирант, и профессор Сусуму Гото, оба из Университета Осаки.

Однако команду ждало одно серьезное препятствие. Хотя RL подходит для задач глобальной оптимизации, он не особенно хорошо подходит для систем, включающих многомерные пространства состояний, т. е. систем, требующих большого количества переменных для своего описания. К сожалению, смешивание жидкостей было именно такой системой.

Чтобы решить эту проблему, команда применила подход, использованный при формулировке другой задачи оптимизации, который позволил им уменьшить размерность пространства состояний для потока жидкости до единицы. Проще говоря, движение жидкости теперь можно было описать, используя только один параметр!

Алгоритм RL обычно формулируется в терминах «Марковского процесса принятия решений» (MDP), математической структуры для принятия решений в ситуациях, когда результаты частично случайны, а частично контролируются лицом, принимающим решения. Используя этот подход, команда показала, что RL эффективно оптимизирует смешивание жидкостей.

«Мы протестировали наш алгоритм на основе RL для двумерной задачи смешивания жидкостей и обнаружили, что алгоритм определил эффективное управление потоком, кульминацией которого стало экспоненциально быстрое смешивание без каких-либо предварительных знаний», — говорит доктор Инубуши. «Механизм, лежащий в основе этого эффективного перемешивания, был объяснен путем рассмотрения потока вокруг фиксированных точек с точки зрения теории динамических систем».

Еще одним существенным преимуществом метода RL стало эффективное трансферное обучение (применение полученных знаний к другой, но связанной задаче) обученного «микшера». В контексте смешивания жидкостей это означало, что смеситель, обученный на определенном числе Пекле (отношение скорости адвекции к скорости диффузии в процессе смешивания), можно использовать для решения проблемы смешивания при другом числе Пекле. Это значительно сократило время и стоимость обучения алгоритма RL.