Блог

Oct 19, 2023

Оптимизация смешивания жидкостей с обучением с подкреплением

Научные отчеты, том 12,

Научные отчеты, том 12, Номер статьи: 14268 (2022) Цитировать эту статью

2471 Доступов

2 цитаты

103 Альтметрика

Подробности о метриках

Смешивание жидкостей имеет решающее значение в различных промышленных процессах. В этом исследовании, сосредоточив внимание на характеристиках, благодаря которым обучение с подкреплением (RL) подходит для глобальной оптимизации во времени, мы предлагаем использовать RL для оптимизации смешивания жидкостей пассивных скалярных полей. Для двумерной задачи смешивания жидкости, описываемой уравнениями адвекции-диффузии, обученный смеситель реализует экспоненциально быстрое перемешивание без каких-либо предварительных знаний. Растягивание и складывание обученным миксером вокруг застойных точек имеют важное значение для оптимального процесса смешивания. Кроме того, в этом исследовании представлен физически разумный метод переноса обучения обученного миксера: повторное использование миксера, обученного на определенном числе Пекле, для решения задачи смешивания с другим числом Пекле. На основе результатов оптимизации ламинарного перемешивания обсуждается применение предложенного метода к задачам промышленного перемешивания, в том числе турбулентного перемешивания.

Смешение жидкостей играет фундаментальную роль в различных промышленных процессах. Однако большинство процессов смешивания разрабатываются эмпирически с использованием методов проб и ошибок посредством физических экспериментов, а не математической оптимизации. Хотя турбулентность является «эффективным смесителем»1, в некоторых случаях (например, в биореакторе или смесителе в пищевой промышленности) турбулентное перемешивание неприемлемо, поскольку сильные сдвиговые потоки повреждают смешиваемые материалы. Более того, поддержание турбулентных потоков в микросмесителях затруднено из-за низких чисел Рейнольдса; это требует усиленного перемешивания ламинарными потоками. Поэтому оптимизация смешивания с помощью ламинарных потоков имеет решающее значение. Несколько аналитических исследований оценили эффективность протоколов ламинарного смешивания2,3,4,5, например, доказывая экспоненциальные границы скорости смешивания; однако исследования методов конструктивной оптимизации остаются ограниченными.

В этом исследовании предлагается оптимизация смешивания, основанная на обучении с подкреплением (RL) в качестве конструктивного метода. Чтобы проиллюстрировать эффективность алгоритма RL для оптимизации смешивания жидкостей, мы сначала суммируем его математическую основу. Алгоритм RL сформулирован в терминах марковского процесса принятия решений (MDP)6,7: \(M= \{ {S}, {A}, p_{0}, P, R\}\), где S обозначает набор состояний, \({S}=\{s_1, \cdots s_{|{S}|} \}\); A обозначает набор действий, \({A}=\{ a_{1}, \cdots a_{|{A}|} \}\); \(p_{0}\) обозначает распределение вероятностей начального состояния, \(p_{0}: {S} \rightarrow [0,1]\); P обозначает вероятность перехода, \(P: {S} \times {S} \times {A} \rightarrow [0,1]\); и R обозначает функцию вознаграждения, \(R:{S} \times {A} \rightarrow \mathbb {R}\). Начальное состояние \(s_{0}\) определяется \(p_{0}(\cdot )\), а на следующем этапе состояние определяется вероятностью перехода \(P(\cdot |s_{0},a_{0})\), для чего требуется действие \(a_0\). Действие определяется политикой \(\pi : {S} \rightarrow {A}\), как \(a=\pi (s)\. Алгоритм RL реализован для определения оптимальной политики \(\pi ^*\) для данного MDP, которая максимизирует ожидание совокупного вознаграждения, \(\sum _{t=0}^{\infty } \ гамма ^{t} R_{t+1}\). Здесь \(\gamma \in (0,1)\) обозначает коэффициент дисконтирования, а \(R_{t+1}:=R(s_{t},a_{t})\).

Алгоритм RL максимизирует совокупное вознаграждение (т. е. глобальное во времени), а не мгновенное вознаграждение \(R_{t}\) (т. е. локальное во времени). Следовательно, он подходит для задач глобальной оптимизации во времени. Разработка эффективных протоколов смешивания является одной из глобальных проблем оптимизации во времени, поскольку окончательное скалярное поле зависит от временного порядка действий во всем процессе смешивания, который включает в себя растяжение и складывание потоками жидкости и его связь с молекулярной диффузией. Показательный пример был представлен в «Вопросах истории» Виллермо8. Несмотря на эффективность алгоритмов RL при решении широкого круга задач механики жидкости9,10,11, включая ядерный синтез12 и моделирование турбулентности13, проблема смешивания жидкости остается неисследованной.