Предсказание длительности госпитализации.

Description

На сегодняшний день большинство приложений искусственного интеллекта (ИИ) в здравоохранении применялись для решения клинических вопросов на уровне отдельных пациентов . Теперь, когда во многих больницах есть электронные медицинские карты (EHR) и хранилища данных, есть потенциал для использования потенциала ИИ в операционных целях . Больницы представляют собой высокосвязанные системы, в которых нехватка мощностей в одной области (например, нехватка коек в палатах) препятствует потоку пациентов из других мест, таких как отделение неотложной помощи  или пациентов, готовых к выписке из реанимации . Прибытия в отделение неотложной помощи демонстрируют суточные и сезонные колебания с прогнозируемыми пиками утром и ранним вечером, но рабочие процессы в других частях больницы означают, что выписки из больницы происходят поздно днем, что создает проблемы с потоком Это несоответствие ритма между различными частями больницы приводит к тому, что пациенты попадают в отделения неотложной помощи или помещаются в неподходящие отделения с неблагоприятными последствиями, включая более длительное пребывание , повышенный риск врачебных ошибок и худшие отдаленные результаты у пожилых пациентов .

Больничными услугами можно управлять более эффективно, если доступны точные краткосрочные прогнозы потребности в экстренных случаях . В настоящее время большинство больниц используют простые эвристические методы для краткосрочного прогнозирования числа госпитализаций в экстренной ситуации, которые основаны на скользящих средних значениях для каждого дня недели . Ученые предложили улучшения с использованием байесовских подходов или авторегрессивных индуктивных скользящих средних с метеорологическими данными, данными общественного здравоохранения и географическими данными . Однако такие методы не учитывают стохастический характер вступлений ЭД 13и не могут быть адаптированы для отражения состава пациентов отделения неотложной помощи в данный момент времени. В больницах с EHR, где персонал записывает данные о пациентах по месту оказания медицинской помощи, есть возможность использовать данные EHR для создания краткосрочных прогнозов потребности в койках. Это поможет командам, отвечающим за распределение коек, наилучшим образом использовать имеющиеся возможности и сократить количество отмен факультативных госпитализаций.

Машинное обучение привлекательно для таких прогнозов, потому что его агрегация слабых предикторов может создать сильную модель прогнозирования . Ученые в области неотложной медицины сравнили прогнозы, сделанные алгоритмами машинного обучения, с традиционными подходами, такими как линейная регрессия и наивный байесовский подход . В таких исследованиях обычно используются характеристики прибытия (например, прибытие на машине скорой помощи или пешком), данные сортировки и история предыдущих посещений , чтобы делать прогнозы, хотя недавние исследования включали более широкий спектр данных, полученных с помощью электронных медицинских карт, в том числе история болезни, представляя данные о состоянии и патологии . Хонг и др. показали, что алгоритмы машинного обучения, такие как деревья с градиентным усилением и глубокие нейронные сети, примененные к большому набору данных EHR из 972 переменных, улучшили прогностическую эффективность. Включив данные о результатах и ​​процедурах лабораторных испытаний, El-Bouri et al. 20 смогли предсказать, к какой медицинской специальности будут госпитализированы пациенты. Исследование Барак-Коррен и др. 18является одним из немногих в области неотложной медицины, который решает проблемы прогнозирования во время визита пациента в отделение неотложной помощи. Они построили прогрессивные наборы данных из исторических данных, каждый из которых предназначен для отражения данных, обычно доступных через 10, 60 и 120 минут после представления в ED. Несмотря на то, что они использовали данные об основных жалобах, которые были введены регистраторами неотложной помощи в виде произвольного текста и ретроспективно закодированы исследователями, они смогли показать, что более поздние наборы данных давали лучшие прогнозы, чем через 10 минут. Их исследование демонстрирует потенциал, который EHR предлагают для улучшения подходов, использующих только данные сортировки.

Хотя эти исследования демонстрируют прогностическую полезность ML, они не раскрывают его потенциал для создания прогнозов в режиме реального времени, чтобы помочь менеджерам решать проблемы с потоком пациентов. Построение модели для реализации сопряжено с рядом дополнительных проблем по сравнению с теми, с которыми приходится сталкиваться при простой оптимизации технических характеристик модели прогнозирования. К ним относятся подготовка обучающих примеров неполных посещений из исторических данных, в которых посещения были завершены, принятие решений о временном построении модели (например, в какой момент посещения проверять, произошел ли интересующий результат) , и планирование изменения производительности модели с течением времени . Модели для прогнозирования в реальном времени были обучены в клинических контекстах, таких как недостаточность кровообращения в интенсивной терапии и послеоперационные осложнения . Это контексты, в которых наблюдения за пациентами проводятся с высокой частотой, тогда как частота сбора данных и тип собираемых данных сильно различаются от пациента к пациенту в отделении неотложной помощи. Пациент в отделении реанимации отделения неотложной помощи может иметь частые наблюдения, в то время как пациент в комнате ожидания не собирает данные. Эти разнородные профили данных сами по себе указывают на вероятность госпитализации.

С точки зрения специалистов по планированию коек знание вероятности того, что конкретный пациент будет госпитализирован, менее ценно, чем знание совокупного количества пациентов, которых необходимо запланировать. В этом отношении инструмент прогнозирования, который может обеспечить распределение вероятностей для количества госпитализаций в заданный период времени, более полезен, чем тот, который оценивает только вероятность госпитализаций на уровне пациентов. Одно исследование в области медицины неотложных состояний рассчитало ожидаемое количество госпитализаций среди полной палаты пациентов отделения неотложной помощи путем суммирования их индивидуальных вероятностей госпитализации, но не было представлено неопределенности их точечных оценок. Кроме того, при прогнозировании госпитализаций в пределах временного окна после прогнозирования прогнозы должны учитывать количество пациентов, не находящихся в отделении неотложной помощи в прогнозируемое время, которые поступят и будут госпитализированы в пределах окна .

Если модели будут использоваться в оперативном режиме, их эффективность должна поддерживаться с течением времени по мере развития оказания медицинской помощи, характеристик пациентов и систем, используемых для сбора данных . Операционные модели в реальном времени также должны охватывать «последнюю милю» развертывания ИИ; это означает, что приложения, генерирующие прогнозы, могут выполняться непрерывно без вмешательства человека. Этой последней миле чаще всего пренебрегают , что приводит к призывам к созданию науки о доставке ИИ, в которой ИИ рассматривается как вспомогательный компонент рабочего процесса, а не самоцель .

Это исследование было направлено на использование разнородного потока данных в режиме реального времени, поступающих от пациентов отделения неотложной помощи британской больницы, для прогнозирования совокупных госпитализаций в краткосрочной перспективе. Планировщики коек в больнице тесно сотрудничали с исследовательской группой, чтобы уточнить их требования. Они запросили прогнозы потребности в койках на следующие четыре и восемь часов, которые будут отправляться четыре раза в день, чтобы совпадать с их собственными отчетами о вместимости. В рамках проекта мы разработали приложение, которое форматирует и отправляет электронное письмо специалистам по планированию кроватей в четыре отчетных часа. В этой статье мы объясняем, как генерируются прогнозы, оцениваем их эффективность и сравниваем их со стандартными тестами.

Вклад исследования: разработка и развертывание информационного продукта на основе машинного обучения, используемого в больничных операциях; демонстрация метода обучения моделей машинного обучения для использования в режиме реального времени, когда данные на уровне пациентов различаются между пациентами и в ходе отдельных посещений; включение метода агрегирования прогнозов на индивидуальном уровне для целей оперативного планирования; и изложение некоторых проблем, связанных с разработкой моделей для реализации в реальном времени.

Полученные результаты
Обзор конвейера прогнозирования
На рис . 1 показан реальный пример прогнозов, сгенерированных в 16:00 11 мая 2021 года с использованием конвейера из семи шагов, построенного в ходе этой работы. Как отмечалось выше, планировщики кроватей хотели получать эти прогнозы четыре раза в день (06:00, 12:00, 16:00 и 22:00).

Рис. 1: Пример конвейера семиэтапного прогнозирования на реальном примере, прогнозирующего количество госпитализаций в течение 4 часов после 16:00 11 мая 2021 г.

a Иллюстрирует полную палату пациентов в отделении неотложной помощи в прогнозируемое время в интересующий день, сгруппированных в соответствии с тем, как долго они находились в отделении неотложной помощи с момента прибытия. b Показывает вероятность госпитализации каждого пациента, сгенерированную с использованием набора моделей машинного обучения. Они объединены в c в вероятностное распределение количества госпитализаций среди этой палаты, полной пациентов. d Показывает, как для каждого пациента вероятность госпитализации в течение 4 часов будет рассчитываться на основе последних данных о времени до поступления, принимая во внимание время пребывания пациента в отделении неотложной помощи до прогнозируемого времени. e Показывает вероятностное распределение количества госпитализаций среди полных палат пациентов в пределах прогнозируемого окна в 4 часа.f Показывает распределение вероятностей по количеству еще не прибывших пациентов, которые будут госпитализированы в окне прогноза, сгенерированное уравнением Пуассона на основе последних данных о количестве госпитализаций. g Показывает окончательное распределение вероятностей для количества госпитализаций, включая пациентов в отделении неотложной помощи в настоящее время и тех, кто еще не прибыл, в пределах окна прогноза.

В каждый момент прогнозирования извлекались данные EHR о наборе пациентов в отделении неотложной помощи (шаг 1). Для каждого из них был сделан прогноз вероятности госпитализации на этапе 2. На этапе 3 индивидуальные вероятности были объединены, чтобы получить распределение вероятностей для количества госпитализаций пациентов, находящихся в настоящее время в отделении неотложной помощи. На этапе 4 индивидуальная вероятность госпитализации для каждого пациента была объединена с анализом выживаемости, чтобы дать каждому пациенту вероятность того, что они будут госпитализированы в пределах окна прогноза, с учетом времени их поступления и количества пациентов в отделении неотложной помощи на момент их прибытия. . На шаге 5 отдельные вероятности из шага 4 были объединены, чтобы получить распределение вероятностей для количества госпитализаций в пределах окна прогноза от пациентов, находящихся в настоящее время в отделении неотложной помощи. На этапе 6 использовалась регрессия Пуассона, чтобы получить распределение вероятностей для числа дополнительных пациентов, которые поступят и будут госпитализированы в пределах прогнозируемого окна. Наконец, на этапе 7 распределения, полученные на этапах 5 и 6, были свернуты, чтобы получить распределение вероятностей для общего числа госпитализаций в пределах окна прогноза пациентами, которые в настоящее время находятся в отделении неотложной помощи, и другими, которые еще не поступили. В следующих абзацах представлена ​​оценка прогнозов, сделанных в четыре периода прогнозирования на тестовом наборе из 97 дней с 13 декабря 2019 года по 18 марта 2020 года. распределения, полученные на шагах 5 и 6, были свернуты, чтобы получить распределение вероятностей для общего числа госпитализаций в пределах окна прогноза пациентами, которые в настоящее время находятся в отделении неотложной помощи, и другими, которые еще не поступили. В следующих абзацах представлена ​​оценка прогнозов, сделанных в четыре периода прогнозирования на тестовом наборе из 97 дней с 13 декабря 2019 года по 18 марта 2020 года. распределения, полученные на шагах 5 и 6, были свернуты, чтобы получить распределение вероятностей для общего числа госпитализаций в пределах окна прогноза пациентами, которые в настоящее время находятся в отделении неотложной помощи, и другими, которые еще не поступили. В следующих абзацах представлена ​​оценка прогнозов, сделанных в четыре периода прогнозирования на тестовом наборе из 97 дней с 13 декабря 2019 года по 18 марта 2020 года.

Результаты для шагов 1–2: важность функций машинного обучения
Наиболее важные функции для прогнозирования госпитализации, выбранные классификатором XGBoost, показаны на рис. 2а для 12 различных моделей, разработанных для использования с пациентами, которые находились в отделении неотложной помощи в течение увеличивающихся периодов времени, где модель T15 основана на данных, доступных в течение первого 15 минут посещения и T240 на основе данных, доступных в течение первых 240 минут и т. д. См. Дополнительную таблицу 2 , где приведен глоссарий характеристик.

Рис. 2: Важность функций и производительность для каждой модели в тестовом наборе.

a Показывает важность признаков, представленных для простоты интерпретации в четырех группах (данные посещений, история местоположений, наблюдения и консультации и патология). Интенсивность цвета отражает относительную важность каждой функции в каждой модели. Для простоты представления функция исключается из рисунка, если ее исходная важность менее 0,01 во всех моделях. b Показывает количество посещений, долю приема и эффективность каждой модели. См. Дополнительную таблицу 2 , где представлен глоссарий функций, и Дополнительное примечание 6 , где приводится эквивалентный анализ более поздних посещений во время пандемии Covid-19.

Среди особенностей посещения изначально важны возраст, способ прибытия и предыдущая госпитализация, но они уменьшаются по прошествии времени, а сигналы от других характеристик становятся сильнее. Среди особенностей локации важное значение имеет нахождение в зоне ожидания, или нахождение в реанимационной зоне (ресус) между 15 и 120 минутами. (См. дополнительное примечание 1для получения дополнительной информации о местах в ED). После 180 минут важно посетить поток психического здоровья (MHS) или находиться в нем; это место используется для людей с психическими расстройствами, которые обычно выписываются в специализированное учреждение, но часто остаются в MHS в течение длительного времени. Это объясняет, почему MHS так важен в модели T720, учебные примеры которой включают более высокую долю посещений MHS. Через 240 минут становится важным находиться в блоке принятия клинических решений (CDU); это место предназначено для людей, ожидающих результатов анализов или находящихся под наблюдением перед выпиской.

Среди особенностей наблюдения и консультаций количество консультаций со стационарными специалистами, сигнализирующих о вероятной госпитализации, важно во всех моделях, особенно между 180 и 360 минутами. Показатели сортировки важны до 60 минут, а Национальная оценка раннего предупреждения (NEWS) остается важной до 240 минут. Совокупное количество проведенных измерений и количество записей определенных показателей, таких как проверка медсестер областей давления на тело, более важны позже в отделении неотложной помощи, предположительно отражая постоянное внимание персонала к более нездоровым пациентам. Среди признаков патологии, значения результатов теста и количество результатов, выходящих за пределы допустимого диапазона, становятся важными начиная с 60 минут, поскольку результаты лабораторных тестов начинают возвращаться в отделение неотложной помощи. Запросы на определенные наборы лабораторных тестов (костный профиль и С-реактивный белок) важны для пациентов, находящихся на более длительном лечении.

Результаты для шагов 1–2: оценка производительности модели машинного обучения
Показатели производительности для каждой модели показаны на рис. 2б . Модели достигли наименьшей логарифмической потери при представлении пациентов с прошедшим временем от 30 до 120 минут и наилучшей площадью под рабочей кривой приема (AUROC) 0,90 между 90 и 180 минутами. До этого момента выписалось мало пациентов, поэтому модели могут хорошо различать вероятные госпитализации и выписки. С течением времени выписки и госпитализации становятся более простыми, количество обучающих примеров уменьшается (см. рис. 2b ), а в наборе случаев увеличивается доля более клинически сложных случаев, которые труднее предсказать.

Калибровочные графики для каждой модели машинного обучения показаны на рис. 3 применительно ко всем посещениям в тестовом наборе. Все модели хорошо откалиброваны, вплоть до двух последних моделей, которые относятся к очень небольшому подмножеству посещений, когда пациенты остаются в отделении неотложной помощи через 8 часов.

Рис. 3: Калибровочные графики для каждой из моделей машинного обучения, примененных к тестовому набору.

Результаты для шагов 1–2: альтернативы XGBoost
В дополнительном анализе мы обнаружили, что XGBoost превосходит Random Forest (RF) с точки зрения потери журнала на всех 12 моделях (рис. 4 ). Логистическая регрессия с регуляризацией Лассо дала производительность почти такую ​​же хорошую, как XGBoost, а повышенная регуляризация (и, как следствие, более разреженные модели регрессии) дала менее хорошую производительность (рис. 4 ). Обе модели Random Forrest и Logistic Regression использовали наборы функций, аналогичные XGBoost (дополнительное примечание 8 ).

Рис. 4: Сравнение производительности моделей XGBoost, Random Forest и Logistic Regression на тестовом наборе.

Для каждого набора из 12 моделей (от T0 до T720) логарифмическая потеря, достигнутая каждым алгоритмом, показана в виде круга с линией, соединяющей круги, представляющие один и тот же алгоритм. Результаты логистической регрессии (LR) (выделены красным) показаны с уменьшением твердости линии, поскольку лямбда, значение штрафа, подталкивается к большей регуляризации. Lamda.min — это значение лямбда с минимальной ошибкой перекрестной проверки, которая является оптимальной моделью. Lambda.2se — это значение, которое дает наиболее регуляризованную модель, такую, что ошибка перекрестной проверки находится в пределах 2 стандартных ошибок минимума. Lambda.3se и Lambda.4se находятся в пределах 3 и 4 стандартных ошибок соответственно.

Результаты для шагов 3–7: оценка агрегированных прогнозов
На остальных этапах индивидуальные вероятности на уровне пациентов были объединены в распределения вероятностей по количеству госпитализаций в каждый момент времени прогнозирования. На рис . 5 графики QQ используются для оценки соответствия между наблюдениями и прогнозируемыми распределениями, созданными на этапах 3, 5 и 7 конвейера прогнозирования (дополнительную информацию о промежуточных этапах см. в разделе «Методы»). Судя по визуальному осмотру графиков QQ, наблюдается очень хорошее совпадение между прогнозируемыми распределениями и наблюдениями после шага 3. (Совпадение на шаге 3 было хуже при использовании только 3, а не 12 моделей на шаге 2, как объяснено в дополнительном примечании 7 и показано на дополнительном рис. 17). После шага 5 совпадение остается хорошим, хотя (особенно для восьмичасового окна прогноза) предсказанные распределения немного занижают количество госпитализаций в пределах окна прогноза, что позволяет предположить, что пациенты тратили на госпитализацию меньше времени, чем прогнозировалось. Аналогичное совпадение наблюдается после шага 7.

Рис. 5: Графики QQ, оценивающие предсказанные распределения количества госпитализаций после шагов 3, 5 и 7.

Сокращения: cdf (кумулятивная функция распределения). В первом столбце графиков оцениваются распределения для всех пациентов, находящихся в настоящее время в отделении неотложной помощи, без применения окна прогнозирования. Во втором столбце оцениваются распределения для всех пациентов, находящихся в настоящее время в отделении неотложной помощи, с окном прогнозирования 4 и 8 часов. В третьем столбце оцениваются распределения для всех пациентов, находящихся в настоящее время в отделении неотложной помощи, и пациентов, которые еще не поступили, с окном прогноза 4 и 8 часов.

На рис . 6 прогнозы модели сравниваются с обычным шестинедельным эталоном скользящего среднего для ежедневных госпитализаций, с поправкой на использование в 16:00 (см. Методы, как это было получено). Средняя абсолютная ошибка (MAE) использовалась для сравнения подходов, так как это позволяет избежать положительных и отрицательных отклонений, компенсирующих друг друга, и ошибка также выражалась в процентах наблюдаемых госпитализаций для получения средней процентной ошибки (MPE). Конвейер прогнозирования недооценил количество госпитализаций в течение 8-часового окна, но показал лучшие результаты, чем эталон (MAE 4,0 госпитализации с MPE 17% по сравнению с 6,5 и 32% для эталона).

Рис. 6. Сравнение прогнозов модели со скользящим средним показателем за шесть недель для количества госпитализаций в пределах окна прогноза в 8 часов после 16:00, включая пациентов, которые еще не поступили.

a Показывает разницу между наблюдаемым количеством госпитализаций и ожидаемым значением распределения вероятностей для прогнозов модели (красные точки), а также между наблюдаемым количеством госпитализаций и ожидаемым значением от эталона (синие точки). Там, где ожидаемое значение равно наблюдаемому значению, точки падают на ось x ( y  = 0). Полоса, заштрихованная серым цветом, представляет диапазон вероятности между 10 -м и 90 -м процентилем кумулятивного распределения вероятностей модели. b Показывает распределение ошибок (разница между наблюдаемым и ожидаемым). См. Методы для обоснования проведения оценки в 16:00 с 8-часовым окном прогнозирования.

Результаты были получены с использованием данных за период с мая 2019 года по март 2020 года, до того, как пандемия Covid-19 охватила Великобританию. В дополнительном примечании 6 мы представляем результаты моделирования двух альтернативных наборов данных; один, который начинается в момент вспышки Covid, и один, обученный только в период после введения экстренной помощи в тот же день (SDEC). Модели важности признаков (дополнительная рис. 11 ) и производительности модели (дополнительная рис. 12 ) были в основном одинаковыми для трех наборов данных. Семиэтапный конвейер нуждался в одной корректировке, чтобы приспособиться к большим различиям как в пациентах, так и в рабочих условиях после вспышки Covid; это должно было уточнить кривую выживаемости, использованную на этапе 4, чтобы использовать только скользящие данные за последние шесть недель.

Если у Вас появилась заинтересованность в данной нейронной сети, и она может помочь Вам в реализации Ваших бизнес и других технических задачах, пожалуйста отправьте заявку на email info@ai2b.ru , или позвоните по телефону 8(495)661-61-09