Description
Появление глубокой сверточной нейронной сети (CNN) значительно повышает качество автоматизированных вспомогательных систем. Однако из-за проблем с получением надежных и своевременных результатов клиническое внедрение систем компьютерной диагностики все еще ограничено. Недавние исследования в области информатики показывают, что алгоритмы машинного обучения необходимо сочетать с достаточным клиническим опытом для достижения оптимального результата.
В этом исследовании мы использовали алгоритмы глубокого обучения, чтобы диагностировать четыре распространенных кожных заболевания на основе дерматоскопических изображений. Чтобы облегчить принятие решений и повысить точность нашего алгоритма, мы обобщили сценарии классификации/диагностики, основанные на экспертных знаниях предметной области, и семантически представили их в иерархической структуре.
Полученные результаты
Наш алгоритм достиг точности 87,25 ± 2,24% в нашем тестовом наборе данных с 1067 изображениями. Семантическое обобщение сценариев диагностики может способствовать дальнейшему совершенствованию алгоритма для облегчения будущей компьютерной поддержки принятия решений.
Выводы
В этой статье мы применили алгоритм глубокой нейронной сети для классификации дерматоскопических изображений четырех распространенных кожных заболеваний и заархивировали многообещающие результаты. Основываясь на результатах, мы дополнительно обобщили сценарии диагностики/классификации, которые отражают важность объединения усилий как человеческого опыта, так и компьютерных алгоритмов в дерматологической диагностике.
В области биомедицинской информатики были проведены исследования по использованию системы диагностики искусственного интеллекта на основе изображений для раннего выявления некоторых заболеваний, особенно кожных заболеваний . Для распознавания образов и классификации клинических изображений широко используются глубокие нейронные сети. Недавно опубликованная статья в журнале Nature привела пример использования сверточной нейронной сети (CNN) для дезагрегации 2032 различных видов кожных заболеваний и протестировала ее эффективность на примере 21 сертифицированного дерматолога . CNN выступила наравне с экспертами, доказав осуществимость системы компьютерной диагностики. В области здравоохранения эта система потенциально может помочь поставщикам медицинских услуг ставить более эффективные диагнозы в качестве инструмента поддержки принятия клинических решений. Существует несколько типов глубоких нейронных сетей, включая сверточные и рекурсивные нейронные сети (CNN и RNN) и т. д. В некоторых исследованиях для разработки и модификации методов классификации изображений использовались глубокие нейронные сети . Многие предыдущие исследования показали многообещающие результаты как в отношении надежности, так и точности компьютерной поддержки принятия решений ]. В ряде опубликованных статей рассматривалось сочетание человеческого опыта и искусственного интеллекта . Тем не менее нам по-прежнему необходимо лучше интегрировать человеческие знания в искусственный интеллект и использовать искусственный интеллект для расширения человеческого интеллекта.
В нашем предыдущем исследовании мы классифицировали четыре распространенных кожных заболевания на основе дерматоскопических изображений с использованием алгоритмов глубокого обучения . В этой статье он был расширен за счет обобщения сценариев классификации/диагностики и семантического представления их в иерархической структуре в надежде на дальнейшее облегчение принятия решений и повышение точности нашего алгоритма. Для исследования были выбраны четыре часто встречающихся кожных заболевания: меланоцитарный невус, себорейный кератоз (СК), базально-клеточная карцинома (БКР) и псориаз. Меланоцитарный невус — очень распространенная доброкачественная опухоль кожи. Это может происходить от младенчества до старости, и количество, которое обычно носит каждый человек, увеличивается с возрастом . Себорейный кератоз (СК), также известный как базально-клеточная папиллома, возникает из-за задержки созревания доброкачественных клеток эпидермиса. Меланоцитарный невус и базально-клеточная карцинома имеют более глубокие поражения, которые необходимо точно различать . Базально-клеточная карцинома (БКК) является одним из наиболее распространенных видов рака кожи человека, особенно у пожилых людей. По данным эпидемиологических исследований, заболеваемость БКК увеличивается из года в год, причем заболеваемость у лиц молодого возраста имеет постепенную тенденцию к росту . Псориаз является распространенным и легко рецидивирующим хроническим воспалительным заболеванием кожи. Во всем мире распространенность псориаза составляет 2–4%. Это оказывает существенное влияние на здоровье пациента и даже на его психическое здоровье . Поэтому псориаз всегда является одним из очагов дерматологических исследований.
Эти четыре кожных заболевания: базально-клеточная карцинома (БКК), меланоцитарный невус, себорейный кератоз (СК) и псориаз являются эпидермальными злокачественными, меланоцитарными доброкачественными, эпидермальными доброкачественными и неопухолевыми кожными заболеваниями соответственно. Примечательно, что лечение этих четырех заболеваний сильно отличается. Неправильный диагноз или запоздалая диагностика могут привести к неправильному лечению, задержке лечения и даже к отсутствию лечения . Поэтому крайне важно, чтобы поставщики могли вовремя поставить точный диагноз. Если систему искусственного интеллекта можно будет использовать для автоматической классификации этих четырех заболеваний, медицинские работники смогут принести пользу пациентам, диагностируя их более эффективно и точно.
Набор данных
Данные, использованные в этом исследовании, были получены из отделения дерматологии больницы Пекинского медицинского колледжа. Клиническая база данных в настоящее время содержит более 28 000 дерматоскопических изображений, изученных с помощью дерматоскопических устройств MoleMax HD 1.0. Наше исследование было одобрено Комитетом по этике Института больницы Пекинского медицинского колледжа Китайской академии медицинских наук. Информированное согласие было получено от всех участников.
Наш эксперимент был разработан на основе золотого стандарта, при котором каждое изображение тщательно просматривалось как минимум двумя опытными дерматологами, прежде чем были даны результаты диагностики. На рис . 1 показан процесс аннотации. На рис . 2 показаны некоторые примеры типичных дерматоскопических изображений. Во-первых, каждое дерматоскопическое изображение рассматривалось как минимум двумя опытными дерматологами. В случае достижения консенсуса результирующий диагноз аннотировался. Если нет, то обращались к третьему дерматологу. Если после обсуждения был достигнут консенсус, аннотация отражала согласованный диагноз. В противном случае изображение отправлялось на гистопатологическую биопсию. В конце концов, каждое изображение было помечено названием болезни. Как мы видим, это очень трудоемкий и дорогостоящий процесс.
рисунок 1
Рис. 2
В целом наш набор экспериментальных данных содержит 1067 изображений пациентов, посетивших клинику в период с 2015 по 2017 год, с изображениями 418 меланоцитарных невусов, 291 себорейного кератоза, 132 базально-клеточного рака и 226 дерматоскопических изображений псориаза соответственно. В эксперименте мы использовали два набора данных. Набор данных A состоит из всех изображений. Набор данных B был выбранным, равномерно распределенным набором данных. Из каждой категории заболеваний было отобрано 132 изображения, всего 528 изображений. Подробности перечислены в Таблице 1 .
| Набор данных А | Набор данных Б | ||
|---|---|---|---|
| меланоцитарный невус | 418 | меланоцитарный невус | 132 |
| себорейный кератоз (СК) | 291 | себорейный кератоз (СК) | 132 |
| базально-клеточная карцинома (БКК) | 132 | базально-клеточная карцинома (БКК) | 132 |
| псориаз | 226 | Псориаз | 132 |
| Общее количество изображений | 1067 | Общее количество изображений | 528
|
Алгоритм глубокого обучения
Мы разработали наш алгоритм на основе пакета кода GoogleNet Inception v3, который был предварительно обучен на более чем 1,28 миллионах изображений . Мы скорректировали последний слой и использовали наши наборы данных в качестве входных данных. Платформа глубокого обучения GoogleNet представляет собой тип искусственной нейронной сети, называемой CNN. Он основан на биологическом процессе, называемом аксональным транспортом или синаптической передачей, при котором несколько нейронов, получающих сигналы, частично перекрываются и покрывают все поле . CNN имеют аналогичные функции, в которых вычисляемые признаки комбинируются друг с другом. Упрощенная схема всего процесса показана на рис. 3 . CNN часто используется в реальной жизни для распознавания изображений или видео и обработки естественного языка.
Рис. 3
Упрощенный фреймворк для глубоких нейронных сетей
Для дальнейшей оценки этого метода мы также рассчитали точность, отзыв и балл F1 для каждого заболевания (таблицы 3 и 4 ). Чтобы предотвратить потенциальное смещение из-за неравномерного распределения четырех заболеваний, мы использовали сбалансированное распределение, которое представляет собой набор данных B. Формулы были следующими.
| BCC | меланоцитарный невус | Псориаз | СК | |
|---|---|---|---|---|
| Точность | 88,24% | 89,06% | 88,55% | 79,07% |
| Отзывать | 87,5% | 88,37% | 88,55% | 80,31% |
| F-мера | 0,879 | 0,887 | 0,885 | 0,797 |
| Оригинальная аннотация | Классифицированные болезни | |||
|---|---|---|---|---|
| BCC | Меланоцитарный невус | Псориаз | СК | |
| BCC | 105 | 4 | 4 | 6 |
| меланоцитарный невус | 4 | 114 | 1 | 9 |
| Псориаз | 2 | 3 | 116 | 10 |
| СК | 9 | 8 | 10 | 102 |
пр е с и с и я _знак равноправда _ _ _п о с и т и в еправда _ _ _п о с и т и в е +фа л с еп о с и т и в е
(2)
Рес а л лзнак равноправда _ _ _п о с и т и в еправда _ _ _п о с и т и в е+фа л с еп е га т и в е
(3)
Ф− м е а с ты р езнак равно2⋅п р е ц и с и я _⋅р е з а л ьп р е ц и с и я _+р е з а л ь
(4)
Категории для неправильно классифицированных изображений
Затем мы провели анализ ошибок, чтобы обобщить причины, по которым определенные изображения были неправильно классифицированы нашим алгоритмом. Два дерматолога и два информатика просмотрели эти изображения и предложили возможные причины неправильной классификации. Все сценарии суммированы и представлены в виде иерархической структуры на рис. 4 . На рис . 5 показаны некоторые примеры неправильно классифицированных случаев.
Рис. 4
Рис. 5
Как показано на рис. 4 , мы определили 4 основные категории возможных причин ошибок: «Характеристики заболевания», «Множественные заболевания», «Фактор помех» и «Точность алгоритма».
В категории «Характеристики болезни» мы дополнительно классифицировали три подкласса: «Сходные характеристики», «Атипичные характеристики» и «Особый тип». Категория «Сходные характеристики» была определена для описания тех ошибок, которые вызваны изображениями, относящимися к разным заболеваниям, но имеющими схожие характеристики. Эти подобные функции могли повлиять на производительность классификатора CNN. Категория «Атипичные характеристики» относится к тем изображениям, которые не имеют типичных признаков соответствующего заболевания. Например, рис. 5апредставляет собой регрессию вульгарного псориаза. Типичные признаки заболевания, такие как точечные кровеносные сосуды, значительно уменьшились, осталось только воспаление. Следовательно, ошибочная классификация относится к «Атипичной характеристике». Категория «Особый тип» определяет изображения, имеющие аномальные признаки, которые обычно не проявляются при соответствующем заболевании. На рис . 5b показан пример. Это изображение было аннотировано как BCC, но ошибочно классифицировано как меланоцитарный невус. На изображении видно большое сине-серое овальное гнездо и листовидная структура, но нет разветвленных кровеносных сосудов
. В этом случае имеется много пигментированных областей, которые покрывают большую часть поражения. Возможно, это и было причиной ошибочного диагноза.
Категория «Множественные заболевания» относится к тем неправильно классифицированным изображениям, которые содержат поражения, относящиеся к более чем одному заболеванию. Изображение на рис. 5с указывает на заболевания как СК, так и БКК и было классифицировано алгоритмом как СК, но на изображении также можно увидеть поражения БКК. Неправильная классификация может быть связана с тем, что пигментация СК более очевидна. В последующем исследовании мы можем предварительно обработать изображение, чтобы обнаружить и разделить несколько заболеваний.
«Волосы/линия», «пузырьки воздуха/дермоскопический гель» и «несбалансированная яркость» — все это ошибочно классифицированные причины в категории «фактор помех». Эти факторы будут мешать нашему алгоритму при определении критических атрибутов во время классификации. Изображение на рис. 5d — это псориаз, но ошибочно классифицированный как СК. Изображение действительно содержит дерматоскопические данные соответствующего заболевания, но есть фактор помехи, волосы. Человеческие глаза обычно могут избежать интерференционного фактора без потери особенностей поражения, но CNN считает волосы ключевым фактором для классификации.
Сам наш алгоритм можно улучшить. Есть некоторые изображения, которые не могут быть отнесены ни к одной из вышеперечисленных категорий после проверки экспертом в предметной области. Поэтому была добавлена категория «Точность алгоритма».
Из таблицы 2 видно, что средние результаты точности составляют 87,25% для набора данных A и 86,63% для набора данных B. Поскольку мы использовали лишь небольшую часть изображений для обучения алгоритма, мы считаем, что наш метод очень многообещающий. Кроме того, мы видим, что результаты набора данных A и набора данных B существенно не отличаются, поэтому в результате алгоритм глубокого обучения может хорошо справляться с несбалансированным набором данных. Более того, стандартное отклонение наших результатов составляет около 2–5%, что может отражать изменение точности. Причиной может быть относительно небольшое количество изображений.
Значения точности, отзыва и f-меры для SK являются самыми низкими, в то время как для всех трех других заболеваний эти показатели превышают 87% (таблица 3 ). Как видно из таблицы 4 , только 79,5% изображений SK были правильно классифицированы. БКК с СК (15 изображений были неправильно классифицированы) и меланоцитарные невусы с СК (17 изображений были неправильно классифицированы) часто путали друг с другом. Предыдущие исследования также сообщали, что они имеют схожие характеристики.
Категории неправильной классификации могут облегчить будущее развитие системы и помочь нам решить, как лучше всего использовать человеческий опыт. В некоторых случаях, когда наш алгоритм неправильно классифицировал, эксперту-человеку может быть относительно легко принять правильное решение. Например, для изображений с такими интерференционными факторами, как волосы или пузырьки воздуха, блокирующие текстуру повреждений кожи, специалисты-люди часто могут игнорировать интерферирующие факторы и сосредоточиться на образце в целом, в то время как машинный алгоритм может случайно принять эти нерелевантные факторы за часть изображения. особенности в обучении. Существуют методы, которые могут автоматически устранять фактор роста волос. Тем не менее, шум, вызванный процессом исключения, может создать больше проблем во время автоматической классификации. Следуя категории неправильной классификации, когда входное изображение определялось системой в категории блокировки волос, мы могли прикрепить к нему семантические метки, такие как форма или края поражений от дерматологов, чтобы помочь с классификацией.
Дерматологи обычно ставят диагноз на основании большего количества информации, чем только самих изображений. Например, БКК чаще встречается у пожилых людей , а длительное пребывание на солнце может увеличить риск БКК на открытых частях тела. Возникновение псориаза имеет два пика: один в возрасте от 20 до 30 лет, а второй в возрасте от 50 до 60 лет. Кроме того, он чаще наблюдался у неиспаноязычных белых . Такого рода предварительные знания должны быть встроены в алгоритмы в виде семантических меток с дополнительными данными о пациентах из ЭУЗ. Эти семантические функции будут включать больше человеческих знаний для повышения точности алгоритма.
Наша главная цель — разработать систему поддержки принятия решений, которая может включать человеческие знания в процесс искусственного интеллекта, а затем использовать искусственный интеллект для расширения возможностей человека. Наш ближайший следующий шаг — улучшить нашу систему, предварительно обработав изображения и добавив больше семантических функций. Эти улучшения будут разработаны на основе определенных нами семантических категорий на рис. 4 . Например, мы можем модифицировать компьютерный алгоритм выделения признаков, чтобы он учитывал нетипичные характеристики. Если бы существовал интерференционный фактор, мы могли бы прикрепить семантические метки, как описано выше. Поскольку мы знаем, что множественные заболевания могут быть причиной неправильной классификации, в модель будет включена предварительная обработка изображений для разделения различных поражений.
Кроме того, мы расширим наш набор данных, чтобы проверить, приведет ли больший набор данных к повышению производительности. Мы также планируем включить больше заболеваний и больше типов изображений, таких как гистологические изображения, изображения со смартфона и т. д. Конечной целью является предоставление системы поддержки принятия решений, которая поможет клиницистам принимать более точные диагностические решения, а также создать удобную для пациента систему, которую может использовать каждый. могут использовать со своими мобильными приложениями.
В этой статье мы применили алгоритм глубокой нейронной сети для классификации дерматоскопических изображений четырех распространенных кожных заболеваний. Набор данных A (1067 изображений) имеет точность 87,25 ± 2,24%, а набор данных B (528 графиков, распределенных одинаково) имеет точность 86,63% ± 5,78%, что является многообещающим.
Группа информатиков и дерматологов провела анализ результатов, особенно для неправильно классифицированных изображений. Основываясь на результате, мы создали иерархическую семантическую структуру (рис. 6 ), чтобы представить сценарии классификации/диагностики для дальнейшего улучшения алгоритма, облегчающего компьютерную поддержку принятия решений.
Рис. 6
Reviews
There are no reviews yet.