Сегментация дефектов на листовом прокате (сталь).

Description

В процессе промышленного производства из-за недостатков и ограничений существующей технологии, условий труда и других факторов чрезвычайно легко ухудшается качество выпускаемой продукции. Среди них поверхностные дефекты являются наиболее очевидным проявлением влияния на качество продукта. Следовательно, для обеспечения квалификационного коэффициента и надежного качества необходимо обнаружение дефектов поверхности продукта . «Дефект» в целом можно понимать как отсутствие, несовершенство или площадь по сравнению с нормальным образцом. Сравнение нормального образца и бракованного образца промышленной продукции показано на рисунке 1 . Обнаружение дефектов поверхности относится к обнаружению царапин, дефектов, экранирования инородных тел, цветовых загрязнений, отверстий и других дефектов на поверхности тестируемого образца с целью получения ряда соответствующей информации, такой как категория, контур, расположение и размер поверхностных дефектов испытуемого образца . Ручное обнаружение дефектов когда-то было основным методом, но этот метод имеет низкую эффективность; на результаты обнаружения легко влияет человеческая субъективность, и они не могут соответствовать требованиям обнаружения в реальном времени. Постепенно его заменили другими методами.

Традиционные методы обнаружения поверхностных дефектов уже давно играют огромную роль. В этой главе классифицируется традиционный метод обнаружения дефектов поверхности промышленных изделий, основанный на машинном зрении на уровне извлечения признаков. В соответствии с различными функциями они в основном делятся на три категории: метод, основанный на текстуре, метод, основанный на цвете, метод, основанный на признаках формы.

Метод текстурных признаков.
Текстурный признак отражает явление однородности изображения и может отражать структуру организации и свойства расположения поверхности изображения посредством серого распределения пикселей и их близлежащих пространственных окрестностей. Методы, основанные на текстурных признаках, можно разделить на четыре категории: статистический метод, метод обработки сигналов, структурный метод и модельный метод.
Для статистического метода основная идея состоит в том, чтобы рассматривать распределение значений серого на поверхности объекта как случайное распределение, анализировать распределение случайных величин с точки зрения статистики и описывать пространственное распределение значений серого с помощью функции гистограммы. матрица совпадения уровней серого, локальный бинарный паттерн, автокорреляционная функция, математические морфологические и другие признаки.
Для метода обработки сигналов основная идея состоит в том, чтобы рассматривать изображение как двумерный сигнал и анализировать изображение с точки зрения конструкции фильтра сигнала, поэтому его также называют методом частотного спектра; способ обработки сигнала включает в себя метод преобразования Фурье, метод фильтра Габора, метод вейвлет-преобразования и другие специальные методы.
Для структурного метода его теоретической основой является теория текстурных примитивов. Теория текстурных примитивов утверждает, что текстура состоит из некоторых минимальных паттернов (называемых текстурными примитивами), которые повторяются в пространстве в соответствии с определенным правилом.
Для модельного метода обычно используемые модели для обнаружения поверхностных дефектов промышленных изделий включают модель MRF и фрактальную модель.

Метод цветовых признаков

Цветовые гистограммы

Цветовая гистограмма описывает долю разных цветов во всем изображении, что является результатом глобальной статистики; он не обращает внимания на пространственное положение цвета и не может описать объекты на изображении.

Особенности: Нечувствительность к физическим преобразованиям (поворот, масштабирование и т.д.); если изображение имеет несколько областей с очевидными различиями в распределении цвета между передним и задним планами, цветовая гистограмма покажет двойные пики.

Цветные моменты

Основная идея цветового момента состоит в том, что любое распределение цвета в изображении может быть представлено своими моментами каждого порядка. Поскольку информация о распределении цвета в основном сосредоточена в моментах низкого порядка, обычно для отображения достаточно только момента первого порядка (среднего), момента второго порядка (дисперсии) и момента третьего порядка (смещения). цвет поверхности изображения распределяется.

Особенности: не учитывается пространственное положение пикселя; нет необходимости векторизовать цветовые признаки; нет необходимости в квантовании цвета, сглаживании и другой последующей обработке.

Вектор когерентности цвета

Вектор цветовой когерентности представляет собой усовершенствованный алгоритм цветовой гистограммы; его основная идея состоит в том, что каждый цветовой кластер в гистограмме делится на две части: агрегированную и неагрегированную; в процессе сравнения сходства изображений сходство сравнивается соответственно, а затем после комплексного компромисса получается аналогичное значение, чтобы получить результат.

Другие особенности цвета

Помимо цветовых гистограмм, цветовых моментов и векторов агрегации цветов, цветовые признаки, обычно используемые для обнаружения дефектов поверхности промышленных товаров, включают наборы цветов и карты цветовой корреляции. Среди них набор цветов также является своего рода глобальными цветовыми характеристиками и методом сопоставления; это аппроксимация цветовой гистограммы, которая выражается в виде вектора бинарных признаков; Построив бинарное дерево поиска, можно увеличить скорость поиска. График цветовой корреляции описывает пропорцию (вероятность) количества пикселей определенного цвета во всем изображении, что может отражать пространственную корреляцию между разными парами цветов; обычно для этого требуются высокие аппаратные условия.

Метод, основанный на признаках формы

Метод, основанный на форме, эффективно использует интересующую цель на изображении для поиска. Среди них контурный метод является основным типом метода. Контурный метод получает параметры формы изображения путем описания внешних граничных признаков объекта; репрезентативными методами являются преобразование Хафа и дескриптор формы Фурье.

Преобразование Хафа использует глобальные особенности изображения, чтобы соединить краевые пиксели для формирования замкнутой границы области, а его теоретической основой является двойственность точки и линии.

В дополнение к вышеупомянутым трем типам признаков некоторые другие признаки, такие как признаки пространственного соотношения, также могут использоваться для обнаружения поверхностных дефектов промышленных изделий. Поскольку поверхность промышленных товаров в основном содержит разнообразную информацию, обычно недостаточно использовать только одну функцию или один класс функций. Поэтому в практических приложениях часто используются комбинации нескольких функций и нескольких классов функций.

3. Метод обнаружения дефектов поверхности промышленных изделий на основе глубокого обучения

Быстрое развитие глубокого обучения сделало его все более и более широко используемым в области обнаружения дефектов. Эта глава основана на общепринятых классификациях глубокого обучения: метод с учителем, метод без учителя, метод со слабым наблюдением и кратко представляет текущий статус исследований по дефектоскопии поверхности промышленных изделий. Конкретные методы обнаружения дефектов показаны на рис.

     Контролируемый метод.
Метод с учителем требует, чтобы обучающий набор и тестовый набор были обязательными, а образцы в обучающем наборе должны быть помечены , в котором обучающая выборка используется для нахождения присущих выборкам законов, а затем применяется к тестовой выборке. Методы с учителем можно разделить на методы с учителем, основанные на метрическом обучении, и методы с учителем, основанные на обучении с представлением. Среди вышеупомянутых контролируемых методов обнаружения поверхностных дефектов общая модель, основанная на метрическом обучении, включает сиамскую сеть; в соответствии с тремя этапами обнаружения дефектов метод, основанный на обучении представлению, можно условно разделить на три категории: сеть классификации, сеть обнаружения и сеть сегментации. Среди них в качестве классификационных сетей обычно используется Shuffle Net; в качестве сетей обнаружения обычно используется Faster RCNN; в качестве сетей сегментации обычно используются: FCN, Mask RCNN и т. д. В этом разделе в качестве примера используется сетевая модель, упомянутая выше, и кратко описывается ее исследовательский статус в задачах обнаружения поверхностных дефектов. В задаче обнаружения дефектов в центре внимания сети классификации находится решение задачи «что», т. е. определение типа изображения (содержит ли изображение дефекты и каков тип дефектов); в центре внимания сети обнаружения находится решение проблемы «где находится дефект», то есть получение конкретной информации о местоположении и информации о категории дефектов путем определения местоположения дефектов; в центре внимания сети сегментации находится решение задачи «сколько дефектов», то есть выделение области дефекта из фона и получение местоположения, категории, атрибута и другой информации о дефекте.

   Сиамская сеть.
Сиамскую сеть можно использовать для оценки сходства между двумя выборками; основная идея его функции потерь состоит в том, чтобы сделать входное расстояние для похожих категорий как можно меньшим, а входное расстояние для разных категорий — как можно большим .
После использования сиамской сети в качестве базовой архитектуры для завершения извлечения признаков парного изображения сеть пула пространственных пирамид была включена в карты признаков каждого модуля свертки для объединения многомасштабных векторов признаков, а затем встраивания и сходства отличительных признаков. метрика была получена с использованием контрастных потерь в процессе обучения. Тест проводился на наборе данных печатной платы с 6 типами дефектов, включая короткое замыкание, обрыв цепи, укус мыши, заусенец, утечку и медь, а площадь под ROC-кривой всех типов была выше 0,92. Двухуровневая нейронная сеть для межкатегориального обнаружения дефектов (уровень SSIM: генерация функции аналоговых компонентов SSIM; уровень SNN: состоит из сиамской сети, подключенной к уровню SSIM) без переобучения. Этот метод изучает дифференциальные признаки из пар изображений, содержащих некоторые структурные сходства, и предполагается, что разные объекты классификации могут иметь некоторые структурные сходства, вызванные различиями этих изученных пар изображений. Эксперименты с фактическим заводским набором данных показывают, что: этот метод позволяет обнаруживать межклассовые дефекты.

    ShuffleNet.
ShuffleNet, легкая сеть с высокой вычислительной эффективностью, использует два новых метода точечной групповой свертки и перетасовки каналов для обеспечения точности вычислений и эффективного снижения вычислительных затрат.
На основе платформы Shuffle Net V2 предложено новое решение для встроенной проверки кода на сложном фоне для пластиковых контейнеров. Предлагаемый алгоритм также может работать с изображениями на сложном фоне и использоваться в практической системе промышленной проверки. Предложена система обнаружения дефектов ShuffleDefectNet, основанная на глубоком обучении, которая достигла средней точности 99,75% на наборе данных NEU.
Быстрее R-CNN
Faster RCNN вводит сеть региональных предложений (RPN) на основе Fast RCNN, помещает этапы генерации региональных рекомендаций в нейронную сеть и реализует практически бесплатный алгоритм региональных рекомендаций в сквозном режиме обучения, что значительно повышает скорость обнаружения целей и упоминает также подход скользящего окна.
Предложена каскадная структура на основе Faster R-CNN, которая преобразовала проблему обнаружения дефектов изоляторов линий электропередач в двухуровневую задачу обнаружения целей. Среди них первый этап использовался для определения местоположения изолятора; второй этап использовался для локализации области изолятора. На основе Faster R-CNN была предложена новая сеть для обнаружения поверхностных дефектов печатных плат, в которой использовалась ResNet50 с функциональной пирамидой в качестве основы и одновременно использовались остаточные единицы GRAPN и остаточные единицы ShuffleNetV2.

Полностью сверточные сети.
В FCN, методе сквозной сегментации изображения, все уровни в сети являются сверточными; в сети в основном используются три технологии: Convolutional, Upsample и Skip Layer; карту меток можно получить напрямую, заставив сеть выполнять прогнозирование на уровне пикселей. Одной из основных идей является слой деконволюции с увеличенным размером данных, чтобы можно было выводить точные результаты.
Предложен алгоритм, использующий глубокую нейронную сеть для объединения Autoencoder и FCN для различения дефектов утечки света клавиатуры от пыли. Предложенный метод был протестирован на тестовом наборе, состоящем из 1632 изображений, и процент ложноположительных результатов дефекта утечки света был снижен с 6,27% до 2,37%. Была разработана полная система для автоматической идентификации и диагностики цепочек изоляторов, которая объединила различные компоненты, основанные на глубоком обучении, в том числе один компонент сегментации гирлянд изоляторов и два диагностических компонента для отсутствующих и поврежденных дисковых единиц изолятора соответственно. Метод сегментации дефектов изображений электролюминесценции (ЭЛ) солнечных элементов; этот метод использует FCN со специальной архитектурой U-net, которая может получить карту сегментации дефектов за один шаг; по сравнению с методом многократного выполнения скользящего окна CNN этот метод дает аналогичные результаты. Объединяют FCN с Faster RCNN для разработки модели глубокого обучения на основе FCN для обнаружения дефектов туннелей; эта модель может точно и быстро обнаруживать дефекты, такие как пятна, утечки и засоры трубопроводов.

    Маска RCNN.

Mask RCNN — это расширенная форма Faster-R-CNN, которая объединяет функции обнаружения объектов и сегментации экземпляров для двухэтапной каркасной сети: первый этап сканирует изображения и генерирует предложения (предложения могут содержать целевую область), а второй этап классифицирует предложения и генерирует ограничивающие рамки и маски.

В литературе предложена усовершенствованная модель Mask RCNN — IPCNN. Модель сначала использует глубокую остаточную нейронную сеть для обработки изображения из пирамиды изображений для извлечения признаков; извлеченные функции генерируются через пирамиду функций для создания функций пирамиды, которые затем обрабатываются RPN для создания ограничивающей рамки дефекта и его классификации, а затем использует FCN для создания маски дефекта в ограничивающей рамке дефекта. В литературе  разработана сквозная система, которая может обнаруживать загрязнение солнечной панели; система основана на Mask FCNN (Fully Convolutional Mask RCNN), которая состоит из сети классификации ImageNet и всеобъемлющей сети восходящей выборки изображений признаков; эффект потери информации устраняется повышающей дискретизацией.

В области обнаружения поверхностных дефектов промышленных изделий, благодаря высокой точности и хорошей адаптируемости, контролируемый метод является наиболее распространенным методом в текущем методе глубокого обучения, и область его применения становится все шире и шире. Однако недостатки этого метода постепенно стали заметными в практических приложениях, а именно огромная рабочая нагрузка, связанная с предварительной маркировкой набора данных, особенно в некоторых высокоточных сценариях; в то же время постоянное совершенствование промышленного уровня привело к постоянному сокращению бракованных образцов, что также оказывает определенное влияние на метод надзора.

Неконтролируемый метод

В ответ на недостатки контролируемых методов некоторые исследователи начали рассматривать неконтролируемые методы. Когда входные обучающие данные представляют собой только сами данные, а информация о метках отсутствует, машина изучает шаблон этих немаркированных данных, чтобы получить некоторые присущие им характеристики и связи данных, и автоматически классифицирует данные . Затем, когда встречаются новые данные, он может судить, к какой модели относятся эти новые данные, в соответствии с ранее изученной моделью (здесь модель относится к модели, состоящей из исходных данных). Этот процесс относится к неконтролируемому обучению.

Среди методов обучения без учителя наиболее часто используемые методы обнаружения поверхностных дефектов в основном включают методы на основе реконструкции и методы на основе подобия встраивания. В первом случае обучение структуры нейронной сети используется только для реконструкции нормальных обучающих изображений, а аномальные изображения легко найти, поскольку они не могут быть хорошо реконструированы; оценка аномалии обычно представлена ​​ошибкой реконструкции. Наиболее распространенным методом на основе реконструкции является автоэнкодер (AE) и генеративно-состязательная сеть (GAN). Для последнего используются глубокие нейронные сети для извлечения значимых векторов, описывающих все изображение, а оценка аномалии обычно представлена ​​​​расстоянием между встроенными векторами тестовых изображений и эталонным вектором, представляющим нормальность из обучающего набора данных, PaDIM, PatchCoreи т. д. В дополнение к этим двум типам для обнаружения поверхностных дефектов также можно использовать Deep Belief Network (DBN) и Self-Organizing Map (SOM).

В этом разделе сначала в качестве примеров будут рассмотрены четыре модели сети: автоэнкодер (AE), генеративно-состязательная сеть (GAN), сеть глубокого доверия (DBN) и самоорганизующаяся карта (SOM), чтобы кратко представить их исследовательский статус в задаче обнаружения поверхностных дефектов.

втоэнкодер

Кодер и декодер являются двумя основными частями самокодировщика. Среди этих двух кодировщик соответствует скрытому слою в модели сети и используется для изучения низкоразмерных характеристик входного сигнала; декодер соответствует выходному слою в модели, используемому для максимально возможного воспроизведения входного сигнала. Следовательно, предоставление кодеру возможности изучить хорошие низкоразмерные характеристики входного сигнала и восстановить входной сигнал являются конечной целью самокодирующего устройства.

Генеративно-состязательная сеть

Генеративно-состязательная сеть состоит из двух участников: генератора и дискриминатора. Генератор используется для получения распределения выборочных данных, а дискриминатор используется для оценки вероятности выборочных обучающих данных. Конечной целью этой модели является изучение неотъемлемых законов реальных данных, прогнозирование и оценка распределения или плотности реальных данных и генерация новых данных в соответствии с полученными знаниями, то есть генерация данных враждебной сетью.

Сети глубокого убеждения

Сети глубокого убеждения состоят из нескольких RBM (ограниченных машин Больцмана), и обучение всей сети завершается обучением RBM по отдельности слой за слоем.

Самоорганизующаяся карта

Самоорганизующаяся карта моделирует различное разделение труда ячеек нейронной сети в разных областях человеческого мозга и классифицирует набор входных паттернов путем поиска оптимального набора опорных векторов.

Метод без учителя эффективно восполняет недостаток метода с учителем, но все же имеет некоторые проблемы, связанные со своими особенностями. Поскольку обучаются только положительные примеры, неконтролируемый метод не может определить правильный вывод, поэтому он не может гарантировать хороший эффект обнаружения для каждого типа дефектных образцов (которые не появлялись во время обучения). Таким образом, точность неконтролируемого метода по-прежнему имеет большие возможности для улучшения, и в целом неконтролируемый метод обеспечивает лучший эффект обнаружения текстурных изображений.

Слабо контролируемый метод

Некоторые ученые сочетают характеристики контролируемого и неконтролируемого методов; таким образом, производится слабо контролируемый метод. По сравнению с контролируемыми и неконтролируемыми методами слабо контролируемый метод может обеспечить более высокую производительность, избегая при этом более высоких затрат на наценку. В настоящее время широко используемые слабые контролируемые методы при контроле дефектов промышленных поверхностей включают неполный метод контроля и неточный метод контроля.

Метод неполного контроля

Неполный надзор означает, что большая часть обучающих выборок не помечена, а помечена лишь небольшая часть выборок, и этой части размеченных выборок недостаточно для обучения хорошей модели. Среди методов неполного контроля полуконтролируемый метод часто используется при обнаружении поверхностных дефектов промышленных изделий.

Неточный метод контроля

Неточный надзор фокусируется на ситуациях, когда информация мониторинга предоставляется, но информация является неточной, то есть содержит только общие метки. Для большего количества задач, содержащих метки на уровне пикселей, метки на уровне изображения являются грубыми метками.

Если у Вас появилась заинтересованность в данной нейронной сети, и она может помочь Вам в реализации Ваших бизнес и других технических задачах, пожалуйста отправьте заявку на email info@ai2b.ru , или позвоните по телефону 8(495)661-61-09