Точная трехмерная информация о линиях электропередач имеет решающее значение для обнаружения потенциальных опасностей, таких как распространение растительности, а также для оценки структурной устойчивости линий электропередач. Лидарные технологии позволяют быстро, точно и экономически эффективно получать данные о линиях электропередач в виде 3D-облаков точек, что делает их ключевой технологией для получения такой информации.
Однако извлечение точек линий электропередач из облаков точек лидара остается сложной задачей, особенно когда деревья или другие объекты находятся в непосредственной близости. Традиционные подходы часто опираются на алгоритмы на основе правил и ручное редактирование, что может отнимать много времени и приводить к ошибкам в сложных условиях. Глубокое обучение представляет собой мощную альтернативу, позволяя обучать модели изучать и распознавать закономерности в данных, обеспечивая более точную и автоматизированную классификацию.
ArcGIS Pro предоставляет инструменты глубокого обучения на основе облаков точек, которые поддерживают обучение моделей классификации линий электропередач и их применение для классификации линий электропередач в облаках точек лидара.
Программные и аппаратные требования:
- ArcGIS Pro с дополнительным модулем 3D Analyst
- Библиотеки глубокого обучения, которые можно установить с помощью Deep Learning Libraries Installer for ArcGIS
- Видеокарта NVIDIA с возможностью вычислений CUDA и не менее 8 ГБ выделенной графической памяти
Требования к данным:
- Облака точек лазерной аэрофотосъемки, захваченные с воздушного судна, вертолетов или БПЛА
- Средний интервал между точками меньше 1 фута, чтобы гарантировать достаточную детализацию для классификации линий электропередач
Рекомендации
Важно следовать общим рекомендациям по обучению модели глубокого обучения для классификации, оценке результатов обучения и классификации облака точек с использованием обученной модели. Следующие рекомендации относятся конкретно к классификации линий электропередач:
Выбор показательных обучающих выборок
Линии электропередач проложены по разнообразным территориям с разными условиями окружающей среды. Включение облаков точек из разных типов ландшафта позволяет учесть эту изменчивость и повысить надежность модели. Линии электропередач также различаются по высоте и материалам, поэтому включение выборок, отражающих эти различия, помогает модели изучать различные типы линий электропередач. Растительность вокруг линий электропередач также различается по типу и плотности, а использование разнообразных выборок растительности позволяет модели лучше отличать линии электропередач от близлежащей листвы.
Фокусировка обучения на область близости линий электропередач
Линии электропередач обычно прокладываются в обозначенных коридорах и на определенной высоте для соблюдения безопасного расстояния. Со временем растительность в этих районах может перекрыть линии электропередач, и тогда будет сложно отличить линии электропередач от близлежащей листвы.
Для повышения точности модели исключите точки лидара, находящиеся за пределами определенного расстояния от линий электропередач, во время обучения. Это фокусирует модель на окрестности линии электропередачи, помогая ей выучить больше значимых различий, одновременно уменьшая объем набора данных и повышая эффективность обучения.
Использование атрибутов, чтобы отличить линии электропередач от других объектов
Линии электропередач представляют собой линейные объекты, обычно расположенные в определенном диапазоне высот над землей. Атрибут Относительная высота полезен для их идентификации, особенно когда точки земной поверхности исключены из обучающих данных — тогда относительная высота дает более значимый контекст, чем абсолютная высота.
Для линий электропередач низкого напряжения Интенсивность является еще одним полезным атрибутом, поскольку они часто возвращают более низкие значения интенсивности по сравнению с другими объектами. Напротив, высоковольтные линии электропередач, как правило, отражают лазерные импульсы с более высокими значениями интенсивности, аналогичными значениям других объектов, что делает интенсивность менее надежной для их идентификации.
Смягчение эффектов несбалансированных данных
Несбалансированные данные возникают, когда некоторые классы имеют значительно больше выборок, чем другие, что приводит к смещению модели в сторону классов большинства. Эта проблема особенно важна при классификации линий электропередач, где точки линий электропередач составляют меньшинство по сравнению с доминирующими классами, такими как земля и растительность.
Чтобы смягчить эту проблему, сократите выборки классов большинства (например, исключите точки земной поверхности) во время обучения, чтобы минимизировать смещение. Кроме того, применение Потери фокуса присваивает больший вес выборкам классов меньшинства, помогая модели более эффективно обучаться на ограниченных данных по линиям электропередач.
Обзор рабочего процесса
Следующий рабочий процесс начинается с неклассифицированных облаков точек лидара. Если ваши данные уже классифицированы, вы можете пропустить соответствующие шаги.
- Используйте инструмент геообработки Построить пирамидные слои набора данных LAS, чтобы построить пирамидные слои LAS для набора данных LAS, чтобы оптимизировать отображение.
- Используйте инструмент геообработки Классифицировать поверхность Земли LAS для классификации точек земной поверхности.
- Используйте инструмент Набор данных LAS в растр, чтобы создать растры ЦМР и ЦММ.
- Используйте инструмент геообработки Вычесть для создания нормализованной ЦММ (ЦММ - ЦМР), чтобы выделить линии электропередач. Создайте границы обработки, охватывающие все линии электропередач с соответствующим буферным расстоянием (например, 10 метров).
Линии электропередач в нормализованном растре ЦММ, желто-коричневые линии показывают границы обработки. - Отметьте линии электропередач с помощью инструмента геообработки Классификация облака точек с использованием обучающей модели, если доступна подходящая модель. Если нет, вы можете вручную отметить точки линий электропередач посредством редактирования профиля или воспользоваться инструментом геообработки Классифицировать LAS по высоте и исправить любые неправильно классифицированные точки, такие как вышки и растительность, в указанном диапазоне высот линий электропередач с помощью интерактивных инструментов редактирования.
Классификация линий электропередач в средстве просмотра профиля вручную. Примечание:
Вы также можете использовать инструмент геообработки Классифицировать LAS по высоте для классификации точек, которые находятся выше или ниже диапазона высот линий электропередач. Эти точки, а также точки земной поверхности, можно исключить из обучения, чтобы уменьшить размер набора данных и сосредоточить обучение модели на окрестности линии электропередачи.
- Разделите данные на обучающую и проверочную выборки, например, в соотношении 80:20.
- Подготовьте обучающие данные с помощью инструмента геообработки Подготовить обучающие данные облаков точек для экспорта обучающих и проверочных блоков. Более подробная информация находится в разделе ниже.
- Обучите модель с помощью инструмента геообработки Обучение модели классификации облака точек . Более подробная информация находится в разделе ниже.
- Классифицируйте линии электропередач с помощью инструмента геообработки Классификация облака точек с использованием обучающей модели. Более подробная информация находится в разделе ниже.
Использование инструмента геообработки Подготовить обучающие данные облаков точек
Наборы данных LAS необходимо преобразовать в меньшие обучающие блоки, прежде чем их можно будет использовать для обучения модели. Инструмент геообработки Подготовить обучающие данные облаков точек экспортирует данные LAS в эти блоки. Ниже приведен обзор ключевых параметров и рекомендаций по классификации линий электропередач.
Обучающие ограничивающие объекты и Объекты, ограничивающие проверку: используйте граничные полигоны для экспорта только точек вблизи линий электропередач, сосредоточив обучение на соответствующих областях.
Базовая поверхность: укажите растр ЦМР для вычисления относительных значений высоты. Этот атрибут крайне важен для отличия линий электропередач от других объектов.
Исключенные коды классов: исключите классы, находящиеся за пределами диапазона высот линий электропередач (например, земля, низкая/средняя высота, шум) из данных обучения. В частности, точки земной поверхности часто составляют значительную часть набора данных, поэтому их удаление значительно сокращает объем данных и ускоряет обучение.
Размер блока и Ограничение точек в блоке: эти параметры управляют количеством точек, включенных в каждый блок. Установите их, сбалансировав плотность точек, размер объекта, память графического процессора и размер пакета. Для определения оптимальной конфигурации для вашего набора данных и аппаратного обеспечения могут потребоваться некоторые эксперименты.
Примечание:
- Хорошее практическое правило — установить размер блока достаточно большим, чтобы охватить интересующие объекты с минимальной подвыборкой, гарантируя сохранение критических объектов и достаточной детализации в обучающих данных.
- Размер блока и количество содержащихся в нем точек во многом зависят от объема памяти вашего графического процессора. Более крупные блоки и более плотные облака точек увеличивают использование памяти. Ограничение точек в блоке управляет максимальным количеством точек в блоке. При превышении этого значения блок разделяется на несколько блоков. Например, если блок, содержащий 10 000 точек с ограничением в 3 000 точек, будет разделен на четыре блока, каждый будет содержать 3 000 случайно выбранных точек (обратите внимание, что некоторые точки могут дублироваться в двух блоках).
- Размер пакета определяет количество блоков, одновременно обрабатываемых на графическом процессоре. Больший размер пакета использует больше памяти графического процессора, тогда как меньший размер пакета требует меньше.
- Настройте эти параметры в соответствии с объемом памяти вашего графического процессора. Для графического процессора с большим объемом памяти можно выбрать больший размер блока (чтобы охватить больше контекста), более высокое ограничение точек в блоке (чтобы уменьшить подвыборку) и больший размер пакета для более быстрого и стабильного обучения.
После завершения работы инструмента просмотрите гистограммы в Сообщениях, чтобы оценить, подходят ли значения размера блока и ограничения точек в блоке. Выходные данные обучения сохраняются в папке с расширением .pctd, содержащей две подпапки: "train" и "val", которые включают экспортированные обучающие данные и данные проверки соответственно. Точечные данные хранятся в файлах .h5 и организованы в блоки.
Использование инструмента геообработки Обучение модели классификации облака точек
Используйте обучающие данные, экспортированные инструментом Подготовить обучающие данные облаков точек, для обучения модели классификации. Если доступна подходящая предварительно обученная модель классификации линий электропередач, вы можете точно настроить ее с помощью своих данных; в противном случае обучите новую модель с нуля. Ниже приведен список параметров инструмента с рекомендациями по их настройке для классификации линий электропередач.
Предварительно обученная модель: выберите подходящую предварительно обученную модель, если она доступна. Убедитесь, что ваши обучающие данные соответствуют атрибутам модели, кодам классов и максимальным точкам, использованным во время ее первоначального обучения.
Архитектура модели: для классификации линий электропередач предпочтительнее Point Transformer V3 из-за ее наилучшей производительности и максимальной точности, особенно при идентификации второстепенных классов. Также рекомендуется использовать RandLA-Net — она эффективно использует память и при этом выдает точные результаты. Напротив, PointCNN требует больше памяти графического процессора и часто обеспечивает меньшую точность. Хотя Semantic Query Network может обучать эффективные модели с ограниченной выборкой данных, в данном случае она менее пригодна. Линии электропередач распределены линейно и составляют лишь малую часть набора данных, поэтому случайная выборка линий электропередач может привести к потере ключевых локальных характеристик и снизить точность модели.
Выбор атрибутов: выберите Относительную высоту, а для низковольтных линий электропередач также выберите Интенсивность. Эти атрибуты помогают отличить линии электропередач от других объектов в облаке точек.
Перекодировка классов: перекодируйте все классы, не относящиеся к линиям электропередач, в класс фона. Это помогает модели сосредоточиться на выделении линий электропередач из одного класса фона, упрощая классификацию, ускоряя обучение и часто повышая точность модели за счет снижения сложности.
Функция потерь: выберите функцию Потери фокуса, чтобы устранить дисбаланс классов, присвоив больший вес линиям электропередач, принадлежащим классу меньшинства.
Критерии выбора модели: выберите опцию по умолчанию Отклик, которая вычисляет макро-средний показатель отклика по всем кодам классов.
Минимальное количество точек на блок: блоки с меньшим количеством точек, чем указанное значение, будут исключены из обучения. Пропуск блоков, содержащих лишь несколько точек линии электропередачи, может ускорить обучение и повысить эффективность обучения модели.
Максимальное число эпох: используйте настройку по умолчанию в 25 эпох. Если после 25 эпох модель продолжает улучшаться, вы можете дополнительно усовершенствовать ее как предварительно обученную модель.
Итерации на эпоху (%): оставьте значение по умолчанию 100, чтобы передавать все обучающие данные в каждой эпохе.
Стратегия скорости обучения: оставьте опцию по умолчанию Скорость одного цикла обучения. Эта стратегия динамически регулирует скорость обучения в ходе тренировки, начиная с более низкой скорости, увеличивая ее до пика, а затем снижая. Она ускоряет сходимость, предотвращает переобучение и помогает модели находить лучшие локальные минимумы, повышая как скорость обучения, так и точность модели.
Скорость обучения: если вы не уверены, как настроить этот параметр, оставьте его пустым, чтобы инструмент автоматически рассчитал оптимальную скорость обучения.
Размер пакета: размер пакета определяет, сколько блоков обрабатываются одновременно. Обучающие данные разделяются на пакеты. Например, при размере пакета 20, 1000 блоков делятся на 50 пакетов, все из которых обрабатываются за одну эпоху. Пакеты меньшего размера помогают стабилизировать обучение и подходят для графических процессоров с ограниченной памятью, но они могут увеличить время обучения. Большие размеры пакетов ускоряют обучение, но требуют значительно больше памяти и могут повлиять на генерализацию. Для поиска оптимального размера пакета требуется сбалансировать память графического процессора, скорость обучения и точность модели, часто путем экспериментов.
Завершить обучение, когда модель больше не улучшается: включите эту опцию, чтобы остановить обучение, если модель не демонстрирует улучшение после 5 эпох, что помогает предотвратить переобучение.
Во время обучения контролируйте процесс обучения, отслеживая изменения в потерях при обучении, потерях при проверке и отклике.
Примечание:
По мере прохождения каждой эпохи уменьшение потерь при обучении и потерь при проверке, а также увеличение отклика указывают на то, что модель обучается.
Выходные данные состоят из двух папок. Одна из них — папка модели, в которой содержится сохраненная модель с наилучшим общим откликом. Другая папка — это папка контрольных точек, в которой содержатся модели, сохраненные в каждой контрольной точке эпохи.
При классификации линий электропередач модель с наилучшим общим откликом (макро-средний отклик линии электропередач и фона) может оказаться не самой лучшей для классификации линий электропередач. Лучшей моделью для классификации линий электропередач является модель с наивысшим показателем отклика для линий электропередач. Откройте файл Epoch_Statistics.csv в папке контрольных точек, найдите эпоху с самым высоким откликом для линий электропередач и используйте соответствующую модель для классификации линий электропередач.
Использование инструмента геообработки Классификация облака точек с использованием обучающей модели
При классификации облаков точек с использованием обученной модели убедитесь, что данные лидара, которые необходимо классифицировать, аналогичны обучающим данным. Если вы использовали границы обработки, поверхность ЦМР или исключили определенные коды классов во время подготовки обучающих данных, примените здесь те же настройки. Следующие рекомендации помогут вам эффективно настроить параметры для классификации линий электропередач.
Входное определение модели: выберите модель контрольной точки с наивысшим уровнем отклика для линий электропередач.
Обработка существующего кода класса: выберите Редактировать выбранные точки или Сохранить выбранные точки, чтобы повысить точность классификации. Предварительно классифицируйте целевые облака точек, например, земля (класс 2), низкая растительность (класс 3) и средняя растительность (класс 4), и укажите, какие коды классов следует редактировать или сохранять во время классификации. Например, если средняя растительность сохраняется, ее код класса останется неизменным, даже если модель ошибочно классифицирует некоторые точки средней растительности как линии электропередач.
Размер пакета: если вы не уверены, как настроить этот параметр, оставьте его пустым, чтобы инструмент автоматически вычислил оптимальный размер пакета на основе доступной памяти графического процессора.
Граница обработки, Базовая поверхность и Исключенные коды классов: если модель классификации линий электропередач была обучена с использованием любого из этих входных данных, обязательно примените здесь те же настройки.
После завершения работы инструмента проверьте результаты в виде Сцены. Используйте инструменты интерактивной выборки и редактирования для исправления любых неправильно классифицированных точек линий электропередач. Кроме того, используйте инструмент геообработки Извлечь линии электропередач из облака точек для создания 3D-линий, моделирующих линии электропередач. Для дальнейшего анализа используйте инструмент геообработки Создать поверхность клиренса, чтобы очертить зону пустоты вокруг линий электропередач. Объекты в пределах зоны, часто деревья, находятся в опасной близости от линий электропередач, создавая такие риски, как отключение электроэнергии или опасность пожара, и должны быть устранены незамедлительно.
Подтверждение источника данных лидара:
- Грант НАСА NNX13AP69G, Университет Мэриленда и Программа картографирования растительности и LiDAR округа Сонома.
- Для практического руководства см. Классификация линий электропередач при помощи глубокого обучения.