Сравнение инструментов классического и попарного наложения

Классические инструменты наложения (Буфер, Вырезание, Слияние, Стирание, Интеграция и Пересечение) и инструменты попарного наложения (Попарный буфер, Попарное вырезание, Попарное слияние, Попарное стирание, Попарное интегрирование и Попарное пересечение) были разработаны для максимальной производительности и точности анализа в ходе обработки огромных по объему сложных наборов данных на одном настольном компьютере. Функциональные различия и различия в производительности между инструментами схожей функциональности определяют инструмент, который вы должны использовать в своем рабочем процессе. Есть традиционные аспекты, которые нужно учитывать для всех инструментов геообработки, они влияют на точность результата и производительность анализа в зависимости от используемого инструмента.

Сравнение инструментов

Группа инструментов Попарное наложение включает ряд инструментов, которые являются альтернативными для традиционного использования.

Попарный буфер и Буфер

Ниже приведено сравнение инструментов Попарный буфер и Буфер:

• Оба инструмента используют параллельную обработку. Для инструмента Попарный буфер параллельная обработка включена по умолчанию. Для инструмента Буфер она включается через переменную среды обработки Фактор параллельной обработки.
• Выходные объекты инструмента Попарный буфер менее сглаженные, чем у инструмента Буфер по умолчанию.
• Инструмент Попарный буфер позволяет контролировать сглаженность буферных зон выходных объектов. См. документацию инструмента для параметра Отклонение максимального сдвига.
• Инструмент Буфер также содержит такие опции для выходного буфера как типа стороны и тип окончания.

Попарное вырезание и Вырезание

Оба инструмента используют параллельную обработку. Для инструмента Попарное вырезание параллельная обработка включена по умолчанию. Для инструмента Вырезание она включается через переменную среды обработки Фактор параллельной обработки.

Попарное слияние и Слияние

Ниже сравниваются инструменты Попарное слияние и Слияние:

• Результаты работы этих инструментов одинаковы, инструменты являются взаимозаменяемыми.
• Попарное слияние использует параллельную обработку по умолчанию. У Инструмента Слияние нет возможностей параллельной обработки.

Попарное стирание и Стирание

Ниже сравниваются инструменты Попарное стирание и Стирание:

• Результаты работы этих инструментов одинаковы, инструменты являются взаимозаменяемыми.
• Оба инструмента используют параллельную обработку. Для инструмента Попарное стирание параллельная обработка включена по умолчанию. Для инструмента Стирание она включается через переменную среды обработки Фактор параллельной обработки.

Попарная интеграция и Интеграция

Ниже сравниваются инструменты Попарная интеграция и Интеграция:

• Попарная интеграция использует параллельную обработку по умолчанию.
• Внутренний допуск инструмента Попарная интеграция немного больше, чем у инструмента Интеграция в связи с различиями в исходных механизмах, которые выполняют интеграцию.

Попарное пересечение и Пересечение

Ниже сравниваются инструменты Попарное пересечение и Пересечение:

• Выходные результаты этих инструментов существенно отличаются друг от друга. Эти инструменты нельзя использовать как взаимозаменяемые без оценки рабочего процесса и того, как его следует изменить, чтобы учесть эту разницу в выходных результатах. Для получения более подробной информации см. Как работает инструмент Попарное пересечение.
• Оба инструмента используют параллельную обработку. Для инструмента Попарное пересечение параллельная обработка включена по умолчанию. Для инструмента Пересечение она включается через переменную среды обработки Фактор параллельной обработки.

Что следует учитывать для всех инструментов анализа с точки зрения функциональности и производительности

При выборе того, какие из этих инструментов использовать в рабочем процессе, обычно подходят оба варианта. Однако информация ниже поможет вам понять разницу между инструментами и сделать свой выбор более точно.

Замечания по функциональности

Основной аспект, который следует учитывать при выборе нужного инструмента, подходят ли его выходные данные под требования вашего проект. У некоторых из сравниваемых инструментов выходные данные будут одинаковы, а у некоторых - нет. Ключевые различия в выходных данных инструментов описаны в разделе выше. См. документацию по каждому из инструментов для получения полной информации при сравнении.

Для всех инструментов в ходе анализа следует избегать проецирования на лету. Проецирование на лету используется, когда у входных данных разная пространственная привязка. Проецирование на лету также используется при настройке переменных среды геообработки, которые меняют выходную систему координат (Выходная система координат, Допуск XY, Разрешение XY и т.п.). Проецирование на лету может привести к неточностям из-за несовпадения данных между слоями. Более подробно см. Системы координат и проекции.

Разрешение XY и Допуск XY оказывают функциональное влияние на выходные данные всех инструментов. Подробнее см. в разделе Основы пространственных объектов. На протяжении многих десятилетий была проделана большая работа по определению подходящего Разрешения XY и Допуска XY для получения наиболее точных результатов при обработке данных в назначенной пространственной привязке. Рекомендуется использовать значения Разрешение XY и Допуск XY по умолчанию для пространственной привязки входных данных и не менять ее в ходе создания данных или при использовании переменных среды геообработки в процессе анализа. Чтобы избежать получения неточных результатов анализа рекомендуется не использовать параметр инструмента Допуск XY.

• Каждый инструмент может реализовать Допуск XY с небольшими отличиями.
  • Внутренняя реализация классических инструментов наложения и инструментов попарного наложения отличается существенно. Хотя инструменты и похожи, так как геометрия хранится в базе геоданных сходим образом, способы обработки данных принципиально отличаются, поэтому в выходных данных могут быть незначительные отличия.
  • Классические инструменты наложения могут быть итеративными, что определяется сложностью данных. Это означает, что допуск в ходе анализа применяется несколько раз. Влияние изменения Допуска XY на значение, большее или меньшее, чем значение по умолчанию, будет многократно умножено. Чем дальше используется значение Допуска XY от значения по умолчанию, тем больше вероятность возникновения проблем.
    • В процессе кластеризации при работе классических инструментов наложения две точки совмещаются в одну, если расстояние между ними меньше или равно:

      2 * sqrt(2) * значение допуска

    • В процессе разбиения при работе классических инструментов наложения предполагается, что точка находится на сегменте, если ближайшее расстояние от точки до внутренней части сегмента меньше или равно следующему:

      sqrt(2) * значение допуска

      В этом случае сегмент будет разбит и новые конечные точки замыкаются на эту точку.
  • Инструменты попарного наложения исходят из постулата, что выходные данные должны быть топологически чистыми, если они обрабатывались инструментами класического наложения. Таким образом, при обработке геометрии для топологической операции, выходные данные не должны включать никаких новых пересечений сегментов или точек, которые были кластеризованы. Чтобы это было всегда истинным, вычисляется расстояние, расстояние, используемое в процессе разбиения и кластеризации, должно подгоняться. В результате могут получиться незначительные различия геометрии между выходными данными инструментов.

    Для получения более подробной информации о кластеризации см. Классы пространственных объектов. Основные понятия.

    • В процессе кластеризации при работе попарных инструментов наложения две точки совмещаются в одну, если расстояние между ними меньше или равно:

      1.01 * sqrt(2) * (2 * допуск + 2 * разрешение)

    • В процессе разбиения при работе попарных инструментов наложения предполагается, что точка находится на сегменте, если ближайшее расстояние от точки до внутренней части сегмента меньше или равно следующему:

      1.01 * sqrt(2) * (допуск + 2 * разрешение)

    • Примечание:

      Коэффициент 1.01 используется для повышения исходного значения (для устойчивости).

• Некорректное изменение Допуска XY может привести к ошибке, неточному анализу, перемещению объектов, топологическим ошибкам и даже сбою.
• Некорректное изменение Разрешения XY также может привести к тому, что выходная геометрия будет не точно соответствовать входной геометрии, и результаты анализа будут некорректными. Изменение Разрешения XY на значение меньше, чем по умолчанию, приведет к тому, что размер объекта станет больше. Это может привести к изменениям в том, как данные обрабатываются. Для классических инструментов наложения это увеличение в размере может привести к большему разбиению данных на листы для выполнения анализа в пределах доступных ресурсов, а это в свою очередь приведет к увеличению числа вершин, представляющих объект, который пересекает границы листов. Более подробно см. раздел Полистная обработка больших наборов данных.

Геометрия входных объектов должна быть допустимой. На все инструменты, которые обрабатывают геометрию, влияет некорректная геометрия, это может привести к ошибке, неточному анализу, замедлению скорости обработки, сбою или, в худшем случае, вы не получите никаких указаний о возникшей проблеме. Ваша ответственность заключается в том, чтобы у всех входных наборов данных геометрия была корректна.

Более подробно о проверке и восстановлении геометрии

• Классические инструменты наложения могут быть более чувствительны к некорректной геометрии, чем попарные инструменты.

О производительности

Производительность всех инструментов геообработки зависит от размера и сложности входных данных. Есть несколько закономерностей, которые помогут вам выбрать инструмент, который будет действовать наиболее эффективно.

Области массивного наложения

Области массивного наложения линий и полигонов могут снизить производительность классических основных инструментов наложения.

В случае плотно расположенных выходных буферных полигонов они могут перекрываться в точке, где выбор одной области в данных возвращает выборку десятков или даже сотен буферных объектов. В основных инструментах наложения, например, Пересечение или Стирание, определение каждого уникального полигона, созданного из всех этих пересечений, будет достаточно дорогостоящим. В таком случае лучшим вариантом будет выбрать инструменты попарного наложения.

В случае плотно расположенных пересекающихся линий каждая точка пересечения и наложения определяется заранее с помощью классических инструментов наложения (Пересечение, Стирание и Вырезание в некотором экстенте). И такой вариант окажется дорогостоящим только в редких случаях. В таком случае лучшим вариантом будет выбрать инструменты попарного наложения.

Если ваш анализ полагается на поиск каждого экземпляра наложения (например при использовании инструментов Пересечение или Объединение), вы должны использовать эти классические инструменты наложения. Однако, если ваши десятки тысяч или сотни тысяч входных объектов приводят к сотням миллионов выходных объектов, представляющих каждый уникальный случай перекрытия, вам может потребоваться переосмыслить свой подход, чтобы разобраться в результатах операции наложения. Повторная оценка цели вашего анализа может показать, что анализ в другом масштабе по размеру и охвату поможет лучше интерпретировать полученные результаты. Разделение данных на более понятные области интереса может улучшить производительность классических инструментов наложения, когда перекрытие входных объектов чрезвычайно велико.

Советы для работы с очень большими объектами

Ни классические инструменты наложения, ни инструменты попарного наложения не могут обрабатывать объекты, которые превышают ресурсы вычислительной мощности компьютера.

• Эти объекты настолько велики, что машина, на которой выполняется анализ, не сможет их обработать. Часто это результаты операции Растр в полигон или Слияние, которая была выполнена на машине с большим объемом доступных ресурсов, чем та, на которой вы выполняете анализ сейчас.
• Эти объекты могут выдать ошибку при отрисовке, либо отрисоваться частично.
• Использование таких объектов с инструментом геообработки может привести к частичной заморозке обработки, ошибкам нехватки памяти, некорректным результатам и даже, в редких случаях, к сбою программы.
• Объект может оказаться слишком большим для одной машины и нормальным для другой. Считается ли объект слишком большим, зависит от объема оперативной памяти, доступной на машине, выполняющей анализ. Чем больше на машине RAM, тем больше может быть обрабатываемый объект.
• Максимальный размер каждого отдельного объекта в базе геоданных - 2 ГБ.
• Если у вас есть объекты, которые оказываются слишком большими для обработки, их необходимо разделить с помощью инструмента Нарезать, чтобы анализ был выполнен успешно. Другие инструменты, которые традиционно используются для обработки существующих объектов, скорее всего не смогут изменить объект с миллионами вершин.

• Нарезка «годзилл» (объектов, у которых слишком много вершин)

Слишком большие объекты могут привести к проблемам в ходе обработки, но вы с их помощью можно выполнить простые операции. Они содержат очень большое количество вершин, но не настолько большое, чтобы это вызывало проблемы само по себе. Однако они достаточно велики, чтобы снизить производительность и вызвать сбои как в классических инструментах наложения, так и в инструментах попарного наложения.

• Эти объекты будут отрисованы и их можно использовать в простом анализе без проблем, но даже в ходе этих простых операций может произойти заметное снижение производительности и повышение объема используемой памяти.
• В некоторых случаях, если эти объекты охватывают значительную часть интересующей области, их часто необходимо будет продублировать в памяти для обработки (в частности, для параллельной обработки). В конечном итоге это снизит объем доступных ресурсов на машине. Могут произойти серьезное снижение производительности и сбои.
• Эти объекты вызывают снижение производительности как для классических инструментов наложения, так и для инструментов попарного наложения. Инструменты попарного наложения используют более простой подход к анализу данных и обычно задействуют меньший объем памяти для этого, поэтому успешнее обрабатывают подобные объекты.
• Если в данных есть подобные огромные объекты, возможно, вам следует переосмыслить цели вашего анализа. Например, действительно ли вам нужна миллиметровая точность данных для анализа береговой линии всего материка, либо для определения границ миграции птиц.
• Есть два метода, позволяющих сделать улучшить ваш анализ, если в ваших данных есть огромные объекты. Если вам не нужен уровень точности, присутствующий в ваших данных, можно упростить данные (с помощью инструмента Упростить полигон или аналогичных инструментов). Чтобы сохранить точность объектов, вы можете разбить объекты на более маленькие части. Если объект состоит из нескольких частей, инструмент Составной объект в простые может достаточно снизить размер объектов, чтобы анализ прошел успешно. Либо можно использовать инструмент Нарезать, чтобы разбить объект до начала анализа. Разбитые на части объекты могут быть повторно собраны позже в рабочем процессе с помощью инструментов Слияние или Попарное слияние на основе уникального ID, которое следует назначить каждому объекту перед операцией разделения.

Пространственная привязка и проецирование на лету

Если вы используете инструмент геообработки с двумя входными наборами данных, имеющими разные пространственные привязки, большинство инструментов будет использовать для выходной системы координат ту, которая используется у первого входного набора данных, а данные из второго входного набора с другой пространственной привязкой будут перепроецированы в эту систему координат для анализа. Динамическое изменение проекции на лету может вызвать снижение производительности (и привести к неточностям из-за несогласованности данных между слоями). По возможности для сохранения высокой производительности и точности выходных данных все входные данные должны иметь одну и ту же пространственную привязку.