Заполнить пропущенные значения (Углубленный анализ пространственно-временных закономерностей)

Краткая информация

Заменяет пропущенные (null) значения на вычисленные на основе значений пространственных, пространственно-временных и временных соседей.

Более подробно о работе инструмента Заполнение пропущенных значений

Иллюстрация

Использование

• Значением для Входных объектов могут быть точки или полигоны.

• В выходном результате будет три поля для каждого поля из параметра Поля для заполнения. В первом будут содержатся исходное и заполненное значения, а во втором – индикатор того, что значение было вычислено. Вычисленное поле сохранит исходное имя поля, но псевдонимы полей будут созданы с использованием следующего правила присвоения имен: <field>_FILLED и <field>_ESTIMATED. Третье поле <field>_ N_NEIGHBORS это поле числа соседей, использованных для вычисления каждого вычисляемого значения.

• Выходные данные также будут содержать поля, содержащие значения, которые могут помочь вам понять количество соседей и диапазон значений соседей, используемых в вычислениях для целевого пропущенного значения. Если для параметра Метод заполнения задана опция Среднее, показывается стандартное отклонение (<field>_STD) соседних объектов, использованных в расчетах. Максимальное соседнее значение показывается для опции Минимум, а минимальное - для опции Максимум. Если для параметра Метод заполнения задана опция Медиана, показывается среднее абсолютное отклонение соседей. Если отсутствующие значения были заполнены с помощью опции Временной тренд, в поле будет содержаться сумма квадратов отклонений сплайна. Поле NNBRS будет содержать количество соседей, которые учитывались для вычисления значений.

• Можно включить поля без пустых значений. Эти поля будут копироваться в выходные данные, но у них не будет дополнительных полей, связанных с ними в выходных данных (например, <field>_FILLED или <field>_ESTIMATED). Либо вы можете предоставить значение параметра Уникальный ID, который будет добавлен к выходному результату и будет использоваться для присоединения полученных данных к Входному классу пространственных объектов.

• Поле NUM_EST (TOT_EST если вы работаете со связанной таблицей) указывает общее число вычисленных переменных для связанной записи. Это поле применяется при прорисовке выходной карты.

• Вы можете присоединить дополнительные поля к входному классу объектов с помощью параметра Присоединить поля к входным объектам. Если вы присоединяете эти поля, связанная таблица не может предоставляться.

• Инструмент может быть применен с многомерными данными, которые хранятся в отдельных геометриях или в связанной таблице. Если задано значение для параметра ID местоположения, инструмент распознает, что входными данными являются данные временных рядов и что необходим параметр Поле времени.

• Значение ID местоположения ­ целочисленное поле, которое должно представлять уникальные и стационарные местоположения. У них не должно быть разных X,Y-координат в разные моменты времени.

• Если выбрана опция Фиксированное расстояние, Только совпадающие ребра или Только совпадающие углы для параметра Определение пространственных взаимоотношений, может быть симулировано пространственно-временное окно для параметров Канал расстояния и Временное соседство.

• Если выбрана опция Фиксированное расстояние, Только совпадающие ребра или Только совпадающие углы для параметра Определение пространственных взаимоотношений, может быть задано значение параметра Число пространственных соседей для указания минимального количества соседей.

• Опция Временной тренд для параметра Метод заполнения доступна только в том случае, если были установлены значения для параметров ID местоположения и Поле времени.

• При использовании опции Временной тренд для заполнения значений, местоположение с заполняемым пустым значением должно иметь как минимум два периода времени со значениями в начале и как минимум два периода времени со значениями в конце временного ряда, чтобы его можно было заполнить. Из-за этого требования имеющиеся в первых двух и последних двух временных шагах пустые значения нельзя заполнить с помощью опции Временной тренд.

• Опция Временной тренд использует метод одномерного интерполированного сплайна из пакета интерполяции SciPy.

• Отсутствующие значения, которые не удалось вычислить и заполнить, будут показаны в выходных данных в формате, в котором пустые значения отображались изначально.

• При заполнении отсутствующих значений временных рядов данных с использованием только пространственных соседей задайте для параметра Временное соседство значение 0.

• Если ваши данные являются временными рядами данных, для фильтрации по времени нужно воспользоваться параметром Временное соседство. Установка для параметра Временное соседство значения 0, позволяет работать только с пространственными соседями.

• Важно проверить выходные заполненные значения, чтобы убедиться в их соответствии вашему анализу. Например, если исходное поле было целочисленным, а инструмент был настроен на заполнение средним значением от пространственных соседей, то в результате вы получите десятичные числа, что может оказаться бессмысленным, если входное поле было количеством. Кроме того, в зависимости от метода, используемого для параметра Временной тренд, может оказаться возможным получить отрицательное значение даже в тех случаях, когда в исходных данных отрицательные значения отсутствовали. Если заполняемое поле содержало значения численности населения, такие значения некорректны.

• Поле N_NEIGHBORS содержит число соседей, использованных для вычисления значения для этого объекта. Если для параметра Метод заполнения задано Временной тренд, это число – количество значений, которые существуют во временном ряде для определенного значения ID местоположения (например, если вы пропустили только одно значение в вашем временном ряду, будет выдаваться число временных шагов в вашем наборе данных минус 1). Если вы используете для параметра Определение пространственных взаимоотношений значение K ближайших соседей и Временная окрестность, число соседей, которое выдается, будет включать k соседей для объекта, которые попадают в указанное временное окно.

• Сообщения с подробной информацией об анализе и характеристиками заполненных полей при выполнении инструмента появляются внизу панели Геообработка. Вы можете получить доступ к сообщениям, наведя курсор мыши на индикатор выполнения, щелкнув на кнопку или развернув раздел сообщений на панели Геообработка. Вы также можете открыть сообщения, касающиеся ранее запущенного инструмента Заполнить отсутствующие значения через панель История геообработки.

Параметры

Диалог

Подпись	Описание	Тип данных
Входные объекты	Класс объектов с заполняемыми пустыми значениями.	Feature Layer
Выходные объекты (Дополнительный)	Выходные данные с заполненными (вычисленными) значениями. Если для параметра Связанная таблица задано значение, то Выходные объекты будут содержать число вычисленных значений в каждом местоположении, а Выходная таблица будет включать заполненные (вычисленные) значения.	Feature Class
Поля для заполнения	Числовые поля с отсутствующими значениями (null).	Field
Метод заполнения	Указывает тип применяемого вычисления. Опция Временной тренд доступна, только если заданы значения параметров ID местоположения и Поле времени. Среднее—Пустые значения будут заменены средним (арифметическим) значением соседних объектов. Минимум—Пустые значения будут заменены минимальным (наименьшим) значением соседних объектов. Максимум—Пустые значения будут заменены максимальным (наибольшим) значением соседних объектов. Медиана—Пустые значения будут заменены медианой значений соседних объектов (отсортированным средним значением). Временной тренд—Пустые значения будут заменены на основе тренда в этом уникальном месте.	String
Определение пространственных взаимоотношений (Дополнительный)	Определяет, как задаются пространственные отношения между объектами. Фиксированное расстояние—Находящиеся в пределах заданного критического расстояния соседние объекты (значение параметра Канал расстояния) для каждого объекта будут включены в анализ, все располагающиеся вне этого расстояния - будут исключены. Ближайшая окрестность K—k ближайших объектов будет включено в вычисления, где k – определенный числовой параметр. Только совпадающие ребра—Только соседние полигональные объекты, которые имеют смежную границу или перекрываются, повлияют на расчеты для целевого полигонального объекта. Совпадающие ребра и углы—Полигональные объекты, которые имеют общую границу, общий узел или перекрываются, повлияют на расчеты для целевого полигонального объекта. Получить пространственные веса из файла—Пространственные отношения определены в файле пространственных весов. Путь к файлу с пространственными весами указан в параметре Файл Матрицы весов.	String
Диапазон расстояний (Дополнительный)	Пороговое расстояние для опции Фиксированное расстояние параметра Определение пространственных взаимоотношений. Объекты, расположенные за пределами указанного предельного расстояния, будут проигнорированы при вычислениях для данного объекта. Этот параметр не применим для опций Только совпадающие ребра и Совпадающие ребра и углы.	Linear Unit
Временное соседство (Дополнительный)	Интервал вперед и назад во времени, который определяет, какие объекты будут использоваться в вычислениях для целевого объекта. Объекты вне этого интервала от целевого объекта будут игнорироваться при вычислении для данного объекта.	Time Unit
Поле времени (Дополнительный)	Поле, содержащее временную метку для каждой записи в наборе данных. Это поле должно иметь тип Date. Этот параметр необходим, если указано значение параметра ID местоположения.	Field
Число пространственных соседей (Дополнительный)	Число ближайших соседей, которые будут включены в вычисления. Если для параметра Определение пространственных взаимоотношений задано Фиксированное расстояние, Только совпадающие ребра или Совпадающие ребра и углы, это число является минимальным числом соседей, которые должны использоваться в вычислениях.	Long
ID местоположения (Дополнительный)	Целочисленное поле, содержащие уникальные ID каждого местоположения. Этот параметр используется для сопоставления параметра Входные объекты со строками параметра Связанная таблица или для задания уникального ID местоположения с целью определения пространственных соседей.	Field
Связанная таблица (Дополнительный)	Таблица или представление таблицы, содержащее временные данные для каждого объекта параметра Входные объекты.	Table View
Связанный ID местоположения (Дополнительный)	Целочисленное поле из параметра Связанная таблица, содержащее значение параметра ID местоположений, на базе которого будет основываться связь.	Field
Файл матрицы пространственных весов (Дополнительный)	Путь к файлу, который содержит веса, определяющие пространственные и, возможно, временные отношения между объектами.	File
Уникальный ID (Дополнительный)	Целочисленное поле, содержащее различные значения для каждой записи параметра Входные объекты. Это поле может использоваться для обратного присоединения результатов к исходному набору данных. Если у вас нет поля Unique ID, вы можете создать его путем добавления нового целочисленного поля в таблицу атрибутов входного класса и вычислив значения полей равными полю FID или OBJECTID.	Field
Пустое значение (Дополнительный)	Значение для пустых (пропущенных) значений. Если значение не задано, для классов пространственных объектов базы геоданных применяется <Null>. Для шейп-файлов требуется числовое значение пробела.	Double
Выходная таблица (Дополнительный)	В выходной таблице содержатся заполненные (вычисленные) значения. Если задана связанная таблица, требуется выходная таблица.	Table
Присоединить поля к входным объектам (Дополнительный)	Определяет, будут ли поля с заполненными значениями присоединены к входным объектам или выходной класс объектов будет создан с полями с заполненными значениями. Если вы присоединяете поля, вы не сможете предоставить связанную таблицу, и параметр среды выходной системы координат будет проигнорирован. Отмечено - поля, содержащие заполненные значения, будут присоединены к входным объектам. Эта опция изменяет входные данные. Не отмечено - выходной класс объектов будет создан с полями с заполненными значениями. Это значение по умолчанию	Boolean

Производные выходные данные

Подпись	Описание	Тип данных
Обновленные входные объекты	Обновленные входные объекты, содержащие поля заполненных значений.	Feature Layer

Python

arcpy.stpm.FillMissingValues(in_features, {out_features}, fields_to_fill, fill_method, {conceptualization_of_spatial_relationships}, {distance_band}, {temporal_neighborhood}, {time_field}, {number_of_spatial_neighbors}, {location_id}, {related_table}, {related_location_id}, {weights_matrix_file}, {unique_id}, {null_value}, {out_table}, {append_to_input})

Имя	Описание	Тип данных
in_features	Класс объектов с заполняемыми пустыми значениями.	Feature Layer
out_features (Дополнительный)	Выходные данные с заполненными (вычисленными) значениями. Если значение параметра related_table задано, out_features будет содержать число вычисленных значений в каждом местоположении, а out_table будет включать заполненные (вычисленные) значения.	Feature Class
fields_to_fill [fields_to_fill,...]	Числовые поля с отсутствующими значениями (null).	Field
fill_method	Указывает тип применяемого вычисления. Опция TEMPORAL_TREND доступна, только если заданы значения параметров location_id и time_field. AVERAGE—Пустые значения будут заменены средним значением соседних объектов. MINIMUM—Пустые значения будут заменены минимальным (наименьшим) значением соседних объектов. MAXIMUM—Пустые значения будут заменены максимальным (наибольшим) значением соседних объектов. MEDIAN—Пустые значения будут заменены медианой значений соседних объектов (отсортированным средним значением). TEMPORAL_TREND—Пустые значения будут заменены на основе тренда в этом уникальном месте.	String
conceptualization_of_spatial_relationships (Дополнительный)	Определяет, как задаются пространственные отношения между объектами. FIXED_DISTANCE—Находящиеся в пределах заданного критического расстояния соседние объекты (значение параметра distance_band) для каждого объекта будут включены в анализ, все располагающиеся вне этого расстояния - будут исключены. K_NEAREST_NEIGHBORS—k ближайших объектов будет включено в вычисления, где k – определенный числовой параметр. CONTIGUITY_EDGES_ONLY—Только соседние полигональные объекты, которые имеют смежную границу или перекрываются, повлияют на расчеты для целевого полигонального объекта. CONTIGUITY_EDGES_CORNERS—Полигональные объекты, которые имеют общую границу, общий узел или перекрываются, повлияют на расчеты для целевого полигонального объекта. GET_SPATIAL_WEIGHTS_FROM_FILE—Пространственные отношения определены в файле пространственных весов. Путь к файлу пространственных весов указывается в параметре Weights_Matrix_File.	String
distance_band (Дополнительный)	Пороговое расстояние для опции FIXED_DISTANCE параметра conceptualization_of_spatial_relationships. Объекты, расположенные за пределами указанного предельного расстояния, будут проигнорированы при вычислениях для данного объекта. Параметр не доступен для опций CONTIGUITY_EDGES_ONLY или CONTIGUITY_EDGES_CORNERS.	Linear Unit
temporal_neighborhood (Дополнительный)	Интервал вперед и назад во времени, который определяет, какие объекты будут использоваться в вычислениях для целевого объекта. Объекты вне этого интервала от целевого объекта будут игнорироваться при вычислении для данного объекта.	Time Unit
time_field (Дополнительный)	Поле, содержащее временную метку для каждой записи в наборе данных. Это поле должно иметь тип Date. Этот параметр необходим, если указано значение параметра location_id.	Field
number_of_spatial_neighbors (Дополнительный)	Число ближайших соседей, которые будут включены в вычисления. Если для параметра conceptualization_of_spatial_relationships заданы опции FIXED_DISTANCE, CONTIGUITY_EDGES_ONLY или CONTIGUITY_EDGES_CORNERS, это число является минимальным числом соседей, которые должны использоваться в вычислениях.	Long
location_id (Дополнительный)	Целочисленное поле, содержащие уникальные ID каждого местоположения. Этот параметр используется для сопоставления параметра in_features со строками параметра related_table или для задания уникального ID местоположения с целью определения пространственных соседей.	Field
related_table (Дополнительный)	Таблица или представление таблицы, содержащее временные данные для каждого объекта параметра in_features.	Table View
related_location_id (Дополнительный)	Целочисленное поле из параметра related_table, содержащее значение параметра location_id, на базе которого будет основываться связь.	Field
weights_matrix_file (Дополнительный)	Путь к файлу, который содержит веса, определяющие пространственные и, возможно, временные отношения между объектами.	File
unique_id (Дополнительный)	Целочисленное поле с различными значениями для каждой записи параметра in_features. Это поле может использоваться для обратного присоединения результатов к исходному набору данных. Если у вас нет поля unique_id, вы можете создать его путем добавления нового целочисленного поля в таблицу классов объектов и вычислив значения полей равными полю FID или OBJECTID.	Field
null_value (Дополнительный)	Значение для пустых (пропущенных) значений. Если значение не задано, для классов пространственных объектов базы геоданных применяется <Null>. Для шейп-файлов требуется числовое значение пробела.	Double
out_table (Дополнительный)	В выходной таблице содержатся заполненные (вычисленные) значения. Если задана связанная таблица, требуется выходная таблица.	Table
append_to_input (Дополнительный)	Определяет, будут ли поля с заполненными значениями присоединены к входным объектам или выходной класс объектов будет создан с полями с заполненными значениями. Если вы присоединяете поля, вы не сможете предоставить связанную таблицу, и параметр среды выходной системы координат будет проигнорирован. APPEND_TO_INPUT—Поля, содержащие заполненные значения, будут присоединены к входным объектам. Эта опция изменяет входные данные. NEW_FEATURES—Выходной класс объектов будет создан с полями с заполненными значениями. Это значение по умолчанию	Boolean

Производные выходные данные

Имя	Описание	Тип данных
updated_features	Обновленные входные объекты, содержащие поля заполненных значений.	Feature Layer

Пример кода

FillMissingValues, пример 1 (окно Python)

Скрипт окна Python, демонстрирующий использование функции FillMissingValues.

import arcpy
arcpy.env.workspace = r"C:\STPM\Chicago.gdb"
arcpy.FillMissingValues_stpm("Chicago_Data", "Chicago_Filled", "COUNT", "AVERAGE",
                             "K_NEAREST_NEIGHBORS", "", "", "", 8)

FillMissingValues, пример 2 (автономный скрипт)

В следующем автономном скрипте Python показано использование функции FillMissingValues.

# Fill missing values using a feature set and related table
# Use the results to create a space-time cube from defined locations
# Run Emerging Hot Spot Analysis on the data
# Visualize the results in 3d

# Import system modules
import arcpy

# Set property to overwrite existing output, by default
arcpy.env.overwriteOutput = True

# Local variables ...
arcpy.env.workspace = r"C:\STPM\Chicago.gdb"

try:
    # Fill missing values in a feature class containing block group polygon shapes and a related table containing the incidents
    # Since some of the values are missing, you will fill them using the temporal trend method.
    arcpy.FillMissingValues_stpm("Chicago_Feature", "Chicago_FilledFeature", "COUNT", "TEMPORAL_TREND", "", "", NoneNone,
                                 "TIME", "", "MYID", "Chicago_Table", "MYID", "", "", "", "Chicago_FilledTable")

    # Create a defined location space-time cube using a related table
    # Using a reference time at the start of the month to force binning fall on month breaks
    # Using temporal aggregation to sum multiple entries into one month
    # Using the method drop location if missing values since you already filled using Fill Missing Values
    arcpy.CreateSpaceTimeCubeDefinedLocations_stpm("Chicago_FilledFeature", r"C:\STPM\Chicago_Cube.nc", "MYID",
                                                   "APPLY_TEMPORAL_AGGREGATION", "TIME", "1 Months", "REFERENCE_TIME",
                                                   "10/1/2015", "", "COUNT SUM DROP_LOCATIONS", "Chicago_FilledTable",
                                                   "MYID")

    # Run an emerging hot spot analysis on the defined locations cube
    # Using contiguity edges so only block groups that bound each other are considered neighbors
    arcpy.EmergingHotSpotAnalysis_stpm(r"C:\STPM\Chicago_Cube.nc", "COUNT_SUM_NONE",
                                       "Chicago_Cube_EmergingHotSpot", "", 1, "",
                                       "CONTIGUITY_EDGES_ONLY")

    # Use Visualize Cube in 3d to see the hot spot results for each time slice
    arcpy.VisualizeSpaceTimeCube3D_stpm(r"C:\STPM\Chicago_Cube.nc", "COUNT_SUM_NONE", "HOT_AND_COLD_SPOT_RESULTS",
                                        "Chicago_Cube_Visualize3d")

except arcpy.ExecuteError:
    # If an error occurred when running the tool, print the messages
    print(arcpy.GetMessages())

Параметры среды

Выходная система координат, Географические преобразования

Особые случаи

Информация о лицензиях

• Basic: Да
• Standard: Да
• Advanced: Да