URBAN MASH
2.25K subscribers
124 photos
2 videos
28 files
120 links
Про гисы, городские данные и градостроительство

Автор: Мария Эрцеговац

Для связи @merc_telega
Download Telegram
🗺 ЦИФРОВЫЕ КАРТЫ И ИЛЛЮЗИЯ ТОЧНОСТИ

Разберем два фундаментальных текста по геоинформатике - авторов Питер Берроу и Пьер ван Оорт - о методах проверки качества геоданных и главные ловушки.

1️⃣Accuracy ≠ Precision: самая опасная путаница в ГИС (картинка мишени)

🔥Accuracy — насколько результат близок к истинному значению. Считается через полную ошибку. Метрика: RMSE.
🔥Precision — насколько результаты близки друг к другу. Считается через случайную ошибку. Метрика: Standard Deviation.

Полная ошибка = bias + случайная ошибка. Если bias = 0, то precision = accuracy.

🎯 High Precision + Low Accuracy — самое коварное состояние в ГИС. Прибор стабильно выдаёт одинаковый результат, но он систематически сдвинут. Вы получаете «уверенную ложь» — данные выглядят надёжно, но все смещены, например, на 50 м на восток.

Почему это "меньшее зло"? Потому что систематическую ошибку можно обнаружить и скорректировать одной калибровкой (rubber sheeting, аффинная трансформация). А вот случайный разброс (Low Precision) — нет: каждую точку придётся перемерять заново.

2️⃣Три группы ошибок: от очевидного к невидимому (Table 6.1 Burrough)

Группа I — Очевидные: возраст данных, масштаб, охват, плотность наблюдений, релевантность, формат, доступность, стоимость. Это чек-лист, который можно проверить за 5 минут.

Группа II — Скрытые (измерения и природа):

- Позиционная точность: дом можно нанести точно, а границу болота — нет
- Observer bias: качество зависит от характера картографа
- Природная изменчивость: даже идеальные приборы не устранят неопределённость

Группа III — Невидимые (обработка):

- Ошибки округления: в 8/16-битных системах 27 последовательных возведений в квадрат дают ошибку 1200%
- Топологические сбои при наложении карт
- Некорректная классификация и интерполяция

Группа III опаснее всего, потому что для обнаружения нужно понимать не только данные, но и алгоритмы, обработки.

3️⃣«Цифровой обман»: storage precision vs statistical precision

Ван Оорт вводит критическое разделение:

🔥Storage precision — это просто количество знаков после запятой, которое хранится в базе.
🔥Statistical precision — это реальная точность измерений и возможный разброс данных.

Например, координата может быть записана как 52.123456789°, но если она получена с GPS с погрешностью ±5 м, большое число знаков после запятой не делает её реально точной. Одно не гарантирует другое.

В базе данных можно записать координаты с точностью до нанометра. Но если замер сделан бытовым GPS, все эти цифры — математический мусор. Высокая разрядность ≠ высокое качество.

4️⃣Смерть масштаба в эпоху зума

Раньше на бумажной карте масштаб 1:10 000 гарантировал определённую точность. В ГИС - нет. Ван Оорт: «In a GIS it is quite easy to increase the resolution of a data set, thereby suggesting a high precision and large scale.».

Вы можете зумить карту до тех пор, пока пиксель не станет размером с дом. Но новых деталей не появится — это просто растягивание неопределённости.

Resolution (разрешение) — как данные показаны.
Precision — что мы реально можем различить.

5️⃣Элементы качества: от 5 источников к единому стандарту (Table 1 van Oort)

Ван Оорт собрал 11 элементов качества пространственных данных из 5 источников (Aronoff, USA-SDTS, ICA, CEN, ISO). Ключевое наблюдение:

🔥Lineage, positional accuracy, completeness — признаны всеми источниками
🔥Semantic accuracy — признана только ICA и CEN, игнорируется остальными
🔥Variation in quality, meta-quality — неявно признаны, но редко документируются
🔥Resolution — везде неявная или вообще в метаданных, хотя это критичный параметр

Этот разнобой показывает: даже на уровне стандартов нет единого понимания, что именно значит «качественные геоданные». Только ISO 19157 (2013, 2023) попытался свести это воедино.

❤️А что на практике? Сравнение реальных гео-источников

По заданию курса EuroSDR Spatial Data Quality я сравнила несколько источников геоданных: гугл карты, osm, национальных агентств. Смотрите картинку с таблицей.

@urban_mash
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
14👍4🔥3🤔3🤩1🐳1
🗺 Подборка полезных плагинов QGIS от Mashford Mahute

@urban_mash
19🔥8👍5🐳1
🗾FOSS4G 2026 Hiroshima — НУЖНА ВАША ПОДДЕРЖКА!

Открытое голосование за доклады на главной конференции по open-source геоаналитике. Мои 2 заявки в деле — и сообщество решает, кто выступит. Голосование до 3 апреля.

🚨Как проголосовать (2 минуты):

1️⃣Перейти по ссылке https://talks.osgeo.org/foss4g-2026/p/voting/signup/
2️⃣Ввести email
3️⃣Найти мои доклады через Ctrl+F (всего 19 страниц)
4️⃣Поставить "Definitely"

🔎 Что искать:

❤️"Eurostat vs OSM vs Census: Choosing Open Mobility Data for Urban Function Maps". Сравниваю 3 открытых источника мобильности (Eurostat MNO, OSM GPS traces, Census) через Python/PostGIS — какой из них реально работает для анализа городских функций.

❤️"50 Lines of Python: Neighborhood DNA from Overture Maps Places". 53 млн POI из Overture Maps → типология районов за 50 строк кода (DuckDB + HDBSCAN + UMAP).

Спасибо всем, кто поддержит!

@urban_mash
Please open Telegram to view this post
VIEW IN TELEGRAM
24🔥5🦄4🐳1
URBAN MASH pinned a photo
Через 1.5 часа в 16.45 по мск выступаю на Мапаконе

@urban_mash
👍1210🔥5🐳1
❤️Вот моя презентация на Мапаконе! ❤️

1. Методология ML в геоданных

1️⃣Spatial Cross-Validation: Почему стандартные методы оценки моделей врут на географических данных и как правильно делить выборку на блоки, чтобы избежать переобучения из-за пространственной автокорреляции.
2️⃣Feature Engineering: Как извлекать признаки, учитывающие соседство и топологию.

2. Пространственная кластеризация

1️⃣Алгоритмы: Переход от K-means к плотностным методам (DBSCAN/HDBSCAN).
2️⃣Геометрия: Почему расчеты в евклидовом пространстве (градусах) для кластеров — это ошибка, и как работать с метрическими проекциями.

3. Оптимизация и графы

1️⃣Сетевой анализ: Совмещение ML-прогнозов спроса с классическими алгоритмами поиска путей.
2️⃣Реальные дистанции: Уход от «расстояний по прямой» к расчетам по дорожной сети с учетом весов.

4. Качество данных и аномалии

1️⃣Data Cleaning: Автоматический поиск выбросов в GPS-треках и координатах через Isolation Forest.
2️⃣MAUP (Modifiable Areal Unit Problem): Как масштаб сетки (агрегация по районам vs H3-гексагоны) меняет статистические результаты и как минимизировать это влияние.

@urban_mash
Please open Telegram to view this post
VIEW IN TELEGRAM
24🔥16👍4🤔2🐳1
Сегодня была на митапе по GeoAi, было 3 классных доклада от Microsoft, FourSquare и TomTom. Про последний расскажу подробнее чуть позже)

@urban_mash
🔥177👍4🐳1
‼️КУРС‼️

После Яндекса зрела идея собрать профессиональный опыт в один системный образовательный продукт, и вот мы с Каримом Валиевым перешли к активной фазе работы над курсом по пространственной аналитике.

Курс не про QGIS, а про алгоритмическую и инженерную сторону работы с геоданными:

❤️Core-фундамент: от геометрии и пространственных индексов (H3, S2) до графов и сетевого анализа.
❤️Data Science & ML: кластеризация, пространственная статистика, GWR и применение нейросетей для растров.
❤️Big Data: работа с Apache Sedona, GeoParquet и DuckDB для тех случаев, когда данных слишком много для обычных инструментов.
❤️Практика: оптимизация размещения объектов и вопросы качества/валидации данных.

Мы хотим сделать курс максимально прикладным и полезным для сообщества, поэтому сейчас нам важен ваш фидбек. Помогите нам определиться с форматом, сложностью и конкретными темами, которые вам интересны.

Заполнение анкеты займет пару минут, но очень поможет нам сделать крутой продукт:

https://docs.google.com/forms/d/e/1FAIpQLSdtqQPMdNYhibQS1ofY4OGMxmNhP0qEwYp6lDZu0ZFs6qDL4w/viewform

@urban_mash
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥357🤔2😍2👍1🐳1
URBAN MASH pinned a photo
Информационный пост в рамках сотрудничества с NextGIS.

У коллег есть практический онлайн-курс «Фундаментальный QGIS: геоданные, анализ, карты».

Основные блоки программы:
— Работа с интерфейсом и типами геоданных.
— Создание и оформление карт.
— Инструменты пространственного анализа.

Обучение проходит на платформе Skillspace, доступ к материалам бессрочный. Предусмотрена поддержка в закрытом сообществе и выдача сертификата.

Сведения о курсе и регистрация: https://nextgis.skillspace.ru/l/qgis

@urban_mash
16🔥7👍4🤔4❤‍🔥2🐳1🦄1