基于网络爬虫、移动应用App等技术的城市建筑物调查与在线应用——以贵阳市建筑物普查项目为例

佘佐明，申勇智，钟宝，雷洋，宋剑虹

(贵阳市测绘院，贵州 贵阳 550000)

开展建筑物普查，全面、准确掌握城市内各建筑物的空间分布特征与基本信息，是建设“智慧城市”不可缺少的基础性工作，是为国土空间规划、城市建设和城市管理等领域性工作建立科学数据支撑的重要手段。为实现城市“精准规划”的目标，贵阳市原城乡规划局制定了“规划大数据”行动，2018年～2021年开展了贵阳市规划管理区域现状建筑普查工作，实现“摸清规划数据家底，搞清规划存量数据”。其工作思路与目标为：对贵阳市建成区现状建筑物存量数据及相关联的规划管理审批档案进行普查、梳理，全面摸清贵阳市规划区建筑物信息情况，建立建筑物信息综合数据库，为下一步做好城市规划工作，提供准确的查询与分析的科学依据。

贵阳市特定的地理环境条件对建筑物信息普查也带来了一些现实难题，通过合理的统筹协调和技术设计，高效、准确地获取了建筑物基本信息，这里梳理项目中涉及的现实问题与技术路线，希望对于城市测绘地理信息部门或企业开展下一步的自然资源类调查监测项目，提供有价值的参考。

贵阳是贵州省省会，是一座具有亚高原地形特征的现代都市，其地貌可概括为“山中有城，城中有山，绿带环绕，森林围城，城在林中，林在城中”，属于典型的山地城市。因此，城市建筑普查具有明显的地域性特征，不同区域的建筑物在高度、朝向、疏密分布上存在明显的差异，在新建城区范围，建筑物分布规整、密度适中；
老旧城区地形复杂，建筑物依山而建，密度高，多低矮建筑；
偏远地区建筑物密度较低，交通不便。这为调查工作获取与处理带来了复杂性与难度。

2.1 建筑物普查的内容

建筑物普查区域为贵阳市规划管理区，范围覆盖贵阳市所辖的云岩区、南明区、白云区、观山湖区、乌当区、经开区、花溪区北部，区域总面积约 2 163 km2，地势起伏较大，南北高、中部低。预计永久性建筑物数量为40万栋以上。

本次普查的具体内容是：在现有1∶500地形图、规划竣工测量数据、卫星影像、航空影像等数据资料的基础上，通过梳理规划设计成果资料、规划审批档案数据，实地调查、拍摄永久性建筑物现场照片等方法手段，完善和扩充单栋建筑物现状的空间及属性(13类)信息，建立普查数据库及实时更新与浏览查询系统，形成建筑物的现状普查常态机制方法。具体要求包括如下几个方面：

(1)更新周期。建筑物信息的更新周期为6个月，信息延迟应不超过6个月。

(2)建筑物基本属性的完整性要求。建筑物应当包括建筑名称、详细地址、结构类型、使用期限、建造年代、建筑状态、建筑层数、建筑高度、地下室及附属设施、停车位数、基底面积、总建筑面积、建筑质量评价、外观照片等。

(3)单栋建筑物的标识码要求。贵阳市区域根据城市网格化管理的需要，由网格化服务管理指挥调度中心依据村居(社区)管辖范围，制定一套网格管理单元的划分体系。普查成果在应用时，单栋建筑物的唯一性标识码应与该网格管理单元保持关联性。

(4)单栋建筑物空间精度要求。建筑物位置、轮廓、部件结构等空间数据，达到 1∶2 000比例尺地形图的精度要求。

2.2 普查单元的实施步骤

传统的地理信息数据采集通过实地调查测量获取数据，往往存在人员和时间成本过高、工作效率低下等问题。为了最大化地提高数据获取效率，这里提出了融合多种技术方式的思路，一方面通过采用网络爬虫技术抓取互联网中与贵阳市建筑物相关的信息数据资源，扩充数据来源渠道，最大限度地丰富本项目的数据源，减少外业调查次数。另一方面，研制手机端调查App，在部分外业调查上，手机端调查App也能最大化地减少单次调查的时间。普查的技术路线图如图1所示。

图1 贵阳市建筑物普查技术路线

3.1 科学划分普查单元

对现有数据资料的整理，首先就是合理划分普查单元，这也是后续成果推广应用和动态更新的关键环节。这里最终确定普查单元的划分技术原则为：与贵阳市网格管理单元保持一致，强调城市线状地理要素(如道路、河流、围墙)的边界作用，普查单元不能切分建筑物，并保证普查单元内建筑物数量基本一致。每个普查单元分配唯一编号，并建立与贵阳市网格管理单元的联系。

以贵阳市网格管理单元为依据，对每一栋建筑物进行了唯一编码，编码将伴随建筑物的生命周期，建筑物不存在后编码也将不再用于其他建筑物。为全市各委办局以建筑物编码作为关联条件，将人口、法人、国民经济等数据进行共享奠定基础，此次普查的单元总数量为951个，划分后单元的平均面积为 2.69 km2，其中最大单元为 23.29 km2，最小单元为 0.134 km2。

3.2 建筑物外轮廓初级实体化

建筑物外轮廓矢量数据是建筑物普查成果的空间化体现。这里提出了技术原则：在内业采集时根据影像分辨率用可识别的建筑间隔确定建筑物“对象个体”(幢)，对单幢建筑按照楼层数的不同作区块划分(幢编号相同)，城市建筑区分塔楼和裙楼，农村建筑不做区分，权属、楼层数及用途等未知的信息预留待外业调查时补充。由于成本和效率的原因，建筑物外轮廓无法全部依靠外业实测来获取，这里充分利用现有地形图、卫星航空影像、规划竣工、规划设计、规划审批档案等成果资料，通过内业综合提取构建。此外设计了一套建筑物外轮廓实体化构建的技术流程，通过基于影像、人工辅助的建筑物信息提取方法，自动生成了具有建筑物轮廓实体化初级成果，并尽可能在内业阶段收集楼层、结构、用途等属性信息。这些成果将作为进行外业调查后续工作的数据基础与参考依据，其包含信息越丰富，外业调查的效率和准确性就越高。

4.1 网络爬虫爬取数据原理

网络爬虫技术，可以让研究人员通过设定需求条件，自动化地从互联网中获取研究者关心的数据内容，并将这些数据内容“爬取”下来进行一定程度的形式化、格式化整理，形成相关主题的数据资源。利用这些“爬取”下来作为数据源，可以进行更深层次的数据分析，挖掘出更多有价值的信息。网络爬虫技术的出现，最大化地减少了人工参与过程，一定程度上可代替人工访问相关主题的网络资源，并且，相比传统人工操作效率更高。

4.2 建筑物信息爬取方法与数据成果

结合项目对速度和精度的要求，并且经常需要修改部分采集代码，这里通过对比PHP、Java、C/C++、Python等几种网络爬虫的程序语言，最终选取了采用Python语言编写爬虫，主要考虑Python语法优美、代码简洁、开发效率高、支持的模块多，相关的HTTP请求模块和HTML解析模块非常丰富。还有强大的第三方工具库爬虫Scrapy，以及成熟高效的Scrapy-redis分布式策略，在调用其他功能接口时也相对方便。

利用爬虫技术从互联网中抓取与贵阳市建筑物相关的网络数据，主要来源于互联网地图平台，包括高德地图、必应地图中发布项目范围内的POI(兴趣点)数据、建筑轮廓数据等。POI兴趣点具体属性包括：名称、地址、电话、分类(建筑用途)及坐标等信息；
建筑轮廓数据提取使用深度学习算法，从高分影像中提取的建筑物边界。实现步骤如下：

(1)将需要检索的地理范围，划分为若干个矩形区域，比如可划分成10行×10列=100个矩形区域，设每个矩形范围为Ri(i=1，2，3，……100)；

(2)设定需要查找的信息类别S，利用Python程序开发语言，对单个矩形，将设定的矩形范围Ri及信息类别S作为前置条件的进行信息查询检索；

(3)重复步骤2，遍历完成后，可得到整个区域某一类别所有POI的属性数据，如图2所示；

图2 互联网爬取POI数据

(4)对于建筑轮廓数据的提取，使用必应地图中的Maxar和Airbus各个年份的影像数据，通过人工智能学习算法，从高分辨率影像中提取建筑物边界成果。

对获得的最终成果进行测试，可满足以下要求：POI数据的定位误差绝在 10 m以内，可对应至每栋建筑。除精准的定位信息外，抓取的POI数据还有包含有建筑物上述名称信息和地址信息的基本属性外，还对应了“医疗”“文化传媒”“房地产”“政府机构”“教育培训”5个类别，部分数据还包括了较为翔实的地址信息。建筑物轮廓线无偏移，无切割线，可拉升成三维白模展示；
轮廓线属性中包含有建筑层数信息等。经抽样检查，网络爬取的数据准确性符合要求，可用于建筑物基本属性信息的完善丰富阶段工作。

“一站式采集与整理”的建筑物外业调查方式，一方面提高采集人员的在线作业便利性，减轻外业人员的建筑物信息采集的难度，另一方面在不增加外业调查工作时间的前提下，完成数据采集的同时也完成了后续的数据整理及结构化，提升工作效率、减少工作协同流转的时间。随着定位、摄像、传感器与通信、计算芯片等硬件的性能提升，以及开源的GIS平台与数据库功能的扩展与强化，这些技术都可作为移动端应用的基础支撑。这里研制了建筑信息采集外业调查App，从传统的数据采集模式向新的移动采集模式进行迁移，进行建筑物名称、详细地址、结构类型、楼层信息、建筑物用途等相关属性的采集、传输、处理与信息系统综合管理。

5.1 移动应用业务逻辑与设计思路

贵阳市建筑物移动外业调查App设计的业务逻辑是：首先，对于上述工作阶段完成的建筑物外轮廓实体化数据及部分属性数据，以普查任务单元为单位，外业调查人员可以通过网络在线访问，通过符号、图形、表格等多种方式，可以直观地查找目标建筑物的信息的完善程度与准确性；
其次，作业人员通过App的用户界面，可以现场录入建筑物信息，对建筑物外观进行拍摄，实时编辑更新等，要求照片能够充分反映建筑物的楼层信息、外观全貌，将现场采集的信息建立图形与表格、照片的关联关系，最终形成图、表、照片一一对应的数字化普查成果；
之后，通过在线访问方式云端推送到Web服务器、GIS服务器上，保存到共享数据库。最后，对数据库中采集后的建筑物数据，还可以进行分类展示和直观表达，检查与核实外业调查工作。

研制建筑物普查外业数据采集App的思路，是依据建筑物外业调查工作流程为基础，以“云+端”的移动GIS开发模式，基于SOA架构的移动GIS开发通用平台，结合5G移动网络和GNSS导航定位及多种定位方式、流媒体等技术，在开放式移动操作系统上，建立了一套可实现在线地图浏览、定位导航、空间信息采集、管理和分析能力的业务系统。建筑物普查App以面向对象服务的思路，体系架构由四个部分组成：移动终端部分、服务器部分、数据链路传输部分、数据库部分，四个部分分别承载在应用层、服务层、通信层、数据层。

5.2 应用App研制中的关键技术

外业数据采集App在具体的研制实现过程中，基于ArcGIS Runtime SDK For Android的移动开发模式，在Eclipse平台上使用“Java语言+XUtils开源框架”进行二次开发，在ArcGIS系列软件下进行原始数据整理打包及底图制作，并且发布相关服务构成原生及跨平台的地图应用基础，实现离、在线一体化同步机制，从而提高实地普查的工作效率，本次普查拟使用移动终端进行现场信息的采集工作，主要功能包括外业导航定位、现场建筑物外观拍照及基本信息采集。采用的关键技术如下：

(1)多类型传感器数据采集与变换处理。移动应用中涉及GPS、运动姿态、环境、光照等传感器。通过运用最佳拍摄焦距模型实现对焦，并对成果照片进行仿射变换，计算绘制矩形的顶角坐标并进行矩阵变换，实现对有照片的形变处理。

(2)基于数据的在线压缩及流化的地图要素服务。为实现网络访问要素的能力和显示要素所需要的符号系统。通过网络访问在线电子地图(使用geodatabase格式，适用于ArcGIS Runtime下全平台支撑)，结合切片缓存数据结构、照片压缩的技术，适当限制采集时拍摄照片的文件大小，对图片像素较高的照片进行实时压缩处理，减轻数据文件传输负担。

(3)采用多种新型标准协议及第三方库。在标准Active组件与Internt机制的基础上，为保证用户交互的高效性，管理控制不同的软件生命周期，为应用程序运行中不同的组件消息传递设计实现算法模型。这里使用到的工具包括：ArcRuntimeSDKs，ArcGIS Runtime SDK For Android的移动开发包、ArcGIS Server、ArcGIS Online数据集、ArcGIS Engine等。

5.3 移动应用App功能及应用环境

主要功能包括：地图浏览与图层管理、地图快速定位与地图导航、建筑物自动对焦拍照、矢量编辑与属性编辑、在线与离线数据同步、核查轨迹记录与建筑物信息的输出与输入、空间分析与查询、距离与面积量算。界面效果如图3所示。设备运行环境及性能要求为：Android系统；
具备GPS、北斗等卫星定位功能；
具备500万以上像素且自动快速对焦的拍照功能；
电池续航时间要保证外业工作。有开源的ASOP(开源计划)和需要Google授权使用的移动服务GMS。

图3 建筑物普查App用户界面

实践中完成的建筑物普查成果，总计建筑物约45万栋，照片80万张。在内容上包含了建筑名称、详细地址、结构类型、使用期限、建造年代、建筑用途、建筑状态、建筑层数、建筑高度、地下室及附属设施、停车位数、基底面积、总建筑面积等建筑物基本信息，建筑物空间精度满足 1∶2000地形图精度要求。

建筑物普查的成果还可应用于城市管理领域，在后续阶段，项目组依托生产成果研制了“贵阳市违法建筑物监测平台”在线系统。违法建筑物监测平台采用全新的“D2C”平台，从数据生产到展示统一由“D2C”平台提供。系统前端采用“Html+Css+JavaScript”技术框架，统一调用“D2C”平台接口进行数据操作及展示；
数据管理子系统为基于ArcGIS 10.2的JAVA接口开发实现。系统逻辑结构包括4个部分：

(1)基础层。包括硬件设施、软件设施和安全网络设施，为平台运行提供基础支持。

(2)数据库层。包括业务数据、空间数据，其中业务数据包括违法建设信息和违法用地信息；
空间数据包括电子底图、影像底图、规划数据、国土数据、违法图斑数据等。数据通过加工入库，最终形成空间数据库。空间数据库主要存储空间数据。

(3)中间层。第三方的中间衔接工具，如ArcGIS Server等。

(4)应用层。分为数据管理、分析应用、公共应用、违章巡检4个子系统。数据管理子系统基于ArcGIS平台，数据库采用Oracle，用来维护管理建筑物现状信息、各时期的影像、专题数据。分析应用子系统用于统计、分析全市的土地利用、建筑物占比、绿地占比等信息。公共应用子系统供全市居民与其他单位查询不涉密的违章建筑信息和其他信息。违章巡检系统是移动应用程序，供执法人员通过智能移动设备巡查、核实建筑物违章详细。

平台首页界面如图4所示，平台分为工具栏和信息展示区，工具栏包含整个平台功能模块的使用，信息展示区展示了分析以及统计的主要量化指标参数，地图页面则以列表的形式展示不同功能列表以及工具展示区，并提供搜索、下载等常用功能。

图4 应用平台首面界面

在现有成果基础上，根据不同的应用场景和需求，按照体块三维模型、简单三维模型、精细三维模型的层次，对城市进行直观地展现，既全面体现贵阳市建筑物的总体特征，又充分体现单体建筑的精细特点。相对于直接进行城市三维模型的建设，大大节约投资，提高了政务质量和效率。

针对贵阳市城区典型的山地城市的建筑分布的特征带来的实地调查工作的一些难题，这里综合运用了基于网络爬虫建筑物信息抓取、研制外业调查App等关键技术，结合普查单元的科学划分、三维场景可视化等多方面技术，完成的45万栋建筑物普查成果，包含了13类等建筑物基本属性及多媒体信息，满足了贵阳市建筑物普查的时间要求、信息完整度要求、数据精度要求，可为多部门各领域的应用提供支撑。此外，依据贵阳市网格管理单元对每栋建筑物进行统一的、唯一的编码将伴随建筑物的生命周期，作为建筑物“身份标识”，可为未来智慧城市等建设中人口、物流、经济指标等数据信息共享关联提供基础支持。在获得的数据成果基础上，根据不同的应用场景和需求，按照3级精度的三维模型的层次，从贵阳市建筑物的总体特征，到单体建筑的精细特点，都实现了直观地展现，为未来“虚拟城市”建设提供了方法基础。

对于本项目形成的成果，下一步的研究方向是：通过按周期获取的高分辨率航空航天遥感影像，通过几何特征与纹理特征的变化，动态监测建筑物的变化情况，实现季度、月度的“动态增量更新”。此外，结合城市网格化管理工作机制，加强与网格管理人员之间的信息互换与共享，争取及时获取建筑物部分属性的验证、更新与确认，实现多部门、常态化、低成本的建筑物普查信息的动态更新机制。

猜你喜欢外业贵阳市普查立即全面普查 警惕二代粘虫发生今日农业(2022年13期)2022-09-15胡春华强调：确保脱贫攻坚普查取得圆满成功今日农业(2021年4期)2021-11-27基于移动 GIS 的公路工程外业调查系统研究西部交通科技(2021年9期)2021-01-11Couple"s dance helps lift spirits of millions疯狂英语·新读写(2020年9期)2020-09-23基于无人机和全景技术的“空-地”联合公路设计外业调查方法山东交通科技(2020年3期)2020-08-05基于市政管线外业采集命名规则和辅助软件开发智能建筑与智慧城市(2018年11期)2018-11-28关于贵阳市低碳交通发展路径的探讨消费导刊(2018年8期)2018-05-25天津市第一次全国地理国情普查外业调绘核查中国资源综合利用(2017年2期)2018-01-22离贵阳市区最近的滑雪场 高坡滑雪场乡村地理(2017年4期)2017-09-18关于农业文化遗产普查与保护的思考自然与文化遗产研究(2016年2期)2016-05-17