作者|阚长城
编辑|张慧芳

标题|站得又凉又宽
几千年的人类文明催生了城市的发展,计算机和复杂科学给我们带来了一种新的资源——大数据。罗马不是一天建成的,人力和时间的成本是巨大的。但是想象一下,如果有大数据,罗马的建成可以缩短多少天。现在城市里隐藏着大量的数据,那么都是些什么呢?如何被开发利用?大数据如何辅助企业选址?
11月29日,在数据人实验室,地图RD高级工程师阚长城介绍了如何开发利用time 空地理大数据,并结合颜回的商业案例,讲解了大数据在商业选址中的应用。这篇文章是他演讲的记录。
大家好,我今天的分享主要在以下三个方面:
介绍基于Time 空大数据的Time 空大数据以及基于Time 空大数据的人工智能技术在城市规划中的应用案例
▍地理时间空大数据
交通流量、气象信息、地理信息、手机信号都是时间空数据。Time 空数据具有时间和空的属性,时间的属性主要指时间的变化和不变;空之间的属性一方面指空之间的位置,另一方面指空之间的级别和距离。
在现实世界中,80%以上的数据都与地理位置有关,数据量非常大。Time 空数据来源很多,数据多样,异构。
定位器数据
移动互联网时代的定位是基础服务。外卖、打车、购物,甚至视频等app都需要通过定位来提供相应的服务。比如墨迹天气会根据位置显示天气;根据视频位置推荐一些相关视频。
定位有各种类型,包括卫星、基站、Wifi和地磁。基于卫星的定位,典型的是GPS定位,优点是精度高,缺点是被高楼或室内遮挡时定位精度差。所以手机APP一般不会直接使用GPS定位,而是使用综合网络定位。
基于地图的这些定位能力,开发全面的网络定位服务,通过SDK为开发者提供定位服务。而且高精度定位技术难度大,门槛比较高。
位置服务主要从三个层面提供:
APP层面:通过SDK提供外部定位服务;器件级:提供系统级定位芯片级。
短期定位可以体现人流的聚集和热度。比如左图是北京某段时间的热量图,可以清晰的区分出不同车流量的区域,右图是南京东站每天的热量变化。可以看到,人们从0点开始聚集,12点人数最多,下午人较少。位置数据可以非常直观地反映交通流量的变化。
旅行OD
基于用户每天900亿次的位置轨迹数据,我们可以挖掘他们的出行OD。对于长途跨城旅行,我们做了一个迁移,对应下图左边第一个图。中图为郑州及周边地区的出行OD,右图为青岛某交通小区的出行OD。
常驻人口
基于用户的长期位置和POI等相关数据,挖掘中国超过13亿的常住人口数据。
用户画像
从人的自然属性、社会属性等不同方面360度刻画产量超万级的标签。
兴趣点数据
POI可以反映一个地区的经济发展水平和活力。比如下图,左边是北京二环五环内的餐饮POI。对比发现,二环内的POI显著高于五环内的POI,说明POI的分布能够反映区域竞争业态。右边是利用POI和人的活动模式挖掘出来的功能区域,很大程度上可以刻画空所承载的功能。
路况大数据
路况可以清晰的反映路网的运行状态,比如什么时候什么地方堵车最多。路况的数据挖掘基于公共数据、行业数据、卡口交通视频等。,并通过使用AI技术获得。目前路况已覆盖全国400多个城市,城市及城际道路覆盖率超过99%。
▍时间空大数据的应用
城市地理理解
首先基于地图时间空大数据,从空不同粒度进行建模,产生空不同层次的地理要素。空之间的层次是从宏观到中观再到微观。
宏观层面:根据人口迁移和常住人口流动数据,识别城市群,评估城市的重要性。中观层面:基于定位数据,评价城市副中心发展绩效,基于全景评价街道品质。微观层面:以地块粒度为基础,进行城市功能区的发现。功能区开采的动力和挑战
一般城市规划期在5到10年左右。在规划之前,往往需要了解现状,规划之后的效果,以及如何跟踪。传统方法耗时长,效率低。基于地图POI、人口和人类活动数据的城市土地利用功能识别,可以在短时间内识别出我国城市的土地利用功能。
地理空中的POI可以反映一个地区所承载的功能。比如反映一个地区承载着科研和教育的功能,不同功能区的人的活动模式也是不同的。举个例子,如下图所示,平时人们九点出门,工作日下午五六点回家。兴趣点和人们的活动模式之间存在潜在的语义信息。
但是在挖掘的过程中也有很大的挑战:
模型方面,整体上样本数据少且难以获取,分类问题转化为无监督模型;特点,有区别。对于POI类别不均衡的问题,比如餐饮POI多,但是景点POI少;同一种兴趣点具有不同的重要性。比如上图,黄焖鸡和全聚德同属一个地区,但重要性却大相径庭。在特征设计上,首先通过路网数据将城市划分为地块,然后通过地块进行特征提取,利用tf-idf计算不同类型POI的重要性,比如降低餐饮POI的重要性,然后增强景区POI的重要性。对于相似POI重要性不一致的问题,我们可以用POI在地图上搜索热度。这样,每个区域对应于各种POI的重要性的向量。
其次,活动方式的特征设计将一个人的行程定义为出发目的地和出发到达时间,地域之间的联系和时间构成了文档中的文字。
在模型设计中,第一,问题转化。
通过将区域类比为文档,将区域所承载的功能类比为文档的主题,将活动模式类比为一个词,然后将区域POI的重要性转化为文档的元信息。
第二,主题发现,地块语义标注。
基于情节的POI向量和活动模式,利用改进的LDA算法发现区域函数,然后进行话题聚类,基于情节中各种Poi的重要性排序进行语义标注。最后得到最终的挖掘结果图。
通过测评和应用发现,第一,实际调查显示准确率为87%。
第二,专家知识。发现了宁波城市功能区,并与宁波市规划院的一些专家确认其准确率较高,结果超过85%。
第三,规划现状。对比目前的规划情况,发现符合预期。
右上角的数字统计了各类POI在各类功能区中所占的比例。发现住宅、商业、商业用地对应的POI类别前三位是一样的:都是公司、住宅、商业。说明居住、商业、商业POI相关性较强,混合用地的情况较为突出。
在土地混合度的评价中,信息熵可以用来衡量土地混合度。图的左上角显示了地块的信息熵分布。从图中可以看出,北京中心城区土地利用混合度是偏态的。
因此,土地利用混合度是有规律可循的,进而可以对土地利用混合度进行建模。

土地利用混合度空之间的分布如下:
土地利用混合度向外逐渐降低,在空之间的土地利用混合度分布呈现单中心结构。离城市中心越远,土地利用混合度越低。在土地利用混合度的建模上,表现为:
发现土地利用混合度与距离的关系符合指数衰减模型,并得到了指数两边的对数。利用线性回归模型对土地利用混合度和距中心的距离进行分析,发现郊区土地利用混合度波动较大。这是因为郊区有副中心城市和卫星城镇,整体上呈组团式排列,用地混合度空分布不均导致下图。通过segnet/unet全卷积神经网络,将图片分为路面、天空空、树木、建筑物等十余类。然后利用地理模型和机器学习算法挖掘街道场景的特征及其在空之间的分布规律。
首先,利用该算法对全景图进行语义分割。上面的图像是语义分割的结果,显示了每种元素的比例。然后,利用热点识别算法提取整体意图,利用无监督聚类算法分析街道特征。结果分析如下:
通过聚类分析,根据各道路上各种景观元素的比例,将道路分为:
交通导向型建筑-景观密集空开放元素、均衡绿化、优绿、林荫型
城市群的发现首先需要分析人口迁移的数据,发现人口迁移是不均衡的,胡焕庸线以西的人口迁移规模和密度明显低于东部。
通过对各省迁移数据的分析,发现各省人口吞吐量极不均衡;有广东、江苏、河北等人口流动性较大的省份,也有福建、甘肃、宁夏等迁移规模较小的省份;空,短期人口流动强度比较大;迁移规模的大小不仅与该省的人口基数有关,还与该省的区位、经济建设水平和区域发展状况有关。
此外,关于城市群圈定的原则有以下几点:
城市之间的联系足够强大。城市群中的城市必须在空中相邻,但城市群中的城市不一定在空中直接相邻。在挖掘城市群时,可以使用K壳分解算法,基于人口迁移数据进行挖掘。
基于迁移和常住人口流动数据,采用PageRank算法进行挖掘。结果表明,北京、上海、广州、深圳和成都是短期人口流动的关键节点。东部沿海地区短期人口流动呈现“地带性均衡”格局;中西部地区短期人口流动呈现“节点驱动”模式。
城市人口理解
城市人口理解,基于地图出行位置大数据,挖掘人口在不同时间跨度的个体和群体特征。我们针对人口的瞬时流动来预测人的流动,针对人的短期出行来挖掘城市内的OD和跨城市迁移,基于人的长期位置信息来挖掘常住人口。
在交通流量预测上,我们知道每隔几年就会发生一些踩踏事故。如果能提前知道热门区域的车流量,就可以避免踩踏等类似的事情。同时,交通流量预测在公共安全和交通管理领域也非常重要。但预测人流量也存在问题和挑战:特征表达的挑战,时间和空之间的特征和异常因素的挑战,如天气、节假日等原因;在模型方面,传统的时间序列模型很难对时间空特征和异常进行建模。
在模型的设计中,人流量的预测可以转化为图像领域的问题。
在求解时间特征和异常因素时,基于2017年的定位轨迹、地理属性和异常因素建立模型,将城市划分为网格,将定位数据投影到网格上,计算每个网格的流入流出人数。同时考虑POI热度,即将城市转化为地图。网格相当于图中的像素,网格的流入流出相当于图中的通道。交通流量空的相关性相当于一个图片中像素之间的关系,多个时间点的数据对应多个图片。如下图所示:
把最近几个图的数据放在上图的残差网络模型中模拟时间的接近性,把时间对应的交通流量放在网络模型的中间模拟时间的周期性。最后,通过网络整合和外部因素得到整个网络架构。
另外,在求解空之间的相关性时,可以用CNN卷积运算来捕捉空在不同距离上的相关性。多层卷积用于捕捉远处区域的相关性问题,深度残差网络用于解决网络的深度训练问题。
如下图所示,损耗分布中,损耗在15%以内的网格超过85%;在预测效果评估中,通过对回龙观地铁站等常规区域和今年林俊杰演唱会等非预期场景的交通流量预测,模型的预测精度极高。
关于常住人口,传统的全国人口普查成本高,更新周期长;基于基站位置数据的计算,只依赖于时间属性,数据有badcase。比如互联网公司有加班和三班倒的现象;居住区也会有退休人员。
以下是常驻点挖掘流程:
第一,地图标注用户六个月的定位数据;
其次,基于定位数据,识别停车点,去除道路上其他地方的噪声。
第三,使用DBSCAN空之间聚类算法获得聚类;
第四,提取聚类特征,通过挖掘机器学习分类算法,获取用户的居住地、工作地和常去地信息。
实验结果表明,该分类算法的准确率和召回率约为90%。
下图就是一个例子。青岛人口误差率小于5%,天津相关系数约为0.85,通勤距离差异为4%。
有了人口、人家、公司的数据,结合用户画像的数据,就可以评估学校、医院等公共设施的配置,公园、绿地的使用效率,任意区域的职住平衡,通勤等。
通勤是交通规划中非常重要的内容,通勤OD和通勤方式与早晚高峰的拥堵密切相关。以下是通勤挖掘的流程:
左下角的图显示,骑行和步行以短途出行为主,公交和地铁以中长途出行为主,说明通勤距离对用户选择通勤方式非常重要。
最后通过不同的算法,从整体的准确召回率和各种通勤方式的准确召回率两个方面进行评测,发现准确率在85%左右。
我们来看看各种通勤方式与土地组合、地铁站分布、路网密度的关系。
左图是空之间的土地利用混合度分布。颜色越红,土地利用混合程度越高。右图是机动车通勤空的分布,越红表示这个空房间内乘坐机动车通勤的人比例越高。从图中可以看出,北京中心城区土地混合度高的地方机动车出行量低,土地混合低的地方机动车出行量高。
基于用户家和公司在全网的坐标以及通勤方式的数据,可以挖掘出每个用户的通勤距离和时间。
如下图,通勤距离,平均来看,城市居民通勤距离分布呈现长尾型,即随着通勤距离的增加,对应人群比例相应减少;近80%的城市居民平均单程通勤距离在10km以内。
通勤时间,平均而言,城市居民通勤时间分布呈现长尾,即随着通勤时间的增加,对应人群比例相应减少;近80%的城市居民平均单程通勤时间不到50分钟。
▍商业选址案例
商业选址流程
首先,宏观区位的选址,包括商圈和聚集点的确定,可以利用人口分布、交通线路、居民构成、素质、分布等数据进行选择。
其次,微观位置位置主要是指商铺的具体位置,可以通过楼层品牌组合、商铺客流线路来选择。
第三,对等店铺选择,主要是利用相似度来选择对等店铺。
销售评估
根据同行店铺的访问频率和抓取率,做销售预测。

注:以上内容根据数据人在线实验室嘉宾阚长城演讲实录整理。图片来自其现场PPT,已本人审核。
加入数据人
本文数据人阚长城,地图RD高级工程师,主要从事机器学习、深度学习、time 空大数据行业应用等领域,先后获得6项大数据行业应用相关专利。
加入数据人
“数据人计划”是由第一财经旗下DT财经发起的数据社区,包括数据人专栏、数据人实验室系列活动、数据人联盟,旨在汇聚大数据领域精英,共同挖掘数据价值。
免责声明:本平台仅供信息发布交流之途,请谨慎判断信息真伪。如遇虚假诈骗信息,请立即举报
举报














