内容简介

随着物联网、5G、移动互联网等新一代信息技能的快速发展，时空数据呈现爆发式增长。
与图像、文本和语音数据比较，时空数据常日呈现出独特的时空特色，包括空间间隔和层次性，以及时间靠近性、周期性和趋势。
时空人工智能是针对时空数据建模的专有人工智能技能，广泛用于交通、土木工程、环境、经济、生态和社会学等城市干系的交叉科学领域。
本次讲座首先先容时空人工智能的观点，从打算机科学的角度谈论其总体框架和紧张寻衅。
其次，我们将时空人工智能的运用分为四类，分别是建模时空轨迹数据、时空网格数据、时空图数据和时空序列，以及各个种别中的代表性场景。
我们之后重点描述了我们在上述四类数据的方法论上的最新探索和进展。
末了，我们展望时空人工智能的未来，对未来有代价的研究方向进行了磋商。

What is Spatio-Temporal (ST) Data?

科学技能的进步引起大量时空数据的涌现，在环境、交通等领域都有大量的时空数据产生，由韶光、位置和详细的事宜构成。
时空数据反响的是在哪里，在何时会发生什么事情。

Motivation

如果我们对这些时空数据建模的话，我们会创造他们是现实中很多事情的根本，有助于帮助环境、城市、人类达到一个三赢的策略。

My Research Focus

我的研究关注的是若何去利用时空数据的一些领域知识，并利用AI技能去抽取个中的一些特色和详细知识，从而帮助大家进行一些下贱任务的运用，比如聪慧交通，环境保护。

Spatio-Temporal AI

What is it?

Spatio-Temporal AI

General的AI紧张是针对一些打算机视觉和NLP的任务，比如说人脸识别、措辞识别和机器翻译。
在我们城市数据中，如果我们利用到一些时空的AI技能，紧张会进行一些对交通建模、失火的提前预警、动态的救护车调度。
时空的人工智能紧张讲述的便是一个专有的AI技能用来培植时空数据。

Spatio-Temporal AI

Why is it?

Characteristics of ST Data

说到时空数据的特性，首先是和空间干系。

（1）Spatial property

和空间干系的有3种property，分别是空间的附近性、层次性和间隔，如下图所示。

（2）Temporal property

时空数据和韶光也有关系，是附近性、时令性和趋势，如下图所示。

我们从智能城市中常日可以获取大量的时空数据，将这些加入时空技能就会形成时空的AI，再将学到的知识反馈给聪慧城市，就能起到匆匆进下贱任务的效果。
这便是我们所说的时空人工智能。

Spatio-Temporal AI

How to do it?

Modeling Pipeline of Spatio-Temporal AI

我们在这里先展示一个较为general的思路。

首先是从城市中获取到大量的原始时空数据，有大量的POI兴趣点、路网以及轨迹数据。
然后我们进行了一些data transformation将其转化成了人工智能方法更随意马虎理解的数据类型，如ST Trajectory，ST Grid Data，ST Graph和ST Series这 4种数据集。
当我们有了这4种datasets之后，我们就可以进行人工智能的方法建模。
这里有两种建模思路，一种是基于普通的机器学习方法，我们常日会结合一些工程上的手段去抽取一些有用的feature再进行机器学习方法的建模；一种则是直策应用深度学习的方法，以避免利用繁芜的工程手段。

Deep Spatio-Temporal Neural Networks

这种深度的时空神经网络相对付普通的机器学习一样平常有以下三个优点：

（1）Larger capacity

（2）Automatic feature extraction自动抽取特色

（3）Friendly to cross-domain data fusion，如外部环境成分

个中，涉及到的Basic building blocks紧张有4种，如下所示：

（1）Multi-layer perceptron (MLP)

（2）Convolutional neural networks (CNN)

（3）Recurrent neural networks (RNN)

（4）Attention models, e.g., Transformers

既然已经建模好了方法，我们就可以去对下贱任务进行建模。

Popular Tasks in Spatio-Temporal AI

我们在这里列出了6种紧张的下贱运用。

Our Methodologies & Applications

我们的时空数据中有这么多种不同的类型，各种类型都有其自己的寻衅和建模的思路。

因此，我们对上图中这4种不同的数据都提出了方法论，下面将对其进行阐述。

Modeling ST Trajectory

第一个例子是我们如何运用深度学习方法去对时空轨迹进行建模。

Definition of ST Trajectories

我们首先给时空轨迹一个形式化的定义，即一个移动中的object且由一系列GPS点构成。
每个GPS点是由3个维度构成，前两个描述的是详细位置包括经纬度。
末了一个维度讲的是在什么韶光段可以得到这个点。

我们在这一节紧张谈论的是，给出一条轨迹，我们要若何去学习每个点的更好表示。
这个表示也会运用到下贱任务之中，包括轨迹分类、轨迹预测。

Challenge – Trajectory Irregularity

我们回顾一下现有的方法，如RNNs是现有的一种较为前辈的方法，尤其是用于建模这种轨迹。
一个比较大的问题在于，他们会去假设在每两个unit之间的间隔是等量的，但是轨迹却是一个非均匀采样。
循环神经网络RNN只能考虑到一些等间隔，我们创造非均匀采样会对RNN造成一个很大的问题，即两个点之间间隔较大的情形会造成两个点之间有着较大的不愿定性，也会对我们的建模事情造成很大影响。

TrajODE: Continuous Trajectory Modeling

2021年的这篇工为难刁难轨迹实现了连续的建模。
我们利用常微分方程去遍历一个连续的方法完成建模，肃清了不愿定性。
这个TrajODE紧张由3个component构成，第一个component是时空的常微分方程ST-ODE encoder。

由上图可见，我们对每个原始轨迹点前辈行一个大略的feature retraction，之后得到了每个点的大略表示。
我们再把这个大略表示放入我们提出的时空常微分方程之中，就会对每个非均匀采样点之间的轨迹进行一个连续化的建模。
这也是第一步。

Spatio-Temporal ODEs

我们把普通的RNN和神常常微分方程结合，从而可以得到两个点之间的连续状态。
同时，我们会考虑到两个点之间隔了多少韶光和间隔来更新hidden states。

下面的图解释了我们和普通RNN和ODE的差异。

如上图(c)所示，在我们的时空常微分方程中，不仅具有两个点之间的连续性，还可以根据新来的状态来改变我们的状态。

详细我们是如何设打算法的呢，将不才面用算法图来解释。

（1）利用LSTM将每个input初始化到hidden state中，以防止梯度消逝。

（2）我们给出了每一步的状态，通过常微分方程打算得到下一步的状态，并得到两个点之间每个点的状态。

（3）每当我们拿到一个新的点就用ei表示，然后与ODE打算得到的状态做一个领悟。
我们采取Spatio-temporal gating mechanism的办法进行领悟，同时考虑到两个点之间的韶光间隔和空间间隔。

（4）末了一步是在当我们得到这一步的hidden state之后，就可以利用MLP得到这一步的输出。

TrajODE: Continuous Trajectory Modeling

当我们已经建模好整条轨迹的连续化状态之后，我们就会进行一个后验分布的approximation。
由于现实之中的轨迹很繁芜，以是我们不能在预测后验分布的时候不能利用大略的高斯分布。

我们通过学到的状态天生一个大略的高斯分布，然后经由一个连续的标准化流天生一个non-Gaussian分布且能够更好的描述轨迹的状态。
末了，我们会把状态进行一个reconstruction的任务。
这也是我们的第一个loss function。

第二个loss function由详细的下贱任务指定，我们在这里是利用轨迹分类作为一个案例。

Ablation Study

之后我们对连续化这一点做了一个Ablation Study，结果如下图所示。

通过这些比拟，我们可以创造如果我们考虑到两个点之间的连通状态，会对我们的准确率带来3%-5%的提升。
同时，我们还对规复效果进行了研究，结果如下图所示。

TrajFormer: Efficient Trajectory Modeling

我们创造我们提出的ODE方法也有一个很大的缺陷，由于我们要推断两个点之间的连续性，以是造成其会比常日的循环神经网络RNN慢10倍。
因此，我们又提出了一个Transformer-based model去提升效率。

How to Capture Irregularity in Transformer?

我们要怎么在Transformer考虑到轨迹的不规则材料呢？我们首先用Continuous Point Embedding方法扩展到连续的情形下，这里的连续是同时对韶光和空间知足的。

如上图所示，这样做可能比较繁芜，后续我们将用一个非常大略的图来解释我们是若何考虑到两个点之间的不规则采样的。

比如对赤色点anchor建模，我们只需考虑到局部窗口内的几个点是如何对其产生影响的。
首先，我们考虑到这些点相对赤色点的时空间隔并通过矩阵的形式列出来，然后对这个矩阵打算。
我们可以经此用神经网络拟合出一个连续化的kernel，然后将其运用到这几个点并相加，得到的便是一个连续的卷积，从而考虑到他们之间的时空相对间隔，也就想到了轨迹上的不规则采样。

Conclusions on ST Trajectories

（1）现有的AI方法如CV和NLP领域的不能直接拿来用，不一定是建模轨迹的最好选择。

（2）轨迹建模中最主要的成分该当是irregularity这个成分。

（3）我们做的一贯是如何将irregularity这个domain knowledge结合到AI方法之中。