本文是一系列解释优步如何利用预测来打造更好的产品和服务的文章中的第一篇。近年来，机器学习、深度学习和概率编程在生成准确预测方面显示出了很大的前景。除了标准的统计算法，Uber还使用这三种技术构建预测解决方案。下面，我们将讨论我们使用的预测的关键组成部分、流行的方法、回测和预测间隔。
预测是普遍存在的。除了战略预测之外，如预测收入，生产和支出，跨行业的组织需要准确的短期，战术预测，如需要订购的货物数量和所需的员工人数，以保持其增长。不令人惊讶的是，优步利用预测几种用例，包括：
- 市场预测:市场预测是我们平台的一个关键元素，它使我们能够以时空精细粒度预测用户供求，在司机合作伙伴出现之前将他们引导到高需求地区，从而增加他们的出行次数和收入。时空预测仍是一个开放的研究领域。雷竞技是骗人的
- 硬件容量规划：硬件不配置可能导致可以侵蚀用户信任的中断，但过度配置可能非常昂贵。预测可以帮助找到甜蜜的地方：不是太多而不是太少。
- 营销：了解不同媒体渠道的边际有效性，同时控制趋势，季节性和其他动态（例如，竞争或定价）。我们利用先进的预测方法来帮助我们构建更强大的估计，并使我们能够在规模上进行数据驱动的营销决策。
什么使预测（在优步）挑战？
优步平台在真实的物理世界中运作，其中许多行为不同的行为和兴趣，身体限制和不可预测性。物理限制，如地理距离和道路吞吐量从时间到时空域移动预测。
虽然一个相对年轻的公司（八年和历史），优步的超生长使我们的预测模型与我们运营的速度和规模保持速度，这一点尤为重要。
下面的图2提供了一个城市14个月的Uber出行数据的例子。你可以注意到很多变化，但也有一个积极的趋势和每周的季节性(例如，12月通常有更多的高峰日期，因为主要节日分散在整个月的绝对数量)。
如果我们放大（下面的图3）并切换到2017年7月月的每小时数据，您将注意每日和每周（7 * 24）季节性。你可能会注意到周末往往更忙碌。
预测方法需要能够模拟这种复杂的模式。
突出的预测方法
除了定性方法外，定量预测方法可以分组如下：基于模型的或因果传统，统计方法和机器学习方法。
基于模型的预测是当潜在机制或物理学的最强烈的选择是已知的，因此它在优步的许多科学和工程情况下是正确的选择。这也是通常的方法计量经济学，不同于不同理论之后的广泛模型。
当潜在机制不知道或过于复杂时，例如，股票市场，或不完全知道，例如，零售销售，通常更好地应用一个简单的统计模型。属于此类别的流行古典方法包括阿玛玛（自动增加的综合移动平均线），指数平滑方法，如Holt-Winters，以及θ方法，它不太广泛使用，但表现得很好。实际上，θ方法赢得了M3预测竞争，我们也发现它在优步的时间序列工作（而且，它是计算便宜)。
近年来，机器学习方法，包括大分子回归森林（QRF），众所周知的随机森林的堂兄，已成为预测器工具包的一部分。经常性神经网络（RNN）如果有足够的数据，尤其是外源性回归流器，也可以非常有用。通常，这些机器学习模型具有黑盒式，并且在解释性不是要求时使用。下面，我们提供了流行的经典和机器学习预测方法的高级概述：
| 古典与统计 | 机器学习 |
|
|
有趣的是，一个赢得M4预测竞争的获胜是一个混合模型其中包括受著名的霍尔特-温特斯方法启发的手工编码的平滑公式和一堆膨胀的长期短期记忆单元(lstm)。
实际上，古典和ML方法彼此不不同，但是特征在于模型是否更简单，可解释或更复杂和更灵活。在实践中。经典统计算法往往更快，更容易使用。
在Uber,选择合适的预测方法对于一个给定的用例是一个函数的许多因素,包括有多少历史数据可用,如果外生变量(如天气、音乐会等)中扮演着重要的角色,和业务需求(例如,模型需要解释的吗?)。然而，底线是我们不能确定哪种方法将产生最佳性能，因此有必要在多种方法之间比较模型性能。
比较预测方法
按时间顺序进行测试很重要，因为时间序列排序很重要。实验者不能在中间切下一块，然后在这部分之前和之后训练数据。相反，他们需要在一组比测试数据更早的数据上进行训练。
考虑到这一点，图4中概述了两种主要方法，上面概述：滑动窗口方法和扩展窗口方法。在滑动窗口方法中，一个使用固定尺寸的窗口，在这里以黑色显示为训练。随后，对橙色显示的数据进行测试。
另一方面，扩展窗口方法使用越来越多的培训数据，同时保持测试窗口大小固定。如果有限量的数据，后一种方法特别有用。
也可能，通常最好，嫁给这两种方法：从扩展窗口方法开始，当窗口增加足够大时，切换到滑动窗口方法。
许多评估在这个领域已经提出了指标，包括绝对错误和百分比错误，有几个缺点。一种特别有用的方法是将模型性能与Naive预测进行比较。在非季节性系列的情况下，天真的预测是当假设最后一个值等于下一个值时。对于定期时间序列，预测估计值等于前一个季节性值（例如，对于每周周期性的小时时间序列，天真预测假定下一个值在一周前的下一个值）。
为了让我们的团队更容易地选择正确的预测方法，Uber的预测平台团队建立了一个并行，语言 - 可扩展的重新测试框架，称为Omphalos提供预测方法的快速迭代和比较。
不确定性估计的重要性
为给定的用例确定最佳的预测方法只是等式的一半。我们还需要估计预测区间。预测区间是实际值以一定(通常很高)概率落在两者之间的上、下预测值，例如0.9。我们在下面的图5中强调了预测区间是如何工作的:
在图5中，紫色表示的点预测完全相同。然而，左图中的预测间隔要比右图窄得多。预测间隔的差异导致了两种非常不同的预测，特别是在容量规划方面:第二种预测要求更高的容量储备，以允许需求大幅增长的可能性。
预测间隔与点预测本身同样重要，并且应始终包含在您的预测中。预测间隔通常是我们有多少数据的函数，在该数据中有多少变化，我们预测的差别是多远，并且使用了预测方法。
向前进
预测对于构建更好的产品、改善用户体验以及确保我们全球业务未来的成功至关重要。不用说，我们的数据科学团队有无数的预测挑战需要解决。在以后的文章中，我们将深入研究这些挑战的技术细节，以及我们为解决它们而构建的解决方案。本系列的下一篇文章将专门介绍预处理，这是一项非常重要的任务，但经常被忽视和忽视。
如果你有兴趣：建立尺度影响的预测系统， 申请职务在我们的团队。
订阅我们的通讯跟上超级工程的最新创新。
Photo Header Credit: The2009年太阳能日食，自由岛附近kwajaleinConor Myhrvold的《马绍尔群岛》(Marshall Islands)。
