网络钓鱼是任何企业安全团队的最大和最困难的挑战之一。这是安全的大均衡器;我们都必须处理它。很好地执行的网络钓鱼攻击可以欺骗人们制作简单且昂贵的错误。

防止这些网络钓鱼活动的方式是部署商业入侵检测解决方案，该解决方案分析了沙箱中的有效载荷，在那里可以在到达员工的收件箱之前安全检查。这是当今市场上可用的大多数电子邮件入侵检测系统（IDS）的核心竞争力。

在Uber，我们决定建立自己的电子邮件ID，原因是几个原因：

• 以价格，可扩展性和性能推动运营效益
• 要完全控制特征和警报，因此我们可以实时调整到不断发展的威胁
• 捕获用于调试入侵警报和超级电子邮件处理的高级洞察

操作福利推动了许多我们的设计选择，从决定在基于云的Web托管环境中建立它。例如，Amazon的AWS具有包含SES，Lambda Worker，S3存储桶，VPC，少数EC2主机，MEMCACHED群集和ELASTICALCEXALLEX群集的本机组件。使用按需平台使我们在何时以及如何使用IDS时提供灵活性，同时通过所有时间不运行处理和成本。亚马逊SNS为我们提供一种可扩展的方式来管理队列。

我们的电子邮件ID反映了优步的MicroService架构。与我们的整体架构一样，IDS将每封电子邮件分成几个块，并通过各种按需管道并行分析这些作品。我们还利用了市场的现有工具和服务，如云的服务和各种内部分析服务。例如，我们在EC2中使用整个自动沙箱以及替代云的沙箱。此架构策略使我们有机会探索新的安全服务，同时调试，开发新功能以及在现有管道中的性能。

快速可靠

解决速度和性能是优先权的优先级。许多商业IDS解决方案提供了可比的分析功能，但它们通常是黑匣子，因此我们几乎没有进入其运营的调试洞察力。我们构建了两个版本的ID版本，以确保在测试和开发新功能时进行电子邮件可用性。这两个实例都运行了带外，而不是延迟通过分析时间延迟电子邮件。一个版本在生产中运行;另一个用于测试。以这种方式，我们可以根据我们在野外看到的攻击和趋势，不断开发和集成新的功能和警报逻辑进入我们的ID。然后，我们的生产实例能够在其中一分钟内登陆员工的收件箱中的警报和删除电子邮件。

通过利用大型网络托管服务的现有能力，我们能够快速移动，而不是开发自己的一切。Elasticache的本机Memcached Service重新数据删除了某些处理事件，从而加快了我们处理广告系列和大型自动批量电子邮件的能力。接下来，本机Elasticsearch功能使我们集中我们的相同信号进行广告系列和影响分析。这不仅有助于我们识别网络钓鱼活动，还可以减少在我们获得警报之前处理信息所需的时间。我们量身定制了受欢迎的人gam图书馆进入我们自己的图书馆，绰号Supergam。当我们的电子邮件ID标记恶意电子邮件时，我们的上下文自动化平台使用SuperGam在员工读取之前自动删除电子邮件。此外，在Metrics上自动监控 - 包括Uptime指标和警报 - 给我们预警系统，以便在它们仍然很小时，我们可以解决电子邮件ID中检测到的任何错误。

未来证明

对于我们建造的解决方案的重要期望是由于公司的增长和威胁发展，因此能够扩展和适应的能力。因此，我们的电子邮件ID旨在具有高度可扩展性并满足未来的变化。例如，由于我们设计了我们的LAMBDA功能，我们可以轻松连接或切换其他供应商产品或内部服务。这是一个重要的是更多的人具有独特的专业知识加入我们的团队，因为我们可以轻松插入他们带到桌面的任何工具或管道中。

此外，我们ID的微服务架构可以分开，并发分析。这意味着我们团队的专业成员可以讨论与其特定领域专业知识相关的IDS的各个组成部分。例如，在逆向工程中培训的有人可以在二进制分析工具上工作，而其他人则对专用于威胁英特尔的组件工作，另一个人在自然语言处理中工作。此设置允许我们在团队开发的其他微服务中串联更新和优化系统的每个部分。

成本效益

建立自己的解决方案将年度成本降低到商业解决方案价格的一小部分。通过基于云的存储服务，如AWS，我们可以密切监视成本并根据我们的需求立即进行调整。例如，我们基于标签生成金融报告以确定特定组件的成本。除了提高分析速度之外，在降低处理成本之前提到的重复数据删除努力。

我们还将多个英特尔供应商解决方案与我们的ID一起运行，以额外检查威胁情报和电子邮件上下文。These are services we’re already paying for in other parts of the organization, so connecting them to IDS extracts even more value from those existing contracts, giving us additional temporal alerts regarding email senders, domains, and IP addresses being used in current attack campaigns.

可扩展性和超越

使用可扩展平台，您可以不断探索并添加新功能，因为在团队中开发了微服务，例如自然语言处理，DOM组件分析的分析，甚至是URL分析引擎。例如，我们计划添加高级静态分析管道，这需要强大的逆向工程功能。我们还不断完善我们的威胁情报来源和应用。通过这种设计，我们可以进一步开发规则文件的抽象，以将警报逻辑与基础结构分离，目的是共享规则或稍后打开基础架构代码。无论哪种方式，平台仍然可定制并与团队增长，使其成为我们的安全响应团队的宝贵资源。

丹博尔斯是Uber安全工程团队的事件响应工程师。

我们继续聘请并发展我们的安全工程团队。访问我们职业问题用于安全工程开口。