使用 Instance Fleet 灵活配置机器类型与容量

亚马逊的实例定价模式非常丰富，与按需价格相比，Spot 实例以大幅折扣提供亚马逊云中可用的备用计算容量。当 Spot 需要被回收时，亚马逊会提前两分钟通知，保证 Spot 实例上的任务完成并成功保存

但在实际的客户经验中，我们也遇到过因为 Spot 实例不足，造成任务运行时间超出预期的情况。今天我们将介绍一种全新的实例配置模型，可让您通过一次配置，创建由按需、预留和 Spot 实例组成的队列，它叫做 Instance Fleet，实例队列。

您只需告诉 Instance Fleet 您所需的实例类型、容量和实例单位，Instance Fleet 将会为您处理所有繁重工作。Instance Fleet 将根据需要启动、管理、监控和扩展实例，无需编写代码来管理机器。

今天我们将基于大数据应用的场景来介绍如何使用 Instance Fleet：

首先我们需要明确 EMR 中的三种节点使用模式：

在一个典型的 EMR 使用模式中，有 30% 的应用需要长期运行；55% 的应用为无状态且没有运行时间的硬性需求；另外有 15% 左右的应用为突发需求，可能在任意时间发起并需要快速运算结束。

在这个场景下，需要将预留实例、Spot 实例和按需实例混合部署起来。如果是传统部署方式，需要手动管理多个 Instance Group 来应对计算需求，但使用 Instance Fleet 便可一站解决所有配置难题。

我们现在假设一个工作负载，它的任务实例组需要 64G 内存的机器，一共需要 9999 个 vCPU 单位数量的机器来满足运算需求。

我们都清楚 Spot 实例有被回收的可能，使用相对较低回收率的 Spot 机器类型是必要的需求，可以使用 Spot Instance Advisor 来确认回收可能性最低的机器：

这么大量的运算需要已经超出了通常单一 Spot 实例类型的承受范围，因此我们必须配置多种实例类型来组合满足运算需要，对于每个队列，最多可以指定 5 个实例类型。

同时为了避免整个区域的五种 Spot 实例类型都没法满足需求，我们仍可配置一个超时时间，当超过某个分钟数仍旧申请不到 Spot 实例时，可以切换到按需实例来满足需要。

基于 Instance Fleet，我们仍可配置 EMR 集群的自动扩展来实现动态资源调配，进一步增加灵活度并限制成本。例如，我们可以设置最大和最小的实例单位数，让 EMR 根据当前负载自动缩放；同时可以限制按需实例的数量上限来避免成本失控。

前文中提到核心节点也需要一定的扩展性，我们在核心实例组设置最小的核心实例单位数，在 Cluster Scaling 中设置最大的核心实例单位数，满足集群的正常运行和突增性能需求。