案例分享|芝麻开门——云服务走进数据企业的大门

关于芝麻科技

南京芝麻信息科技有限公司（以下简称“芝麻科技”）成立于2013年，是一家线下数据技术服务公司，专注于通过线下数据的采集、分析及应用，为品牌门店和购物中心等商业客户提供数据化运营管理服务。芝麻科技的主要产品线有MOLLI智慧商场和数瞳智慧门店，目的是基于购物中心的消费者线下行为数据，构建智慧商场和智慧门店的数据化运营平台。目前，芝麻科技已经在全国覆盖10万余消费生活场所、七亿部移动设备，日处理数据近百亿条。芝麻科技服务的客户包括宝洁、欧莱雅、欧时力、赫基、劲霸、北汽、福特、碧桂园、红星美凯龙、静安嘉里中心、佳兆业商业、虹悦城等国内外知名企业，服务的主要行业包括母婴、化妆品、汽车、房产、时尚等。

面临的挑战

为了迅速扩展业务，芝麻科技在创立之初就选择使用云平台来进行开发和部署。在迁移至AWS之前，芝麻科技使用了其他云服务商的云平台，通过在虚拟机上自建服务的方式来构建应用系统。随着业务的快速发展，这种方式的弊端开始显现出来，主要体现在三个方面：

其一，用于数据采集的Kafka集群、用于数据分析的Hadoop集群都需要自己搭建并配备专门的运维团队，导致前期的学习成本和运维成本相对较高；

其二，系统架构动态扩容不方便，为了满足系统的峰值需求，必须高配资源，这造成了极大的资源浪费，最严重的时候有2/3的计算资源都是闲置的；

其三，为了提高系统的稳定性和可靠性，需要自行设计很多基础服务的高可用和高性能基础架构方案，显著增加系统的复杂性，使系统稳定性难以得到保障。

“芝麻科技是创业公司，为了应对瞬息万变的市场需求，我们希望能把人力资源聚焦在应用的迭代开发上，而不是把大量的时间和精力都花费在IT基础设施的运维工作上。”芝麻科技联合创始人&CTO冯华寅说。

伊克罗德提供的解决方案

伊克罗德和芝麻科技开始合作时，为其提供前期的咨询服务，并结合他们的业务场景需求，帮助他们重点评估了Amazon EMR、Kinesis、Amazon Relational Database Service (Amazon RDS)等服务，同时与其技术人员不断讨论，进行架构设计、迁移规划、试运行、系统切换等一系列操作，最终协助芝麻科技成功地完成了整个系统的迁移和架构升级。

由于芝麻科技是一个数据服务公司，其拥有的海量数据需要存储。伊克罗德团队将其数据部署在   Amazon Elastic Compute Cloud (Amazon EC2)上，实现对数据的存储、更新和处理。为了保证数据安全，伊克罗德在 Amazon EC2 中使用了Amazon EBS，EBS为EC2实例的持久性数据提供了块级存储卷。每个EBS卷在其可用区域内自动复制，防止出现组件故障，保证数据的持久性和安全性。

伊克罗德还针对芝麻科技在资源使用上的需求，利用Amazon Simple Storage Service (Amazon S3)实现存储资源灵活扩展，满足企业在业务高峰和正常时的需求，减少资源浪费。运用AWS Auto Scaling、ELB等服务，应用系统仅在需要时增添实例，一旦完成处理，即可立刻释放实例。同时，伊克罗德团队还将Amazon S3与AWS Lambda 配合使用，自动实时记录活动，定义提醒并自动执行工作流。并利用Amazon CloudWatch自动监控应用程序的运行状况并对其进行实时报告。

为了使芝麻科技能够轻松完成从项目概念到部署的过程，伊克罗德技术团队利用 Amazon RDS 管理控制台、AWS RDS 命令行界面或者简单的 API 调用在几分钟之内访问生产就绪型关系数据库的功能，不需要预置基础设施、也不需要安装和维护数据库软件。另外，Amazon RDS 与其他 Amazon Web Services 产品使用相同的高可靠性基础设施,可以实现自动备份、数据库快照以及自动主机更换，增强关键生产数据库的可靠性和安全性。

合作成果

通过与伊克罗德的合作，芝麻科技的前期投资成本和计算资源使用成本大幅度降低了。由于采用了竞价实例和弹性伸缩技术，在充分满足业务对计算性能要求的前提下，将计算成本减少到之前自建Hadoop集群时的一半。

在运维方面，伊克罗德提供的技术支持以及AWS的PaaS层服务，减少了运维人员的投入，运维人员从原来的5人缩减为2人，节省了约60%的人力成本。伊克罗德利用AWS的托管服务使芝麻科技的开发人员无需再把大量的精力用于基础架构的维护，转而专注于核心业务系统的创新和开发。同时借助AWS丰富的PaaS层服务，大幅度提升了他们系统的稳定性、可靠性和动态扩容能力，促进了业务的快速增长。

在伊克罗德团队的协助下，芝麻科技大幅度缩短了系统开发、测试及部署时间，项目的迭代周期从原来的4个月缩短到2个月。系统的性能也得到快速提升，MOLLI系统大量采用了AWS的托管服务，利用AWS组件的高可用性，减少了自行设计带来的复杂度，使数据存储的持久性、系统的弹性及安全性都得到充分的保证。