为了在降低成本和减少能耗的同时提高云数据中心的资源利用率,目前许多云数据中心都采用了在线服务和离线任务混合部署的方式.虽然混合部署的方式能为数据中心带来许多益处,但它增加了任务调度的复杂性,同时对保障服务的高可靠、低延迟带来了一系列的挑战.深入分析了阿里巴巴数据中心中某一个含有4034台服务器的集群在8天时间内所有在线服务和离线任务的运行状况.从数据分析结果中得出以下结论:首先,从在线服务的运行情况来看,所有容器的平均CPU利用率存在周期性变化,在每天的早8点到晚9点维持在一个较高水平,并且在每天凌晨4点回落到最低点.其次,对离线任务来说,除去第一天和第八天,剩下6天中任务提交峰值都集中在每天的同一时刻.95％实例的运行时间都在199 s以内,但是有0.052％的实例运行时间在1h以上甚至会持续几天.然后,对于应用程序的相关情况,不同应用部署的容器数量存在较大差异,一个应用最多使用629个容器,最少使用1个容器.最后,对服务器、在线任务以及批处理实例进行了聚类分析,相对高资源利用率的容器占了所有容器的绝大部分,低资源利用率、短执行时间的实例则占了总实例的绝大部分.提出的发现和建议有助于数据中心管理者更详细地了解工作负载的特性,从而提高数据中心的资源利用率和各任务的容错性.

数据中心;工作负载特性;在线服务;离线任务;调度

陈圣蕾;裘翼滔;蒋从锋;张纪林;俞俊;林江彬;闫龙川;任祖杰;万健

杭州电子科技大学 计算机学院,杭州 310018;阿里云计算有限公司,杭州 311121;国网电力信息通信有限公司,北京 100053;之江实验室,杭州 311121;浙江科技学院 信息与电子工程学院,杭州 310023

计算机科学与探索

[1]陈圣蕾;裘翼滔;蒋从锋;张纪林;俞俊;林江彬;闫龙川;任祖杰;万健-.混部数据中心在线离线服务特征分析)[J].计算机科学与探索,2022(04):822-834

离线任务

服务特征,降低成本,减少能耗,高云,云数据中心,多云,在线服务,益处,任务调度,高可靠,低延迟,阿里巴巴,台服,服务器,天时,运行状况,运行情况,CPU,周期性变化,凌晨,回落,落到,最低点,除去,第一天,第八天,剩下,提交,同一时,运行时间,1h,几天,应用程序,应用部署,批处理,高资源利用率,绝大部分,低资源,执行时间,中心管,容错性,工作负载特性

0.363163