技术最终需要为运营服务每一项可以推广的新技术的出现,也是对原有运营模式的改进如何降低成本,提高资源利用率,是每个资源管理者必须面对的问题本文将结合G银行集装箱云平台的实践成果,向大家介绍和分享如何在云原生生态下进行集装箱技术的资源配置和管理
在文章的开头,我们首先提出三个问题,并与他们进行讨论。
Q:虚拟机应用和容器应用的资源分配有什么区别。
Q:如何提高集装箱服务的资源利用率。
如何管理Q:集装箱平台的资源。
先说虚拟机应用资源系统管理员通常有几套标准的资源分配模板,比如4C8G,16C32G等当我们的项目经理根据应用程序资源评估申请相应的虚拟机映像时,我们的初始应用程序资源已经被框住了项目开发完成并进行非功能测试后,我们会得到不同的稳定CPU利用率,比如20%和40%然后,考虑到虚拟机扩展的复杂性和资源分配的管理机制,生产中的预期资源利用率会在一定范围内波动综上所述,这种资源分配模式是以资源为模板,应用为适配的资源分配模式在这种模式下,我们可能会面临一些问题,例如,降级的阈值可以根据不同类型的应用来把握,例如,当应用低于降级阈值时,即使在最小资源模板下,也存在资源浪费例如,当应用程序需要调整资源模板时,它需要再次进行非功能测试这种模式下,金融机构的CPU资源平均利用率为10%—20%,还有提升空间
那么对于容器应用,我们应该如何分配资源呢首先,我们先了解k8s容器在声明机制下的资源参数
请求容器启动时的最低资源分配值如果群集不满足资源请求,容器服务将无法启动
限制容器可以请求的最大资源。
。一个
结合CPU时间片机制,k8s调度策略和容器快速扩容我们可以想象应用资源的理想使用场景:稳定的TPS使用率在请求值和限制值之间,峰值TPS使用率小于限制值然后,在对CPU密集型应用和非密集型应用进行分类后,我们也可以在一定程度上过度划分节点资源,从而达到共享我们资源的目的在这种理想场景下,实用的资源分配策略需要优秀的非功能测试团队和合理的资源计算分配模型我们可以把这种机制概括为一种资源分配模式,根据应用需求来适配资源我们预计在这种模式下运行的应用的平均CPU资源利用率将达到20%—40%,同时保证生产的稳定性
那么我们如何将这种高效的资源分配方法付诸实践呢首先,我相信在集装箱平台建设之初,由于需求方需要时间转变思维模式,平台需要加速应用集装箱化战略,肯定会有资源浪费也许有一天我们可爱的平台管理员在检查的时候发现集群资源已经很紧张了,但是上面的应用连10%的CPU利用率都没有我们需要找到一种方法来扭转这个问题g线结合容器技术做了大量实践,决定先从非功能性测试入手首先,我们放弃固定的资源模板,为应用服务准备一个足够大的限制值请测试未来几年稳定TPS下的资源使用情况,得到实际使用情况然后,通过不同的应用类型和一定的冗余值,计算生产环境资源最大分配的推荐值请求值根据应用容灾级别从限额的25%到100%不等,同时我们也摒弃了虚拟机拐点的测试方法,根据稳定的TPS推进分步调整,测试不同倍数下的资源实际使用情况,可以按照一定比例转化为POD数量,为生产应用管理员提供容量预测数据在这种模式下,在线系统资源的利用率得到了明显的提升,节点上可以承载的服务数量达到了理想场景同时,在理想情况下,将应用服务达到稳定TPS后的资源利用率设置为固定值,控制风险最后,根据运力预测数据,我们可以快速调整POD服务数量或集装箱限值
。2
当然,在介绍了资源分配策略之后,我们还需要一个匹配的资源管理策略笔者调研了同行业的一些管理方法,常用的是根据利用率,切掉一定量的请求值,保持限值不变基于自主开发或开源的调度器和优秀的调度策略,这是一个过渡性或长期性的方案当然,你也可以想想缺点一个请求被限制,但另一个限制被释放在未来不可预测的野蛮应用下,可能会导致过度聚集和雪崩等异常情况那么优秀资源管理策略的制定就是平台管理者必须思考和实践的工作
结合实践经验,G银行从应用分类入手,不断完善集装箱平台的资源运营管理策略根据应用系统的容灾级别,规定限制和请求的比例,重要系统采用保守策略,一般系统采用高效策略,根据应用服务CPU使用类型,优化服务调度策略,避免高风险场景,根据应用服务的特殊需求,划分特殊节点,缓解关联故障的发生等结合平台能力周报,超阈值,服务量,不断磨合各种应用系统,不断优化资源运营策略当然,优秀的管理策略还需要不断强化技术能力,可实施的方案,以及技术,方案和管理的结合,才能真正利用资源提及站起来,投入成本删除下来吧
。三
摘要
最后,资源利用一直是行业内持续研究的方向。同时,容器资源的管理不仅仅是PaaS层的优化,节点节点的资源分割比例,网络的带宽限制等因素最终都会影响
响到我们的资源管理策略,这也是资源统筹的难点本文以三个问题入手,结合G行实践经验,重点介绍了PaaS层CPU方面的资源运营策略,希望能以此文和各位碰撞出思维的火花,感谢各位读者阅读
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
|