2018 年已经接近尾声,回顾这一年,国内企业都在进行数字化转型,大家越来越关注如何提升效率。在这一过程中,颠覆性的 IT 技术正在加速落地:容器技术、Kubernetes 的使用已经越来越普及,云计算和大数据结合更紧密,AIOps 的实践也在不断成熟改善,云原生和 DevOps 的理念文化也在慢慢渗透到大小规模的技术团队,对运维人员带来很大的冲击,传统运维团队纷纷在转型,自动化甚至智能化运维已经成为了趋势。在这样的背景下,企业运维团队如何向 DevOps 转型,如何使用更好的文化和方法来提升效率?我们采访了腾讯 IEG 蓝鲸团队的党受辉,谈一谈像腾讯这样的大厂的运维如何转型。
党受辉,腾讯互动娱乐技术运营部 蓝鲸产品中心总监。
腾讯 T4 工程师,曾就职于东软集团,为能源行业定制企业信息化体系,加入腾讯后负责运维团队管理。2012 年负责互动娱乐事业群基础 PaaS(蓝鲸)的设计、建设和运营。结合微服务、云、大数据等理念及前沿技术,构建独立部署的 PaaS 体系,并通过 SaaS 化产品,助力行业内应用运维团队的转型升级,推动 devops 生态及智能化运营。
1. 腾讯这样的大公司,在运维体系的构建过程中如何避免“重复造轮子”?在升级演进的过程中如何避免浪费?
党受辉:在腾讯的互动娱乐事业群(IEG),我们采用 PaaS 技术来架构运维体系,其中的 iPaaS 层可以兼容已有的重复性功能模块,并且在升级过程中可以采用长期双轨运行的方式平滑替换升级,相比于传统的“烟囱群”式系统的“推倒升级”,避免大量的风险及浪费。
2. 在 DevOps 等理念和技术的冲击下,传统运维团队如何转型应对?
党受辉:从技术角度看,一个业务的全生命周期可以分为 CI-CD-CO 三段,CI 指的是持续集成,从研发团队提交代码作为起点,经过便以构建扫描测试等环节,以版本仓库为终点;CD 指的是持续部署,以版本仓库为起点,经过各模块自动化部署,到业务上线提供服务为终点;CO 指的是持续运营,从业务上线服务为起点,到业务下线终止服务为终点,期间包含各种运营事件。
传统运维的定位主要在 CD 段,但由于微服务、虚拟化、容器化等技术的冲击之下,运维对 CD 段的把控在减弱,甚至有些公司直接按照 SRE 等理念从开发侧覆盖了运维团队的部分职能,从而使运维团队萎缩到了管理资产和成本的角色,丧失了精细化运营能力。
腾讯 IEG 的运维团队借助 PaaS 技术,将运维团队转型为“运维开发”团队,首先完成了自身 CD 段的自动化工具构建,而后通过 iPaaS 集成大数据能力,服务于 CO 段的业务及非技术人员,最后仿照运营 aPaaS 的持续集成流水线,为业务开发团队打造了 CI 段的全套工具产品,完成了对业务及业务团队全生命周期的运营支持。
3. 关于 CI-CD-CO 具体指的是什么意思?
党受辉:CI 指的是持续集成,从研发团队提交代码作为起点,经过便以构建扫描测试等环节,以版本仓库为终点;CD 指的是持续部署,以版本仓库为起点,经过各模块自动化部署,到业务上线提供服务为终点;CO 指的是持续运营,从业务上线服务为起点,到业务下线终止服务为终点,期间包含各种运营事件。
4. 腾讯是如何看待“运维开发”这一全新岗位的?与 AIOps 有什么关系?
党受辉:我们将运维开发视为与测试开发、营销开发等并列的一种岗位,主要职能是做工具类的运营系统,例如持续集成、日志分析、资源管理、版本发布、环境变更、监控处理、灾备切换、日常巡检、电子工单、运营分析、运营管控、经营管理等。互联网公司面临着很大的竞争压力,需要从各个层面提升经营效率,降低成本。而落地工具文化,是途径之一。我们依托 PaaS 技术,将传统应用运维团队转型为运维开发团队,来承担这一重要职能。运维开发团队以 Python 为主语言构建 PaaS 之上的 SaaS 应用,而在从运维开发向 AIOps 的体系化过渡过程中,也可以以较低的成本完成转型。
5. 如何体系化的落地智能运维(AIOps)?
党受辉:如果要“体系化”的落地智能运维,需要首先构建完善的机械自动化体系以及完整的数据分析体系,最后辅以符合运维技术栈的分析挖掘平台来实现。否则只能是作为案例或试点存在,无法“体系化”推进。
6. 腾讯如何使用 Kubernetes 构建容器管理体系,在“特殊化定制”与“保持与社区版本同步升级”之间如何平衡?
党受辉:社区版本升级和个性化功能定制的确是很多企业的矛盾,我们在容器管理平台中采用 k8s 与 mesos 双引擎并行的方式来解决这个问题。
7. 腾讯这样体量的公司,其海量运维体系的逻辑、方法和经验,是否适用于中小企业或初创公司?
党受辉:腾讯 IEG 虽然有一万多名员工,五百多款业务,但由于不同业务间的体量差异很大,有几万节点的大型游戏,也有数百节点的中小型游戏,因此其理论方法和实践经验适合于不同规模和类型的企业。
8. 本次 CNUTCon 全球运维技术大会—深度培训专场,腾讯 IEG 蓝鲸团队带来的 5 大主题分享,适合什么样的群体,可以为我们带来什么收获?
党受辉:适合于a 希望在企业中落地自动化、数据化、智能化的运维团队;b 希望从传统运维转型为运维开发的团队;c 希望从资源资产管理转向业务管理的运维团队;d 希望从传统 SLA 保障转型为对业务提供“技术运营”支持的运维团队。发