云原生技术:从诞生到发展的历程

发表时间: 2021-11-05 17:32


01

云原生技术的发展历程

云原生,其实不是一个全新的概念,而是在整个云计算发展历程中的对理念的更新和延伸。站在一个用户的角度,从时间线上看,整个云计算的技术演进是朝着越来越灵活的方向发展:

核心单元从早期的物理服务器,变成后来的虚拟机,一直到现在通过Kubernetes编排调度的容器;

  • 资源分配颗粒度越来越小,启动速度也越来越快
  • 资源重建的代价越来越小,不可变基础设施逐渐成为主流
  • 软件栈从传统商业软件走向开源,用户拥有更多的选择

“云”的资源,在使用者看来是可以无限扩展的,并且可以“随时获取、按需使用,随时扩展”,并按使用付费。这种特性经常被称为像水电一样使用IT基础设施。

而Kubernetes做为当时众多开源平台中的一个,凭借着先进的架构理念和活跃的社区生态,热度持续上升。Kubernetes也是近30年来增长最快的开源项目之一。CNCF (2020年度)最新的调查显示,Kubernetes 已经成为约定俗成的容器编排器,有82% 的单位在生产中使用了 Kubernetes。

K8s的出现带动了云原生生态的蓬勃发展,在整个IT技术发展史上也是颇具突破性的。

从2015年CNCF只有Kubernetes一个项目,到了到如今80多个官方项目,以及整个云原生生生态内容丰富的宏大版图。

底层有众多的容器运行时、容器存储、容器网络以及硬件加速器方案可以选择;而面向用户,K8s的北向可以运行、对接各种业界主流的数据库、中间件等。

目前市面上通过认证的K8s的云服务或者发行版已经超过130款,并且有大量的厂商提供丰富的周边软件、服务的配套支持。

超过250家认证服务商和培训合作伙伴提供丰富的周边软件:https://twitter.com/_Lebsky/status/1351925956504662018

  • 而在中国,云原生的生态也飞速发展,CNCF的会员数量也从2015年的1家初创&白金会员发展到今天60家成员单位。

  • 全球1/4认证的K8s服务提供商来自中国;1/3的K8s培训发生在中国;同时中国也是CNCF生态的第3大贡献者,CNCF管理的80多个官方项目中,有11个来自中国。
  • 2020年,CNCF在中国主办了首次线上会议“Cloud Native + Open Source Virtual Summit China 2020”,注册参会人数达到 近六千人,超过12万人观看了直播。整个云原生产业的规模也发展十分迅猛:
  • 调查显示,2019年中国云原生市场规模已经达到了350.2亿元,并且云原生技术在加速向各个垂直行业渗透。
  • 企业在云原生的投入比例持续增高,2019年有接近10%的企业,其云原生相关投入占IT总投入一般以上,而主要的支出是技术研发和运维。云原生技术的采用率也在持续提升
  • 以容器为例,目前已有68%的机构在生产过程中使用容器,相比2年前增长了240%。
  • 生产中使用 Kubernetes 的比例在过去两年里也有了惊人的增长,从去年的72% 增长到了82% —— Kubernetes 已经无处不在

02

云原生核心理念

关于云原生,CNCF给出了如下的定义:“云原生技术有利于各企业在各种云环境中,构建并运行可弹性扩展的应用,云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API”。

在最近的几年里,云原生技术呈现如下几个明显的发展趋势:

  • 趋势1 :软硬一体化:传统基础设施的网络、存储、计算能力与云原生技术生态开始深度对接。—— (Forrester2020.7市场调研云原生战略落地聚焦的能力中高居榜首)
  • 趋势2 :基于网格的服务治理能力:服务治理与业务逻辑逐步解耦,服务治理能力下沉到基础设施,服务网格以基础设施的方式提供无侵入的连接控制、安全、可监测性、灰度发布等治理能力。
  • 趋势3 :有状态应用向云原生迁移:无状态+Job类应用趋于成熟,有状态应用逐步成为云原生市场中新的增长点。Operator 的出现,为有状态应用在云原生基础设施上运行提供一套行之有效的标准规范,降低了使用门槛,使有状态应用得以真正发展。
  • 趋势4 :多云统一管理和多云业务流量统一调度:云原生北向API区域稳定,客户更多开始关注跨区域、跨平台、跨云大规模可复制能力

云原生这么受欢迎,与它先进的理念是分不开的 ,总的来说有以下几大核心理念:

  • 利用容器和服务网格等技术,解耦软件开发,提高了业务开发部署的灵活性和易维护性
  • 以Kubernetes为核心的多层次、丰富的开源软件栈,被各大厂商支持,用户选择多,避免厂商绑定
  • 以Kubernetes为核心的松耦合平台架构,易扩展,避免侵入式定制 - Kubernetes已被公认是platform for platform
  • 中心式编排,对应用和微服务进行统一的动态管理和调度,提高工作效率和资源利用率

云原生代表技术

1)Kubernetes的声明式API – 面向开发者提供全新分布式原语

  • 针对期望状态(结果)给出声明,而不是针对过程 - 系统自行分析差异并触发动作
  • API对象彼此互补、可组合

2)服务网格 – 剥离业务代码和分布式框架

服务网格通过非侵入式的方式接管应用的服务通信。对于每个业务单元/模块来说,他们甚至不需要对网络通信、负载均衡等有任何的感知。

服务网格提供细粒度流量治理,包括灰度发布、故障注入、可观测性支持等能力,提高了业务应用的易维护性

对于企业开发者来说,服务网格可以很好地帮助他们剥离业务代码和分布式框架

  • 平台团队聚焦框架层的开发和调优
  • 业务团队聚焦业务本身的开发

03

云原生技术体系及CNCF核心项目

在奉行事实标准的IT界,云技术发展多年的今天:开源社区已然是云原生技术的关键推动者,同时也是相关技术标准的制定者。我们知道云原生飞速发展的背景,解决应用的标准化问题:下层基础设施不统一,如何构建通用的弹性扩缩容能力,以及分布式监控、日志和追踪等等。

开源的好处是可以加快技术普及,汇集业界的力量来促进技术架构和接口的标准化,所以云原生基于开源来发展是必然。—— 可以说云原生是源自开源,而开源促进云原生的发展。华为云坚持构建标准化、开源、开放的云原生技术平台。我们不仅仅深度参与社区内包括K8s、Istio等核心项目,而且将华为云产品的核心能力对外开放。我们分别于2018年、2019年开源了KubeEdge边缘计算项目、Volcano批量计算项目,并捐献给了CNCF基金会,得到了社区的积极响应。这两个项目目前都在国内外多个企业实际生产环境得到了应用。

目前KubeEdge也于2020进入了CNCF incubator孵化阶段。今年,我们又联合多家单位共同开源了多云容器编排项目Karmada,与产业伙伴一起共建云原生多云的开源标准。而在基础设施层,我们在运行时、网络、存储、异构设施等方面也都广泛参与或开放了多个开源项目,将华为云在基础设施层的丰富积累与社区共享,共同促进Kubernetes以及CNCF云原生社区的快速创新与发展。

应该说云原生已经成为业界公认的主力技术领域,CNCF拥有所有开源基金会中最大的最终用户社区,云原生的企业和开发者在过去几年里增长了近20倍,越来越多的客户将云原生作为企业数字化转型的的关键一步。

—21家白金、19家黄金、476家白银,白金会员集齐全球Top5云供应商

云原生的技术版图

CNCF的项目成熟度模型

CNCF当前管理的项目主要有三个等级的划分:

  1. 最初级的等级Sandbox,关键的一个考虑是帮助许多创新的开源项目去解决厂商中立、知识产权以及license的保障等
  2. 孵化级:面向早期使用者和保守使用者,其对于项目成熟度的考量,除过项目本身的质量,还包括项目社区的生态以及周边的落地情况
  3. 毕业级:并不意味着项目的停滞,相反来说项目的成熟度达到了巅峰的水平,业界有非常多的用户在大规模落地和使用,其社区生态也呈现了非常活跃,多元化的态势。对于很多保守的企业或采用者。可以放心的去落地使用或者跟进这个开源项目。

CNCF官方项目

目前有15个毕业项目,21个孵化项目,46个沙盒项目,值得一提的是,CNCF的Sandbox经过流程优化之后,2020年增长速度明显提升。

云原生平台技术架构发展方向:以“应用”为中心的云“OS”

从2015年的1.0发布至今,Kubernetes已经有20多个大版本发布,各项功能特性和接口API都已经趋于稳定,K8s已经进入了成熟期。虽然严格意义上的K8s核心项目迭代在逐渐放缓,但是整个云原生技术栈将会进入更高速发展的阶段,围绕K8s的技术栈将会与云计算的应用、平台、设备各层次进行更深入的结合。

各类现代化的应用都将会运行在K8s之上,不仅仅是前些年已经备受关注的以互联网App、WebService为代表的无状态应用,而新型的诸如大数据、AI、分布式数据中间件等等有状态应用,以及新型的边缘应用也将会普遍运行在K8s之上,从而K8s将完成对各类现有平台的归一化,成为一个统一的应用运行的分布式云原生平台。而为了更好地支撑现代化应用以及统一的基础技术平台,下层的各类设备包括虚拟化计算/网络/存储、裸金属服务器以及专用芯片如AI、高性能网络、高性能存储等等都会与K8s更紧密的配合,围绕云原生应用,通过软硬一体化的方案来提供更高性能、更稳定可靠、更高效的基础设施。与“应用、平台、设备”三个层面的协同,意味着云原生技平台将真正成为 以“应用”为中心的云“OS”。

本篇文章来自《华为云云原生王者之路训练营》黄金系列课程第1课,由CNCF大使、Kubernetes社区Maintainer以及CNCF多个项目联合创始人王泽锋老师主讲,帮助大家了解云原生技术的发展历程、云原生的基本概念、核心理念、技术体系等。