阿里serverless云服务（serverless 阿里云）

本文目录一览：

• 1、大数据数仓项目架构
• 2、uniapp生态中的 uniCloud 是什么
• 3、传统服务器上业务软件明年将缩减一半，为何公司更热衷于云服务？
• 4、Docker+ Kubernetes已成为云计算的主流（二十六）
• 5、一、Nacos介绍

大数据数仓项目架构

云上数据仓库解决方案：

离线数仓架构

离线数仓特点

基于Serverless的云上数据仓库解决方案

架构特点

实时数仓架构

[图片上传失败...(image-ec3d9a-1629814266849)]

实时数仓架构特点

秒级延迟，实时构建数据仓库，架构简单，传统数仓平滑升级

架构特点

数据仓库的输入数据源和输出系统分别是什么？

输入系统：埋点产生的用户行为数据、JavaEE后台产生的业务数据、个别公司有爬虫数据。

输出系统：报表系统、用户画像系统、推荐系统

1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂使用，技术实力雄厚，有专业的运维人员）

2）CDH：国内使用最多的版本，但 CM不开源，但其实对中、小公司使用来说没有影响（建议使用）10000美金一个节点 CDP

3）HDP：开源，可以进行二次开发，但是没有CDH稳定，国内使用较少

服务器使用物理机还是云主机？

1）机器成本考虑：

（1）物理机：以128G内存，20核物理CPU，40线程，8THDD和2TSSD硬盘，单台报价4W出头，惠普品牌。一般物理机寿命5年左右。

（2）云主机，以阿里云为例，差不多相同配置，每年5W

2）运维成本考虑：

（1）物理机：需要有专业的运维人员（1万*13个月）、电费（商业用户）、安装空调

（2）云主机：很多运维工作都由阿里云已经完成，运维相对较轻松

3）企业选择

（1）金融有钱公司和阿里没有直接冲突的公司选择阿里云（上海）

（2）中小公司、为了融资上市，选择阿里云，拉倒融资后买物理机。

（3）有长期打算，资金比较足，选择物理机。

根据数据规模大家集群

属于 研发部 /技术部/数据部，我们属于 大数据组 ，其他还有后端项目组，前端组、测试组、UI组等。其他的还有产品部、运营部、人事部、财务部、行政部等。

大数据开发工程师=大数据组组长=》项目经理=部门经理=》技术总监

职级就分初级，中级，高级。晋升规则不一定，看公司效益和职位空缺。

京东：T1、T2应届生；T3 14k左右 T4 18K左右 T5 24k-28k左右

阿里：p5、p6、p7、p8

小型公司（3人左右）：组长1人，剩余组员无明确分工，并且可能兼顾javaEE和前端。

中小型公司（3~6人左右）：组长1人，离线2人左右，实时1人左右（离线一般多于实时），组长兼顾和javaEE、前端。

中型公司（5 10人左右）：组长1人，离线3 5人左右（离线处理、数仓），实时2人左右，组长和技术大牛兼顾和javaEE、前端。

中大型公司（10 20人左右）：组长1人，离线5 10人（离线处理、数仓），实时5人左右，JavaEE1人左右（负责对接JavaEE业务），前端1人（有或者没有人单独负责前端）。（发展比较良好的中大型公司可能大数据部门已经细化拆分，分成多个大数据组，分别负责不同业务）

上面只是参考配置，因为公司之间差异很大，例如ofo大数据部门只有5个人左右，因此根据所选公司规模确定一个合理范围，在面试前必须将这个人员配置考虑清楚，回答时要非常确定。

IOS多少人 安卓多少人 前端多少人 JavaEE多少人 测试多少人

（IOS、安卓） 1-2个人 前端1-3个人； JavaEE一般是大数据的1-1.5倍，测试：有的有，有的没有。1个左右。 产品经理1个、产品助理1-2个，运营1-3个

公司划分：

0-50 小公司

50-500 中等

500-1000 大公司

1000以上 大厂 领军的存在

转自：

uniapp生态中的 uniCloud 是什么

uniCloud使用前端技术实现前后端业务一体的一种技术，是前端全栈者的必学技术之一，

按照uniapp官方描述有以下几个特点：

前端工程师想掌握后端开发，有6大门槛：

uniCloud是DCloud在阿里云和腾讯云的serverless服务上封装而成的。

它包含IaaS层（由阿里云和腾讯云提供硬件和网络）和PaaS层（由DCloud提供开发环境）。

开发者可以自主选择uniCloud的硬件和网络资源的供应商，在阿里云版和腾讯云版之间切换。

开户和付费虽然通过DCloud渠道，但实际上开发者自动在云厂商处建立了账户和充值了余额。DCloud只获取云服务厂商的返佣。

开发时虽使用DCloud的工具，但应用上线时，手机端是直连阿里云或腾讯云的serverless，不经由DCloud的服务器。

所以说，uniCloud是前端变全栈的最佳机会，只需花点时间熟读uniCloud的文档，你就可以成为全栈！

传统服务器上业务软件明年将缩减一半，为何公司更热衷于云服务？

随着目前市场的快速发展，企业为了更高效的效率以及管理方便都会进行企业信息化建设。而CRM系统一般是企业进行信息化建设的第一步，把与客户相关的流程都统一进行管理，从而建立标准化、高效的业务流程。

那很多朋友在进行CRM系统选型的时候，就会了解到CRM系统有云服务和买断两种不同的方式，那中间具体的区别或优势并不是很了解。正确选择CRM系统的实施方案，对于企业业务来说是至关重要的，也可以说选择适合的CRM系统是实施中必不可少的一部分。今天Rushmail就为大家分享下在进行CRM系统选型时，云服务和买断两种方式的区别以及优劣势。

从应用的角度来看，云服务和买断系统在功能上没有区别。都是包含系统的全功能全模块。RushCRM系统最大的优势就是可以根据用户的实际需求进行自定义，开通服务后也是由售后技术工程师进行需求的确认然后开始系统调试。在业务应用的层面，云服务和自建系统两者是没有区别的。

从购买方式来说，云服务企业不需要准备服务器，也不需要有专业开发人员或维护人员。这些系统的硬件、软件、网络带宽、数据备份以及售后服务都是有CRM系统服务商提供。只需要是按用户数以年为单位计费即可。买断是需要用户自己准备好硬件环境，是安装部署到用户自己的服务器中，所有的数据的存储以及数据交互是通过用户自己的服务器完成。不管是系统安装到企业有实体服务器还是租用的云服务器（私有云）都是数据买断的方式。一次购买，终身使用，享受系统的终身使用权。

就费用而言，云CRM系统无需专人维护服务器，速度更快、投入更低、上线周期更短、性价比会更高。买断除了硬件成本外，CRM系统的买断费用也会比云服务高一些。

从数据对接、系统集成方面来分析，云服务和本地自建会有较大的区别，云服务更多的是提供的标准化的功能。就是目前系统现有框架下的系统调试，不会涉及到研发人员再进行开发。那本地自建是提供了有二次开发的服务。比如有些个性化需求是目前CRM系统所不包含但是可以通过专门的二次开发定制来实现的就需要用的自建的服务。二次开发主要是针对功能的开发、系统集成以及与其他系统软件的对接等。

从安全性分析。数据安全是用户要非常关注的一点。毕竟CRM系统中都是存储这客户的核心数据，如果有数据的丢失或泄露会造成公司极大的损失。云服务是CRM系统服务商进行安全维护。主要是从基础安全、网络安全、安全审计、安全运维等不同的方面确保用户的数据安全。而买断的话是需要用户自己进行服务器安全的维护。买断的方式都存储在自己的服务器中。系统的安全性能相对会更高，企业存储的信息也能够更好的保存起来。并且有不受干扰性。将日常维护工作交给外部服务供应商来处理确实能减轻企业管理者的压力，但同时也会使企业容易受到与服务供应商之间的连通性问题的影响。企业内部安装的信息系统能够有效降低无法访问数据库情况出现的几率。另如果是本地自建可以只限制企业内网访问。如果是云服务只要可以联网即可通过账号密码进行CRM系统的使用，云服务无法通过内网外网限制用户的访问。

Docker+ Kubernetes已成为云计算的主流（二十六）

最近正在抽时间编写k8s的相关教程，很是费时，等相关内容初步完成后，再和大家分享。对于k8s，还是上云更为简单、稳定并且节省成本，因此我们需要对主流云服务的容器服务进行了解，以便更好地应用于生产。

主流云服务容器服务介绍

Docker+ Kubernetes已成为云计算的主流

亚马逊AWS

Amazon Web Services (AWS) 是亚马逊公司旗下云计算服务平台，为全世界范围内的客户提供云解决方案。AWS面向用户提供包括弹性计算、存储、数据库、应用程序在内的一整套云计算服务，帮助企业降低IT投入成本和维护成本。

那么如何在AWS上运行Docker呢？AWS 同时为 Docker 开源解决方案和商业解决方案提供支持，并且可通过多种方式在 AWS 上运行容器：

微软Azure

Microsoft Azure 是一个开放而灵活的企业级云计算平台。通过 IaaS + PaaS 帮助用户加快发展步伐，提高工作效率并节省运营成本。

Azure是一种灵活和支持互操作的平台，它可以被用来创建云中运行的应用或者通过基于云的特性来加强现有应用。它开放式的架构给开发者提供了Web应用、互联设备的应用、个人电脑、服务器、或者提供最优在线复杂解决方案的选择。

在容器这块，Azure同样的提供了众多解决方案：

下面我们侧重介绍下以下服务：

阿里云

阿里云（）创立于2009年，是全球领先的云计算及人工智能 科技 公司，为200多个国家和地区的企业、开发者和政府机构提供服务。2017年1月阿里云成为奥运会全球指定云服务商。2017年8月阿里巴巴财报数据显示，阿里云付费云计算用户超过100万。阿里云致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠 科技 。阿里云在全球18个地域开放了49个可用区，为全球数十亿用户提供可靠的计算支持。此外，阿里云为全球客户部署200多个飞天数据中心，通过底层统一的飞天操作系统，为客户提供全球独有的混合云体验。

飞天（Apsara）是由阿里云自主研发、服务全球的超大规模通用计算操作系统。 它可以将遍布全球的百万级服务器连成一台超级计算机，以在线公共服务的方式为 社会 提供计算能力。 从PC互联网到移动互联网到万物互联网，互联网成为世界新的基础设施。飞天希望解决人类计算的规模、效率和安全问题。飞天的革命性在于将云计算的三个方向整合起来：提供足够强大的计算能力，提供通用的计算能力，提供普惠的计算能力。飞天诞生于2009年2月，目前为全球200多个国家和地区的创新创业企业、政府、机构等提供服务。

同样，阿里云对容器也提供了友好的支持：

容器服务提供高性能可伸缩的容器应用管理服务，支持用Docker和Kubernetes进行容器化应用的生命周期管理，提供多种应用发布方式和持续交付能力并支持微服务架构。容器服务简化了容器管理集群的搭建工作，整合了阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器运行环境。

容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级 Kubernetes 容器化应用的全生命周期管理。容器服务 Kubernetes 版简化集群的搭建和扩容等工作，整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳的 Kubernetes 容器化应用运行环境。

阿里云弹性容器实例（Elastic Container Instance）是 Serverless 和容器化的弹性计算服务。用户无需管理底层 ECS 服务器，只需要提供打包好的镜像，即可运行容器，并仅为容器实际运行消耗的资源付费。

容器镜像服务（Container Registry）提供安全的镜像托管能力，稳定的国内外镜像构建服务，便捷的镜像授权功能，方便用户进行镜像全生命周期管理。容器镜像服务简化了Registry的搭建运维工作，支持多地域的镜像托管，并联合容器服务等云产品，为用户打造云上使用Docker的一体化体验。

腾讯云

腾讯云为腾讯倾力打造的云计算品牌，以卓越 科技 能力助力各行各业数字化转型，为全球客户提供领先的云计算、大数据、人工智能服务，以及定制化行业解决方案。其基于QQ、微信、腾讯 游戏 等海量业务的技术锤炼，从基础架构到精细化运营，从平台实力到生态能力建设，腾讯云将之整合并面向市场，使之能够为企业和创业者提供集云计算、云数据、云运营于一体的云端服务体验。

在容器这块，腾讯云提供了如下解决方案：

腾讯云容器服务（Tencent Kubernetes Engine ，TKE）基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务。腾讯云容器服务完全兼容原生 kubernetes API ，扩展了腾讯云的 CBS、CLB 等 kubernetes 插件，为容器化的应用提供高效部署、资源调度、服务发现和动态伸缩等一系列完整功能，解决用户开发、测试及运维过程的环境一致性问题，提高了大规模容器集群管理的便捷性，帮助用户降低成本，提高效率。容器服务提供免费使用，涉及的其他云产品另外单独计费。

容器实例服务（Container Instance Service , CIS）可以帮用户在云上快捷、灵活的部署容器，让用户专注于构建程序和使用容器而非管理设备上。无需预购 CVM（云服务器），就可以在几秒内启动一批容器来执行任务。同时，开发者也可以通过 kubernetes API 把已有kubernetes 集群的 pod 调度到 CIS 上以处理突增业务。CIS 根据实际使用的资源计费，可以帮用户节约计算成本。使用 CIS 可以极大降低用户部署容器的门槛，降低用户执行 batch 型任务或处理业务突增的成本。

从上面主流的云服务中我们可以看到，没有哪家云厂商不支持Docker，同样的，也没有哪家云厂商不支持Kubernetes！也就是说，Docker+ Kubernetes已经成为云计算的主流！

什么是Kubernetes（k8s）

Kubernetes（简称k8s）诞生于谷歌，是一个开源的，用于管理云平台中多个主机上的容器化的应用，k8s的目标是让部署容器化的应用简单并且高效，其提供了应用部署、规划、更新、维护的机制。

k8s主要有以下特点：

支持公有云，私有云，混合云，多重云（multi-cloud） 。可以将容器化的工作负载从本地开发计算机无缝移动到生产环境。在本地基础结构以及公共云和混合云中，在不同环境中协调容器，保持一致性。

支持模块化，插件化，可挂载，可组合。并且k8s的扩展和插件在社区开发者和各大公司的支持下高速增长，用户可以充分利用这些社区产品/服务以添加各种功能。

支持自动部署，自动重启，自动复制，自动伸缩/扩展，并且可以定义复杂的容器化应用程序并将其部署在服务器群集甚至多个群集上——因为k8s会根据所需状态优化资源。通过内置的自动缩放器，k8s可轻松地水平缩放应用程序，同时自动监视和维护容器的正常运行。

Kubernetes正在塑造应用程序开发和管理的未来

k8s构建于 Google 数十年经验，一大半来源于 Google 生产环境规模的经验。结合了社区最佳的想法和实践，而且还在不断地高速迭代和更新之中。

她衔着金钥匙出生，一诞生就广受欢迎，更是在2017，其打败了所有的竞争对手，赢得了云计算的战争——主流的云厂商基本上都纷纷放弃了自己造“轮子”的举动，终止了各自的容器编排工具，加盟了k8s阵营，其中包括Red Hat、微软、IBM、阿里、腾讯、华为和甲骨文等。

k8s像风暴一样席卷了应用开发领域，并且已成为云原生应用程序（架构、组件、部署和管理方式）的事实标准，大量的开发者和企业正在使用k8s创建由微服务和无服务器功能组成的现代架构。

Docker+ Kubernetes已成为云计算的主流

容器是现代软件交付的未来，而Kubernetes是编排容器的最佳方案（事实上的标准）。

Docker 和Kubernetes相辅相成，联手打下了云计算的“万里江山”。Docker 为打包和分发容器化应用程序提供了一个开放的标准，而 Kubernetes 则协调和管理通过 Docker 创建的分布式容器化应用程序。换句话说，Kubernetes 提供了部署和运行通过Docker生成的应用程序所需的基础结构。

在主流的云服务，基于Docker+k8s的新型PaaS平台具有敏捷部署、弹性伸缩、灵活调度、故障自动恢复等优势，充分满足业务扩展中的资源支持，因此在短短两年之内，便从Docker Swarm、Cloud Foundry Diego、Kontena、Apache Mesos、Amazon ECS…等大量对手中脱颖而出，拿下了皇冠。

k8s和Docker的胜利意味着这是有史以来第一次，无论使用哪一种云平台，研发人员都可以拥有完全相同的计算环境。

一、Nacos介绍

6月份阿里开源的Nacos发布了1.0.1版本，从去年7月份第一个release版本到现在一直在默默关注

官方的版本规划为：Nacos从0.8.0开始支持生产可用，1.0版本可大规模生产可用，2.0版本接入k8s、SpringCloud、ServiceMesh、ServerLess

公司目前的项目都是Springcloud，由于eureka2.X的断更、以及Nacos面世，所以自然而然最近就进行了一次试水爬坑，虽然过程艰苦，但是最终效果似乎还不错。

本文主要从以下几点来带大家熟悉下Nacos

Nacos是什么？好像没听过，不要紧。那Eureka听说过吧，在SpringCloud中做服务注册中心组件，类似的还有Zookeeper、Consul。

所以Nacos也是一个注册中心组件咯，当然是，不过 它不仅仅是注册中心 。

Nacos也是一个配置中心 ，比如SpringCloud中的Config，将配置文件版本化管理。

那么Nacos到底是什么呢, 总结为官网一句话就是:

首先要说Nacos的发展历程就要从阿里巴巴的内部产品ConfigServer说起了，因为 Nacos是ConfigServer 的开源实现

早在2008年阿里就开始服务化的进程(那个时候我好像还在上初中啊)，在那个时候阿里内部自研的服务发现解决方案就叫做ConfigServer

ConfigServer经历了十年的发展从V1.0的单机版演变为目前对外公布的V4.0集群版。

2018年7月阿里巴巴高级技术专家许真恩（慕义）发布了Nacos首个开源版本V0.1.0，Nacos作为ConfigServer的开源实现截止目前已经更新到了V1.0.1的大版本，并且支持大规模生产版本。

虽然 官方文档 也有介绍，但是语言比较官方，我就用大白话谈一点自己的使用感受。

首先先上一张官方的生态图

除了对于阿里开源生态体系如 Dubbo 等自身的支持，也非常强调融入其它的开源生态，这里就包括 Java 的微服务生态体系 Spring Cloud，Kubernetes/CNCF 云原生生态体系。

Nacos 无缝支持 Spring Cloud，为 Spring Cloud 用户其提供更简便的配置中心和注册中心的解决方案。

Nacos支持目前几乎所有主流的微服务生态体系。

Nacos从官方的介绍上看，就像是SpringCloud中Eureka+Config+Bus+Git+MQ的一个结合体，当然也不能完全这么理解。Nacos是脱胎于阿里内部的ConfigServer，而ConfigServer早在3.0版本就解决了Eureka在1.0版本留下的隐患，所以从技术的更新和迭代角度来看，稳定版本的Nacos将更适合做为微服务体系中的服务注册发现组件，当然了他也不单单只是注册和发现。更多的特性和功能，不如一起搭建试试吧。

Nacos官方手册