阿里云批量计算(阿里云计算器)
本文目录一览:
- 1、阿里云的Serverless服务 - 函数计算
- 2、阿里云的实例规格 计算型c5 通用型g5是什么意思
- 3、阿里云的主要功能是什么?
- 4、阿里云的主要产品
- 5、如何在短短48小时内用云计算给地球做b超
阿里云的Serverless服务 - 函数计算
在了解阿里云的Serverless服务之前,需要知道Serverless的概念,可以参考上一篇文章: 什么是Serverless
在阿里云中,负责Serverless的服务叫做函数计算,下面一步步手动操作来讲解函数计算的使用方法。
1. 登陆阿里云控制台
进入阿里云官网后,点击右上角登陆按钮,输入用户名和密码后登陆进入Dashboard
2. 进入函数计算服务
3. 创建服务
输入服务名称再点击确定
4.创建函数
输入函数名,选择运行时,点击创建
这里以Node14作为例子
5. 测试hello world
看到hello world的返回,点击测试即可看到返回结果
6. 创建API网关
找到阿里云API网关服务
创建分组
输入分组名称
创建API
输入API名称,点击下一步
选择https,输入路由
点击下一步,选择刚刚创建的函数计算
输入发布描述,点击发布
进入分组,找到api网关的临时地址
通过Postman调用, 即可获取到函数计算的返回
阿里云的实例规格 计算型c5 通用型g5是什么意思
计算型c5顾名思义,表示适用于计算密集型场景,其CPU与内存配比为1:2。而通用型g5表示适用于均衡性能场景,其CPU与内存配比为1:4。
实例规格
一、计算型c5实例:
1、I/O优化实例。
2、支持IPv6。
3、支持ESSD云盘、SSD云盘和高效云盘。
4、处理器与内存配比为1:2。
5、超高网络PPS收发包能力。
6、处理器:2.5 GHz主频的Intel ® Xeon ® Platinum 8163(Skylake)或者8269CY(Cascade Lake),计算性能稳定。
7、实例网络性能与计算规格对应(规格越高网络性能越强)。
二、通用型g5实例
1、I/O优化实例。
2、支持IPv6。
3、支持ESSD云盘、SSD云盘和高效云盘。
4、处理器与内存配比为1:4。
5、超高网络PPS收发包能力。
6、处理器:2.5 GHz主频的Intel ® Xeon ® Platinum 8163(Skylake)或者8269CY(Cascade Lake),计算性能稳定。
7、实例网络性能与计算规格对应(规格越高网络性能越强)。
扩展资料
适用
1、计算型实例规格族c5
高网络包收发场景,例如视频弹幕、电信业务转发等Web前端服务器,大型多人在线游戏(MMO)前端,数据分析、批量计算、视频编码,高性能科学和工程应用。
2、通用型实例规格族g5
高网络包收发场景,例如视频弹幕、电信业务转发等,各种类型和规模的企业级应用,中小型数据库系统、缓存、搜索集群,数据分析和计算,计算集群、依赖内存的数据处理。
阿里云的主要功能是什么?
阿里云致力于以在线公共服务的方式,提供安全、可靠的计算和数据处理能力,让计算和人工智能成为普惠科技。
阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业,包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户,以及微博、知乎、锤子科技等明星互联网公司。在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中,阿里云保持着良好的运行纪录。
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。
扩展资料:
阿里云主要产品:
1、弹性计算:
云服务器ECS:可弹性扩展、安全、稳定、易用的计算服务
块存储:可弹性扩展、高性能、高可靠的块级随机存储
专有网络VPC:帮您轻松构建逻辑隔离的专有网络
负载均衡:对多台云服务器进行流量分发的负载均衡服务
弹性伸缩:自动调整弹性计算资源的管理服务
资源编排:批量创建、管理、配置云计算资源
容器服务:应用全生命周期管理的Docker服务
高性能计算HPC:加速深度学习、渲染和科学计算的GPU物理机
批量计算:简单易用的大规模并行批处理计算服务
E-MapReduce:基于Hadoop/Spark的大数据处理分析服务
2、数据库:
云数据库RDS:完全兼容MySQL,SQLServer,PostgreSQL
云数据库MongoDB版:三节点副本集保证高可用
云数据库Redis版:兼容开源Redis协议的Key-Value类型
云数据库Memcache版:在线缓存服务,为热点数据的访问提供高速响应
PB级云数据库PetaData:支持PB级海量数据存储的分布式关系型数据库
云数据库HybridDB:基于GreenplumDatabase的MPP数据仓库
云数据库OceanBase:金融级高可靠、高性能、分布式自研数据库
数据传输:比GoldenGate更易用,阿里异地多活基础架构
数据管理:比phpMyadmin更强大,比Navicat更易用
3、存储:
对象存储OSS:海量、安全和高可靠的云存储服务
文件存储:无限扩展、多共享、标准文件协议的文件存储服务
归档存储:海量数据的长期归档、备份服务
块存储:可弹性扩展、高性能、高可靠的块级随机存储
表格存储:高并发、低延时、无限容量的Nosql数据存储服务
4、网络:
CDN:跨运营商、跨地域全网覆盖的网络加速服务
专有网络VPC:帮您轻松构建逻辑隔离的专有网络
高速通道:高速稳定的VPC互联和专线接入服务
NAT网关:支持NAT转发、共享带宽的VPC网关
2018年6月20日,阿里云宣布联合三大运营商全面对外提供IPv6服务。
5、大数据:
MaxCompute:原名ODPS,是一种快速、完全托管的TB/PB级数据仓库解决方案。
QuickBI:高效数据分析与展现平台,通过对数据源的连接,和数据集的创建,对数据进行即席的分析与查询。并通过电子表格或仪表板功能,以拖拽的方式进行数据的可视化呈现。
大数据开发套件:提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,拥有强大的OpenAPI为数据应用开发者提供良好的再创作生态
DataV数据可视化:专精于业务数据与地理信息融合的大数据可视化,通过图形界面轻松搭建专业的可视化应用,满足您日常业务监控、调度、会展演示等多场景使用需求
关系网络分析:基于关系网络的大数据可视化分析平台,针对数据情报侦察场景赋能,如打击虚假交易,审理保险骗赔,案件还原研判等
推荐引擎:推荐服务框架,用于实时预测用户对物品偏好,支持A/BTest效果对比
公众趋势分析:利用语义分析、情感算法和机器学习,分析公众对品牌形象、热点事件和公共政策的认知趋势
企业图谱:提供企业多维度信息查询,方便企业构建基于企业画像及企业关系网络的风险控制、市场监测等企业级服务
数据集成:稳定高效、弹性伸缩的数据同步平台,为阿里云各个云产品提供离线(批量)数据进出通道
分析型数据库:在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索
流计算:流式大数据分析平台,提供给用户在云上进行流式数据实时化分析工具
6、人工智能:
机器学习:基于阿里云分布式计算引擎的一款机器学习算法平台,用户通过拖拉拽的方式可视化的操作组件来进行试验,平台提供了丰富的组件,包括数据预处理、特征工程、算法组件、预测与评估
语音识别与合成:基于语音识别、语音合成、自然语言理解等技术,为企业在多种实际应用场景下,赋予产品“能听、会说、懂你”式的智能人机交互体验
人脸识别:提供图像和视频帧中人脸分析的在线服务,包括人脸检测、人脸特征提取、人脸年龄估计和性别识别、人脸关键点定位等独立服务模块
印刷文字识别:将图片中的文字识别出来,包括身份证文字识别、门店招牌识别、行驶证识别、驾驶证识别、名片识别等证件类文字识别场景
7、云安全:
服务器安全(安骑士):由轻量级Agent和云端组成,集检测、修复、防御为一体,提供网站后门查杀、通用Web软件0day漏洞修复、安全基线巡检、主机访问控制等功能,保障服务器安全
DDoS高防IP:云盾DDoS高防IP是针对互联网服务器(包括非阿里云主机)在遭受大流量的DDoS攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠
Web应用防火墙:网站必备的一款安全防护产品。通过分析网站的访问请求、过滤异常攻击,保护网站业务可用及资产数据安全
加密服务:满足云上数据加密,密钥管理、加解密运算需求的数据安全解决方案
CA证书服务:云上签发Symantec、CFCA、GeoTrustSSL数字证书,部署简单,轻松实现全站HTTPS化,防监听、防劫持,呈现给用户可信的网站访问
数据风控:凝聚阿里多年业务风控经验,专业、实时对抗垃圾注册、刷库撞库、活动作弊、论坛灌水等严重威胁互联网业务安全的风险
绿网:智能识别文本、图片、视频等多媒体的内容违规风险,如涉黄,暴恐,涉政等,省去90%人力成本
安全管家:基于阿里云多年安全实践经验为云上用户提供的全方位安全技术和咨询服务,为云上用户建立和持续优化云安全防御体系,保障用户业务安全
云盾混合云:在用户自有IDC、专有云、公共云、混合云等多种业务环境为用户建设涵盖网络安全、应用安全、主机安全、安全态势感知的全方位互联网安全攻防体系
态势感知:安全大数据分析平台,通过机器学习和结合全网威胁情报,发现传统防御软件无法覆盖的网络威胁,溯源攻击手段、并且提供可行动的解决方案
先知:全球顶尖白帽子和安全公司帮你找漏洞,最私密的安全众测平台。全面体检,提早发现业务漏洞及风险,按效果付费
移动安全:为移动APP提供安全漏洞、恶意代码、仿冒应用等检测服务,并可对应用进行安全增强,提高反破解和反逆向能力。
8、互联网中间件:
企业级分布式应用服务EDAS:以应用为中心的中间件PaaS平台、
消息队列MQ:ApacheRocketMQ商业版企业级异步通信中间件
分布式关系型数据库服务DRDS:水平拆分/读写分离的在线分布式数据库服务
云服务总线CSB:企业级互联网能力开放平台
业务实施监控服务ARMS:端到端一体化实时监控解决方案产品
9、分析:
E-MapReduce:基于Hadoop/Spark的大数据处理分析服务
云数据库HybirdDB:基于GreenplumDatabase的MPP数据仓库
高性能计算HPC:加速深度学习、渲染和科学计算的GPU物理机
大数据计算服务MaxCompute:TB/PB级数据仓库解决方案
分析型数据库:海量数据实时高并发在线分析
开放搜索:结构化数据搜索托管服务
QuickBI:通过对数据源的连接,对数据进行即席分析和可视化呈现。
参考资料:
百度百科-阿里云
阿里云的主要产品
阿里云的产品致力于提升运维效率,降低IT成本,令使用者更专注于核心业务发展。
云服务器ECS
一种简单高效,处理能力可弹性伸缩的计算服务。助您快速构建更稳定、安全的应用。提升运维效率,降低IT成本,使您更专注于核心业务创新。
云引擎ACE
一种弹性、分布式的应用托管环境,支持Java、PHP、Python、Node.js等多种语言环境。帮助开发者快速开发和部署服务端应用程序,并简化系统维护工作。搭载了丰富的分布式扩展服务,为应用程序提供强大助力。
弹性伸缩
根据用户的业务需求和策略,自动调整其弹性计算资源的管理服务。其能够在业务增长时自动增加ECS实例,并在业务下降时自动减少ECS实例。
一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。基于飞天分布式系统和高性能存储,RDS支持MySQL、SQL Server、PostgreSQL和PPAS(高度兼容Oracle)引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案。
开放结构化数据服务OTS
构建在阿里云飞天分布式系统之上的 NoSQL数据库服务,提供海量结构化数据的存储和实时访问。OTS 以实例和表的形式组织数据,通过数据分片和负载均衡技术,实现规模上的无缝扩展。应用通过调用 OTS API / SDK 或者操作管理控制台来使用 OTS 服务。
开放缓存服务OCS
在线缓存服务,为热点数据的访问提供高速响应。
键值存储KVStore for Redis
兼容开源Redis协议的Key-Value类型在线存储服务。KVStore支持字符串、链表、集合、有序集合、哈希表等多种数据类型,及事务(Transactions)、消息订阅与发布(Pub/Sub)等高级功能。通过内存+硬盘的存储方式,KVStore在提供高速数据读写能力的同时满足数据持久化需求。
数据传输
支持以数据库为核心的结构化存储产品之间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。 数据传输的底层数据流基础设施为阿里双11异地双活基础架构, 为数千下游应用提供实时数据流,已在线上稳定运行3年之久。
对象存储OSS
阿里云对外提供的海量、安全和高可靠的云存储服务。RESTFul API的平台无关性,容量和处理能力的弹性扩展,按实际容量付费真正使您专注于核心业务。
归档存储
作为阿里云数据存储产品体系的重要组成部分,致力于提供低成本、高可靠的数据归档服务,适合于海量数据的长期归档、备份。
消息服务
一种高效、可靠、安全、便捷、可弹性扩展的分布式消息与通知服务。消息服务能够帮助应用开发者在他们应用的分布式组件上自由的传递数据,构建松耦合系统。
CDN
内容分发网络将源站内容分发至全国所有的节点,缩短用户查看对象的延迟,提高用户访问网站的响应速度与网站的可用性,解决网络带宽小、用户访问量大、网点分布不均等问题。 负载均衡
对多台云服务器进行流量分发的负载均衡服务。负载均衡可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。
专有网络VPC
帮助基于阿里云构建出一个隔离的网络环境。可以完全掌控自己的虚拟网络,包括选择自有 IP 地址范围、划分网段、配置路由表和网关等。也可以通过专线/VPN等连接方式将VPC与传统数据中心组成一个按需定制的网络环境,实现应用的平滑迁移上云。
开放数据处理服务ODPS
由阿里云自主研发,提供针对TB/PB级数据、实时性要求不高的分布式处理能力,应用于数据分析、挖掘、商业智能等领域。阿里巴巴的离线数据业务都运行在ODPS上。
采云间DPC
基于开放数据处理服务(ODPS)的DW/BI的工具解决方案。DPC提供全链路的易于上手的数据处理工具,包括ODPS IDE、任务调度、数据分析、报表制作和元数据管理等,可以大大降低用户在数据仓库和商业智能上的实施成本,加快实施进度。天弘基金、高德地图的数据团队基于DPC完成他们的大数据处理需求。
批量计算
一种适用于大规模并行批处理作业的分布式云服务。批量计算可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。批量计算广泛应用于电影动画渲染,生物数据分析,多媒体转码,金融保险分析等领域。
数据集成
阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(包括ODPS、分析型数据库、OSPS)提供离线(批量)、实时(流式)的数据进出通道。
DDoS防护服务
针对阿里云服务器在遭受大流量的DDoS攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠。免费为阿里云上客户提供最高5G的DDoS防护能力。
安骑士
阿里云推出的一款免费云服务器安全管理软件,主要提供木马文件查杀、防密码暴力破解、高危漏洞修复等安全防护功能。
阿里绿网
基于深度学习技术及阿里巴巴多年的海量数据支撑, 提供多样化的内容识别服务,能有效帮助用户降低违规风险。
安全网络
一款集安全、加速和个性化负载均衡为一体的网络接入产品。用户通过接入安全网络,可以缓解业务被各种网络攻击造成的影响,提供就近访问的动态加速功能。
DDoS高防IP
针对互联网服务器(包括非阿里云主机)在遭受大流量的DDoS攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠。
网络安全专家服务
在云盾DDoS高防IP服务的基础上,推出的安全代维托管服务。该服务由阿里云云盾的DDoS专家团队,为企业客户提供私家定制的DDoS防护策略优化、重大活动保障、人工值守等服务,让企业客户在日益严重的DDoS攻击下高枕无忧。
服务器安全托管
为云服务器提供定制化的安全防护策略、木马文件检测和高危漏洞检测与修复工作。当发生安全事件时,阿里云安全团队提供安全事件分析、响应,并进行系统防护策略的优化。
渗透测试服务
针对用户的网站或业务系统,通过模拟黑客攻击的方式,进行专业性的入侵尝试,评估出重大安全漏洞或隐患的增值服务。
态势感知
专为企业安全运维团队打造,结合云主机和全网的威胁情报,利用机器学习,进行安全大数据分析的威胁检测平台。可让客户全面、快速、准确地感知过去、现在、未来的安全威胁。
云监控
一个开放性的监控平台,可实时监控您的站点和服务器,并提供多种告警方式(短信,旺旺,邮件)以保证及时预警,为您的站点和服务器的正常运行保驾护航。
访问控制
一个稳定可靠的集中式访问控制服务。您可以通过访问控制将阿里云资源的访问及管理权限分配给您的企业成员或合作伙伴。 日志服务
针对日志收集、存储、查询和分析的服务。日志服务可收集云服务和应用程序生成的日志数据并编制索引,提供实时查询海量日志的能力。
开放搜索
解决用户结构化数据搜索需求的托管服务,支持数据结构、搜索排序、数据处理自由定制。 开放搜索为您的网站或应用程序提供简单、低成本、稳定、高效的搜索解决方案。
媒体转码
为多媒体数据提供的转码计算服务。它以经济、弹性和高可扩展的音视频转换方法,将多媒体数据转码成适合在PC、TV以及移动终端上播放的格式。
性能测试
全球领先的SaaS性能测试平台,具有强大的分布式压测能力,可模拟海量用户真实的业务场景,让应用性能问题无所遁形。性能测试包含两个版本,Lite版适合于业务场景简单的系统,免费使用;企业版适合于承受大规模压力的系统,同时每月提供免费额度,可以满足大部分企业客户。
移动数据分析
一款移动App数据统计分析产品,提供通用的多维度用户行为分析,支持日志自主分析,助力移动开发者实现基于大数据技术的精细化运营、提升产品质量和体验、增强用户黏性。 阿里云旗下万网域名,连续19年蝉联域名市场NO.1,近1000万个域名在万网注册!除域名外,提供云服务器、云虚拟主机、企业邮箱、建站市场、云解析等服务。2015年7月,阿里云官网与万网网站合二为一,万网旗下的域名、云虚拟主机、企业邮箱和建站市场等业务深度整合到阿里云官网,用户可以网站上完成网络创业的第一步。
如何在短短48小时内用云计算给地球做b超
今年杭州云栖大会上,中国馆地震局的地球物理科学家王伟涛博士在Tech Insight的数据存储技术实战专场做了一场主题分享:名为《云计算在地震学研究中的应用-利用bcs和海量数据创建虚拟地震》。 他介绍,原本需要一年计算时间的整个中国数千个地震台两两之间的五年数据的计算任务,在云计算中狂飙,48小时之内就计算完成了。
这到底是如何实现的呢?
我们的祖先凝望星河闪耀,却花费万年时间才摸索出天体运行规律。
我们的前辈坐看潮涌潮平,却历经千秋万代才能航行到大洋彼岸。
而我们自己,在这片土地上繁衍至今,却仍旧对脚下的大地懵然无知。
从观察记录到规律预测,几乎是人类科学史的全部逻辑。
但每次我们拼尽全力记下的数据,都只是抬高知识瀚海的涓涓细流。
当我们提笔开始繁复演算的时候,期待的是阿基米德跳出浴缸、牛顿举起苹果的那一刻。
王伟涛博士正是这样计算的执笔人,他来自中国地震局。他想知道的,是我们脚下大地的每个细节。
浩如烟海的计算
我们经历的每一次地震,都在提醒自己预测和预警这种灾害的迫切性。但是,我们距离这个目标还很远。
为更好的认识地震这一物理现象,需要极其的详细的地壳结构影像,而为了绘制这张地下地图,又需要详尽的数据计算。 目前为止人类打到地下最深的井是前苏联钻探的科拉超深井,约12.2公里,但是地震的震源深度往往在地下十几到几十公里,当前的科技根本无法在震源深度开展直接观测。
所以我们需要依靠分布在全国的数千个地震台来对地震波进行探测,震波在地下的传播特性,受到地质结构的影响,这也是地震波可以用来绘制地底图像的原理。这些地震台可以感知地震的“大震波”,也同样可以捕捉日常的“大地噪声”,例如海潮拍击大陆的震动。
根据地震波进行地底成像的原理
王伟涛告诉记者,像他这样的地球物理科学家几乎都是半个程序员。 因为从地震波到地底成像,中间要经过超越一般人想象的大规模程序计算。他的计算模型是这样的: 每一次震动都会由近至远依次传递到各个地震台,所以理论上来说,每个地震台都会对同一次震动做出自己的记录,这些数据既有差异有又联系。
利用这些数据,可以计算出一些“虚拟地震”。 用每两个地震台之间进行数据互相关对比计算,就可以获取研究中国地下的总体结构所需要的宝贵数据。
虚拟地震可以模拟出和真实地震一样的数据,所以可以用于本来没有发生地震的地区的地底成像 每个地震波数据都有 E,N,Z(东西,南北,垂直)三个向度的分量,全国2000多个永久和临时地震台就是 6000 个分量,每年的数据量大概是 30TB,而我们的总数据量已经到了 PB 级别。
由于我们要相互对比每一个地震台每个时间点的每个分量数据,这些计算量是呈指数级增长的。 王伟涛的智慧和经验,恰恰表现在他所设计的程序和算法之上。 但耗费很大心力完成这个算法的王伟涛博士发现,他才踏上了万里长征的第一步,还有一个巨大的困难横亘在面前。
图中每两个地震台之间的连线(灰色)都是需要计算的数据,总计算量极其庞大。如果使用单机对这些数据进行计算,大概需要七年时间。按照一个人的职业生涯二十年计算的话,我在退休前只能完成三次计算。在这种情况下,大规模分布式的云计算似乎成为了唯一的选择。
然而,云计算的机理绝不像听起来这么轻盈。记者也采访到了中国地震局的合作伙伴阿里云的童鞋们,在他们眼里,云计算和科学研究一样,集合了人类最顶尖的智慧。
所需存储空间、计算量和预计单机计算所需的时间
分布式存储:有关农场的游戏
云存储就像一个大的农场,每个服务器就像一个工人,而你的数据就是羊。阿里云存储高级专家承宗说。看来他是个牧场达人。“分布式存储”,可以看作分布式计算的基础条件。也就是说,你的羊要先放进阿里云的“农场”,它的工人才会帮你照料、喂养、剪毛、纺线。
对于王伟涛博士的数据来说,仅仅是存储在云端,就需要无数“黑科技”。
在将要进行的计算中,计算系统会对存储系统进行大规模的访问。而这些访问必须要平均地打到服务器上,绝不能存在热点。而这还不够,由于服务器的硬件故障在大规模集群中会变成一个常态事件,所以必须做好资源的实时调度和提供故障容忍能力。
例如保证在摘掉一块硬盘的时候,其余的硬盘要迅速用备份数据把存储追齐。
承宗举了以上两个例子。这两个例子换成农场的比喻,大概是如下表述: 农场对于工人的工作量要平均分配,绝不能出现“对着一个羊薅羊毛”的情况发生。另外,农场每天都有工人病倒、请假,要在最短的时间把他的工作合理分配给很多人,这样别的工人也不至于负荷过大。
整个阿里云的分布式文件系统,被命名为盘古。在承宗心里,盘古还有很多智能化的“黑科技”。
他举例了一个例子: 我们人类看到的磁盘都一样,但是盘古看到的磁盘各不相同。它会根据历史访问数据的积累,例如写入的速度和效率,对每一块磁盘的健康度进行打分。
对于健康状况不好的磁盘,就相应减轻一些工作分配。这些底层的技术,都可以为王伟涛博士下一步真正的计算做准备。
承宗说,在分布式计算中,数据带宽成为了一个重要的参数。从王伟涛博士的角度来看,如果把数据存储在自己的服务器上,仅仅利用阿里云的计算能力进行结果输出,是不能实现的。原理很简单,分布式计算的所有服务器都向一个存储单位发送数据读取请求,带宽会被瞬间堵死,再强大的算力都无法发挥。
至于具体数据,百兆光纤的带宽一般是 100Mb/s,而硬盘的带宽最高可达几Gb/s,而阿里云存储内网访问带宽(云计算系统内部)可以高达Tb/s级别。
批量计算:建造一座金字塔
接下来,王伟涛博士的数据就会进入最终计算的环节。我熟悉了自己习惯的 Linux 系统,所有的计算代码都是在这个环境中完成的,如何让我的代码在云计算的环境中发挥作用,是一个很重要的问题。
地底成像数据的计算流程
在地震科学研究方面,阿里云显然没办法提出算法建议,所以他们需要做的是,提供一个通用的接口,让王伟涛可以使用自己机房中的电脑、界面和Linux 系统,来对云上的计算进行控制。
阿里云提供的兼容和适配能力,是阿里计算专家林河山颇为骄傲的地方。 王博士在此之前没有使用过分布式集群,也没有使用过“超算”,所以直接跨越到云上,从操作和控制层面来说,对他来说会是个挑战。
我们提供的计算接口可以让单机程序不做修改就高效执行在云环境下。用户通过几句简单的命令就能在云上调动大规模的计算资源进行分析,而不需要学习复杂的分布式计算知识。其实很多从其他地方过渡到云计算的人都会有这样的问题,所以不仅是王博士,很多其他用户也会用到我们的通用计算接口。他说。 这个时候,大规模计算的障碍基本被扫清了。
不过,林河山告诉记者,云计算真正的核心技术,还在于批量计算的算力调度之上。
大规模计算的加速流程和模式 计算规模扩大之后,就会造成对存储资源的访问非常频繁,这时,对于访问的并发量的控制就要非常“小心”了。
王博士的应用有非常多的小I/O请求,如果每一次I/O请求都直接访问云存储,由此带来的延时会对计算效率造成影响。为了进一步优化计算性能,批量计算采取了“分布式缓存”的策略,把有可能会用到的数据,提前缓存到计算节点周围。这样,就可以让计算能力不受集群规模的限制。林河山说。
而即使是这样,还远远不够,对于数据访问究竟采取多大“粒度”,是考验系统智能的重要时刻。如果一次读取过多,可能造成带宽拥堵,如果一次读取过少,又会造成频繁访问。而针对不同类型的数据,都要做出合理的预判,自动地读取,是一项艰巨的任务。
打个比方: 这如同建造一座金字塔,数万名“奴隶”要分工合作。工程师要决定:是牺牲速度一次性运输多个石块到现场,还是牺牲数量,一次快速运输一块石头到现场。
同样,面对浩瀚的金字塔工程,每时每刻要分配多少奴隶来搅拌砂浆,分配多少奴隶来搬运石块,分别分配多少奴隶来负责建造各个区块,这个即使是工程师都需要仔细考量才能完成的任务,都要交给系统自动完成,难度可想而知。
当然,如此繁复的计算过程,出错是经常会发生的。
林河山举了一个例子: 在渲染追光动画的动画片《小门神》时,阿里云的容错机制就发挥了作用。(当时在峰值有 2000台服务器参与了大规模批量计算。)一般情况下, 对于视频的渲染工作是一个连续的长流程。如果某一帧渲染中哪怕只有一个节点出问题,都会造成访问的大规模延时,造成逻辑上的拥堵,产生“热点”。
林河山说:“阿里云的做法是,在计算出错之后,在最短的时间内重跑,如果在跑的过程中确认节点存在问题,还会自动调度到另一个地方,这些对于用户来说都是没有感知的,但是在背后,我们必须做出大量的努力。
绘制地下的世界
原本需要一年计算时间的整个中国数千个地震台两两之间的五年数据的计算任务,在云计算中狂飙,48小时之内就计算完成了。
地球内部成像,恰似人体的B超
这在云计算时代来临以前是无法想象的。 从科学研究的角度来看,这些数据是原始的地震观测数据的数据产品,同时也是后续科学研究所依赖的重要数据,可以很好地支撑王伟涛进行接下来的研究。 从外界看来计算过程非常顺利,而刚才我们所感受的一切艰辛,都只发生在背后的代码世界。
借用阿里云产品总监李津的话: 当计算结果输出的时候,我们所有的技术人员都沉默了。
我们多么渴望这样的数据早几十年被计算出来,这样我们就能为人类认识地震这一自然灾害争取宝贵的时间。
抛开商业的云雾,可以看到云计算真正的的锋利所在。
王伟涛的研究并没有停止,他说: 目前为止,我只做了2011年到2015年的一个向度上的数据分析,未来还会继续把更多向度和频率上的数据进行计算。科学研究的精确度是可以一直提高的。越来越精确的地底数据,会为矿产勘探、防震减灾和地震科学研究提供非常强的支持。
科学的有趣之处,正是在于不断地尝试。有可能一觉醒来想到新的方法,就要重新改写公式和代码,通过计算进行验证。
也许有一天,属于王伟涛的那只苹果会悄然落下。那一刻,是王伟涛的胜利,也同样是人类计算力的胜利。 我们倾尽全力提高算力,把数据的涓涓细流汇聚成洪荒之力,只是因为我们不愿对脚下的大地懵然无知。
发表评论
暂时没有评论,来抢沙发吧~