阿里云odps数据库（阿里云olap数据库）

本文目录一览：

• 1、阿里云的主要功能是什么？
• 2、2.3 阿里云ODPS常用SQL操作
• 3、【SQL】阿里云ODPS常用SQL总结
• 4、用户可以在阿里云官网的哪一个页面找到
• 5、ODPSSQL获取max_pt
• 6、阿里云odps是什么？

阿里云的主要功能是什么？

阿里云致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠科技。

阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业，包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户，以及微博、知乎、锤子科技等明星互联网公司。在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中，阿里云保持着良好的运行纪录。

阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。

扩展资料：

阿里云主要产品：

1、弹性计算：

云服务器ECS：可弹性扩展、安全、稳定、易用的计算服务

块存储：可弹性扩展、高性能、高可靠的块级随机存储

专有网络VPC：帮您轻松构建逻辑隔离的专有网络

负载均衡：对多台云服务器进行流量分发的负载均衡服务

弹性伸缩：自动调整弹性计算资源的管理服务

资源编排：批量创建、管理、配置云计算资源

容器服务：应用全生命周期管理的Docker服务

高性能计算HPC：加速深度学习、渲染和科学计算的GPU物理机

批量计算：简单易用的大规模并行批处理计算服务

E-MapReduce：基于Hadoop/Spark的大数据处理分析服务

2、数据库：

云数据库RDS：完全兼容MySQL，SQLServer，PostgreSQL

云数据库MongoDB版：三节点副本集保证高可用

云数据库Redis版：兼容开源Redis协议的Key-Value类型

云数据库Memcache版：在线缓存服务，为热点数据的访问提供高速响应

PB级云数据库PetaData：支持PB级海量数据存储的分布式关系型数据库

云数据库HybridDB：基于GreenplumDatabase的MPP数据仓库

云数据库OceanBase：金融级高可靠、高性能、分布式自研数据库

数据传输：比GoldenGate更易用，阿里异地多活基础架构

数据管理：比phpMyadmin更强大，比Navicat更易用

3、存储：

对象存储OSS：海量、安全和高可靠的云存储服务

文件存储：无限扩展、多共享、标准文件协议的文件存储服务

归档存储：海量数据的长期归档、备份服务

块存储：可弹性扩展、高性能、高可靠的块级随机存储

表格存储：高并发、低延时、无限容量的Nosql数据存储服务

4、网络：

CDN：跨运营商、跨地域全网覆盖的网络加速服务

专有网络VPC：帮您轻松构建逻辑隔离的专有网络

高速通道：高速稳定的VPC互联和专线接入服务

NAT网关：支持NAT转发、共享带宽的VPC网关

2018年6月20日，阿里云宣布联合三大运营商全面对外提供IPv6服务。

5、大数据：

MaxCompute：原名ODPS，是一种快速、完全托管的TB/PB级数据仓库解决方案。

QuickBI：高效数据分析与展现平台，通过对数据源的连接，和数据集的创建，对数据进行即席的分析与查询。并通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。

大数据开发套件：提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能，拥有强大的OpenAPI为数据应用开发者提供良好的再创作生态

DataV数据可视化：专精于业务数据与地理信息融合的大数据可视化，通过图形界面轻松搭建专业的可视化应用，满足您日常业务监控、调度、会展演示等多场景使用需求

关系网络分析：基于关系网络的大数据可视化分析平台，针对数据情报侦察场景赋能，如打击虚假交易，审理保险骗赔，案件还原研判等

推荐引擎：推荐服务框架，用于实时预测用户对物品偏好，支持A/BTest效果对比

公众趋势分析：利用语义分析、情感算法和机器学习，分析公众对品牌形象、热点事件和公共政策的认知趋势

企业图谱：提供企业多维度信息查询，方便企业构建基于企业画像及企业关系网络的风险控制、市场监测等企业级服务

数据集成：稳定高效、弹性伸缩的数据同步平台，为阿里云各个云产品提供离线(批量)数据进出通道

分析型数据库：在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索

流计算：流式大数据分析平台，提供给用户在云上进行流式数据实时化分析工具

6、人工智能：

机器学习：基于阿里云分布式计算引擎的一款机器学习算法平台，用户通过拖拉拽的方式可视化的操作组件来进行试验，平台提供了丰富的组件，包括数据预处理、特征工程、算法组件、预测与评估

语音识别与合成：基于语音识别、语音合成、自然语言理解等技术，为企业在多种实际应用场景下，赋予产品“能听、会说、懂你”式的智能人机交互体验

人脸识别：提供图像和视频帧中人脸分析的在线服务，包括人脸检测、人脸特征提取、人脸年龄估计和性别识别、人脸关键点定位等独立服务模块

印刷文字识别：将图片中的文字识别出来，包括身份证文字识别、门店招牌识别、行驶证识别、驾驶证识别、名片识别等证件类文字识别场景

7、云安全：

服务器安全（安骑士）：由轻量级Agent和云端组成，集检测、修复、防御为一体，提供网站后门查杀、通用Web软件0day漏洞修复、安全基线巡检、主机访问控制等功能，保障服务器安全

DDoS高防IP：云盾DDoS高防IP是针对互联网服务器（包括非阿里云主机）在遭受大流量的DDoS攻击后导致服务不可用的情况下，推出的付费增值服务，用户可以通过配置高防IP，将攻击流量引流到高防IP，确保源站的稳定可靠

Web应用防火墙：网站必备的一款安全防护产品。通过分析网站的访问请求、过滤异常攻击，保护网站业务可用及资产数据安全

加密服务：满足云上数据加密，密钥管理、加解密运算需求的数据安全解决方案

CA证书服务：云上签发Symantec、CFCA、GeoTrustSSL数字证书，部署简单，轻松实现全站HTTPS化，防监听、防劫持，呈现给用户可信的网站访问

数据风控：凝聚阿里多年业务风控经验，专业、实时对抗垃圾注册、刷库撞库、活动作弊、论坛灌水等严重威胁互联网业务安全的风险

绿网：智能识别文本、图片、视频等多媒体的内容违规风险，如涉黄，暴恐，涉政等，省去90%人力成本

安全管家：基于阿里云多年安全实践经验为云上用户提供的全方位安全技术和咨询服务，为云上用户建立和持续优化云安全防御体系，保障用户业务安全

云盾混合云：在用户自有IDC、专有云、公共云、混合云等多种业务环境为用户建设涵盖网络安全、应用安全、主机安全、安全态势感知的全方位互联网安全攻防体系

态势感知：安全大数据分析平台，通过机器学习和结合全网威胁情报，发现传统防御软件无法覆盖的网络威胁，溯源攻击手段、并且提供可行动的解决方案

先知：全球顶尖白帽子和安全公司帮你找漏洞，最私密的安全众测平台。全面体检，提早发现业务漏洞及风险，按效果付费

移动安全：为移动APP提供安全漏洞、恶意代码、仿冒应用等检测服务，并可对应用进行安全增强，提高反破解和反逆向能力。

8、互联网中间件：

企业级分布式应用服务EDAS：以应用为中心的中间件PaaS平台、

消息队列MQ：ApacheRocketMQ商业版企业级异步通信中间件

分布式关系型数据库服务DRDS：水平拆分/读写分离的在线分布式数据库服务

云服务总线CSB：企业级互联网能力开放平台

业务实施监控服务ARMS：端到端一体化实时监控解决方案产品

9、分析：

E-MapReduce：基于Hadoop/Spark的大数据处理分析服务

云数据库HybirdDB：基于GreenplumDatabase的MPP数据仓库

高性能计算HPC：加速深度学习、渲染和科学计算的GPU物理机

大数据计算服务MaxCompute：TB/PB级数据仓库解决方案

分析型数据库：海量数据实时高并发在线分析

开放搜索：结构化数据搜索托管服务

QuickBI：通过对数据源的连接，对数据进行即席分析和可视化呈现。

参考资料：

百度百科-阿里云

2.3 阿里云ODPS常用SQL操作

SQL语句查询时，可使用的关键字：

命令格式如下：

如果需要整个项目都允许全表扫描，可以通过开关自行打开或关闭（true/false），命令如下：

查询的对象是另外一个Select操作，如：

UNION ALL：将两个或多个Select操作返回的数据集联合成一个数据集，如果结果有重复行时，会返回所有符合条件的行，不进行重复行的去重处理。

UNION [DISTINCT]：其中DISTINCT可忽略。将两个或多个Select操作返回的数据集联合成一个数据集，如果结果有重复行时，将进行重复行的去重处理。

UNION ALL示例如下：

UNION示例如下：

--执行的效果相当于

left join：左连接，会从左表（shop）中返回所有的记录，即使在右表（sale_detail）中没有匹配的行。

right outer join：右连接，返回右表中的所有记录，即使在左表中没有记录与它匹配。

示例如下：

full outer join：全连接，返回左右表中的所有记录。

示例如下：

inner join：在表中存在至少一个匹配时，inner join返回行。关键字inner可省略。

命令格式如下：

【SQL】阿里云ODPS常用SQL总结

系统参数，格式为yyyymmdd，日常调度实例定时时间的前一天（年月日）。节点每天自动调度实例定时时间年月日减1天。

如果表中有分区，查询时必须指定分区

join，left outer join，right outer join，full outer join

if表达式更简洁，只包含两种情况；case when...then..else...end可应用多情况条件下分类

具体可参考教程 with as 使用

FROM_UNIXTIME是将时间戳转换为日期类型

1，经典SQL题：

用户可以在阿里云官网的哪一个页面找到

用户可以在阿里云官网的“支持”页面找到相关信息。

发生问题的原因可能是用户在使用阿里云服务时出现了技术问题，或者是用户在使用阿里云服务时出现了操作问题。

解决方法为用户可以在阿里云官网的“支持”页面查看常见问题，以及解决方案，以便快速解决问题。其次，用户可以在阿里云官网的“支持”页面提交工单，以便获得专业的技术支持。

最后，用户可以在阿里云官网的“支持”页面查看相关文档，以便更好地了解阿里云服务。尽量避免在使用阿里云服务时出现技术问题和操作问题，以免耽误工作。尽量充分利用阿里云官网的“支持”页面，以便获得更好的技术支持和更多的相关知识。

阿里云大数据：

1、MaxCompute：原名ODPS，是一种快速、完全托管的TB/PB级数据仓库解决方案。大数据开发套件：提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能，拥有强大的Open API为数据应用开发者提供良好的再创作生态。

2、DataV数据可视化：专精于业务数据与地理信息融合的大数据可视化，通过图形界面轻松搭建专业的可视化应用， 满足您日常业务监控、调度、会展演示等多场景使用需求。

3、关系网络分析：基于关系网络的大数据可视化分析平台，针对数据情报侦察场景赋能，如打击虚假交易，审理保险骗赔，案件还原研判等。

ODPSSQL获取max_pt

selectmax_pt('tableName')对于分区的表，此函数返回该分区表的一级分区的最大值，按字母排序，且该分区下有对应的数据文件。说明：tableName：String类型，指定表名(必须带上project名，例如：prj.src)，用户必须拥有该表的读权限。返回值：最大的一级分区的值。例：tab是分区表，该表对应的分区如下，且都有数据文件。pt='20080807'pt='20080808'select*fromtabwherept=max_pt('project.tab')；该语句max_pt值为“20080808”，阿里云ODPS数据库SQL语句读出pt='20080808'分区下的数据。备注：如果只是用altertable的方式新加了一个分区，但是此分区中并无任何数据文件，则此分区不会做为返回值。

max_pt是个非常好用的函数，可以获取分区表的最新分区，正因为好用，促成使用人员养成了在任意场景下都使用max_pt来替代'${bizdate}'的习惯。什么场景下会使用？1.当天数据无法及时产出，想使用最近一个分区的数据。2.使用最新分区的数据，回刷历史某一天的数据。

使用max_pt可能引发的风险：1.部分任务会产出未来日期的分区，比如某业务订单表ccbOrder有20080808分区，把未完结订单都放在20080808分区里，此时用max_pt可能会取不到想要的数据。2.同一个结果表，分多段insert数据至同一结果表，当多段任务并未完成时，使用max_pt获取不到全量数据。3.当datax同步任务刚添加好分区，数据未完成同步，使用max_pt，只获取了部分数据。4.回刷数据，确保数据源自历史分区数据状态，使用max_pt达不到这个目的。

阿里云odps是什么？

ODPS（Open Data Processing Service），是阿里巴巴通用计算平台提供的一种快速、完全托管的GB/TB/PB级数据仓库解决方案，现在已更名为MaxCompute，MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。