阿里云计算和大数据-阿里云计算和大数据文档介绍内容-阿里云

大数据计算服务MaxCompute

适用于远程表数据量小且MISS KEY（源表数据和维表JOIN时，ON条件无法关联）特别多的场景。ALL 策略：缓存维表里的所有数据。在Job运行前，系统会将维表中所有数据加载到Cache中，之后所有的维表查询都会通过Cache进行。如果在Cache中无法...

RDS搭配大数据计算服务实现大规模数据计算

开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过数据集成服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，...

大数据实时计算性能调优服务

从客情来看，实时计算性能调优需求迫切，比如国家电网用采信息数据量大，及时性高，业务逻辑复杂，急切需要搭建实时数仓，但缺少实时计算的落地经验，急切需要实时计算服务人员协助客户搭建实时任务，完善实时数仓。从客户价值来看，从实际...

大数据计算服务MaxCompute的审计事件

大数据计算服务MaxCompute已与操作审计服务集成，您可以在操作审计中查询用户操作MaxCompute产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计...

将Prometheus数据投递至大数据计算服务MaxCompute

当您需要将某个Prometheus实例的数据导出，进行自定义业务处理时，可以使用Prometheus数据投递功能，将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute能帮助您结合其他的数据源执行大数据计算服务，加工后用于报表分析...

将Prometheus数据投递至大数据计算服务MaxCompute

当您需要将某个Prometheus实例的数据导出，进行自定义业务处理时，可以使用Prometheus数据投递功能，将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute能帮助您结合其他的数据源执行大数据计算服务，加工后用于报表分析...

发展历程

深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...

操作审计事件数据迁移至MaxCompute

选择投递到其他账号，设置大数据计算服务ARN 和 大数据计算服务写入角色ARN。选择投递到其他账号时需要先在目标账号中创建RAM角色，授予操作审计服务向目标账号投递事件的权限，并提前创建大数据计算服务项目。具体操作，请参见将多个...

升级和降配

在变配页面，配置升级后所需的CU数量，并勾选 大数据计算服务MaxCompute服务等级协议和阿里云产品服务协议-MaxCompute，单击立即购买。订单价格计算规则如下：升级订单价格计算=新配置剩余时长购买金额（新配置的月单价/30/24×剩余时...

Tablestore外部表

注意事项 MaxCompute与Tablestore是两个独立的大数据计算和存储服务，所以两者之间的网络必须保证连通性。MaxCompute公共云服务访问Tablestore存储时，推荐您使用Tablestore私网地址，即Host名以 ots-internal.aliyuncs.com 作为结尾的地址...

数仓分层

该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为...

Transaction Table2.0概述

如上图所示，如果使用单一的MaxCompute离线批量处理链路，有些场景需持续将用户分钟级增量数据和全量数据做合并处理和存储，产生冗余的计算和存储成本，也有场景需要将各种复杂的一些链路和处理逻辑转化成T+1的批次处理，极大增加链路复杂...

SQL处理优化

能够有效减少DeltaFile的数量和消除数据中间状态，从而极大提升查询效率，但Compaction操作本身也有计算和存储成本，因此，这些策略存在一定的tradeoff，用户需要结合自己的场景配置合理的策略。从节省计算成本的角度，还需要特别说明一个...

E

返回 e 的值。此函数为MaxCompute 2.0扩展函数。命令格式 double e()返回值说明返回DOUBLE类型。使用示例-返回2.718281828459045。select e();相关函数 E函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

PI

返回π的值。此函数为MaxCompute 2.0扩展函数。命令格式 double pi()返回值说明返回DOUBLE类型。使用示例-返回3.141592653589793。select pi();相关函数 PI函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

UNHEX

返回十六进制字符串所代表的字符串。此函数为MaxCompute 2.0扩展函数。命令格式 binary unhex(string)参数说明 number：必填。为十六进制字符串。...相关函数 UNHEX函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

FILTER

将ARRAY数组 a 中的元素利用 func 进行过滤，返回一个新的ARRAY数组。命令格式 array<T>filter(array<T><a>,function,boolean>)参数说明 a：必填。...相关函数 FILTER函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

数据分析整体趋势

这些云原生数据仓库技术分别起源于数据库和大数据，提供标准SQL接口和ACID保证，底层存储通过Share Everything或Share Nothing实现资源池化和横向扩展能力。资源隔离，数据共享是目前业务应用对云原生数据仓库的普遍需求。综上所述，数据...

CORR

计算两列数据的皮尔逊系数（Pearson Correlation Coefficien）。此函数为MaxCompute 2.0扩展函数。命令格式 double corr(,)参数说明 col1、col2：必填。...相关函数 CORR函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

关于我们

阿里云隐私计算产品是源于阿里集团内部数据安全流通的最新解决方案和实践，所以她的提出是基于解决实际的数据安全问题和大数据场景需要，这就决定了她的基因里面就是贴身于实际产业应用。目前团队中拥有全职博士4名，研究型密码学博士实习...

产品概述

高度可扩展相比传统单机关系型数据库，PolarDB-X 1.0 采用分层架构可确保在并发、计算、数据存储三个方面均可线性扩展，通过增加 PolarDB-X 1.0 计算资源与存储资源以达到水平扩展效果。相比基于分布式存储的新型Cloud Native数据库，理论...

RAND

返回DOUBLE类型的随机数，返回值区间是0～1。命令格式 double rand(bigint)参数说明 seed：可选。BIGINT类型。随机数种子，决定随机数序列的起始值。...相关函数 RAND函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

LOG

计算以 base 为底的 x 的对数。命令格式 double log(,)参数说明 base：必填。底数。DOUBLE或DECIMAL类型。输入为STRING、BIGINT类型时，会隐式转换为DOUBLE类型后...LOG函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

SQRT

计算 number 的平方根。命令格式 double|decimal sqrt()参数说明 number：必填。DOUBLE或DECIMAL类型，必须大于0，小于0时返回NULL。输入为STRING、BIGINT类型时，会隐式转换为DOUBLE...更多数据计算、数据转换的相关函数请参见数学函数。

LN

计算 number 的自然对数。命令格式 double|decimal ln()参数说明 number：必填。DOUBLE或DECIMAL类型。输入为STRING、BIGINT类型时，会隐式转换...相关函数 LN函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

POW

4900.0|56.25|56.25|NULL|1.0|104.03999999999999|104.03999999999999|1.0|8100.0|6.6564000000000005|6.6564000000000005|0.0|100.0|33.64|33.64|8100.0|+-+-+-+-+相关函数 POW函数属于数学函数，更多数据计算、数据转换的相关函数请参见 ...

ASIN

COSH

计算 number 的双曲余弦函数。命令格式 double|decimal cosh()参数说明 number：必填。...165.151293732197|6.102016471589204e38|+-+-+-+-+相关函数 COSH函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

ATAN

计算 number 的反正切函数。命令格式 double atan()参数说明 number：必填。DOUBLE类型。...1.4000611153196139|-1.5596856728972892|+-+-+-+-+相关函数 ATAN函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

COT

计算 number 的余切函数，输入为弧度值。命令格式 double|decimal cot()参数说明 ...1.9059736612916494|1.9059736612916494|0.5012027833801532|+-+-+-+-+相关函数 COT函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

TANH

0.9999999972367348|-0.7615941559557649|-1.0|0.9885821584459533|0.9885821584459533|0.0|0.9999999958776927|-0.9999816679925603|-0.9999816679925603|-1.0|+-+-+-+-+相关函数 TANH函数属于数学函数，更多数据计算、数据转换的相关...

SIN

计算 number 的正弦函数，输入为弧度值。...0.0|-0.5440211108893698|0.46460217941375737|0.46460217941375737|-0.8939966636005579|+-+-+-+-+相关函数 SIN函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

COS

计算 number 的余弦函数，输入为弧度值。命令格式 double|decimal cos()参数说明 ...0.8855195169413189|0.8855195169413189|-0.4480736161291701|+-+-+-+-+相关函数 COS函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

TAN

计算 number 的正切函数，输入为弧度值。命令格式 double|decimal tan()参数说明 ...0.5246662219468002|0.5246662219468002|1.995200412208242|+-+-+-+-+相关函数 TAN函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

SINH

计算 number 的双曲正弦函数。命令格式 double|...0.0|11013.232874703393|-165.1482661774516|-165.1482661774516|-6.102016471589204e38|+-+-+-+-+相关函数 SINH函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

EXP

计算 number 的指数函数。...13.197138159658358|1.0|22026.465794806718|0.0030275547453758153|0.0030275547453758153|8.194012623990515e-40|+-+-+-+-+相关函数 EXP函数属于数学函数，更多数据计算、数据转换的相关函数请参见数学函数。

decimal_new|string_new|+-+-+-+-+|-10|1|1|10|NULL|0|0|-10|-1|NULL|21|30|4|1|NULL|-30|-50|-1|-1|50|6|2|2|-50|-70|-7|-7|NULL|1|-10|-10|-1|-90|3|3|0|10|-5|-5|-90|+-+-+-+-+相关函数 CEIL函数属于数学函数，更多数据计算、数据转换的...

MaxCompute湖仓一体概述

MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。本文介绍如何通过MaxCompute和异构数据...

阿里云计算和大数据

新品推荐