ProjectProtection
开启或关闭项目空间的数据保护机制。您只能在项目空间中访问数据。数据只能在项目空间内流动，不允许流出到项目空间之外，以提高数据的安全性。使用限制 本文中的命令您需要在 MaxCompute客户端 执行。本命令为CMD命令，仅支持在客户端...
组件与数据类型的兼容
不支持 不支持 PAI 支持除Decimal之外的其它数据类型 2.0新增的数据类型中仅支持INT 部分功能支持map数据类型 不支持 不支持 PyODPS 支持 DataFrame不支持2.0数据类型 其它功能都支持2.0数据类型 支持 DataFrame不支持2.0数据类型 其它功能...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
时区配置操作
为了保证MaxCompute在多个时区DATETIME类型数据的正确性，MaxCompute服务、Java SDK以及客户端将会进行版本更新（-oversea 后缀的Java SDK或客户端版本），更新后可能影响MaxCompute中已经存储的早于1928年的DATETIME类型数据的显示。...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
数据资产等级定义
本文为您介绍数据资产等级的定义，以及如何定义生产链路上的相关数据的资产等级。数据资产等级定义 根据数据质量不满足完整性、准确性、一致性、及时性时，对业务的影响程度划分数据的资产等级。通常，划分为5个性质的等级：毁灭性质：数据...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
概述
它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持如下场景：离线计算场景，例如GraphX、Mllib、RDD、Spark-SQL、...
购买、变配与升级
创建 AnalyticDB for MySQL 集群时，支付的包年包月费用为基础资源的包年包月费用，其中包括基础计算资源的费用和基础存储资源（弹性IO资源）的费用。在集群使用过程中，会发生数据存储、资源弹性变配，占用存储空间和弹性资源。存储空间和...
使用DataHub（实时数据传输）
DataHub 是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能，让您可以轻松构建基于流式数据的分析和应用。DataHub同样提供流式数据归档的功能，支持流式数据归档至...
JSON_TYPE
返回JSON数据所属的数据类型名称。命令格式 string|number|boolean|null|object|array json_type()参数说明 json：必填，待处理的JSON表达式。返回值说明 返回STRING类型。使用示例 示例1：返回JSON内的数据类型（array类型）。select json...
数据建模新能力解读
以下为您系列讲解阿里云智能数据建模新能力解读。课程视频列表 课程简介 课程内容：数据建模的发展背景。主要产品：DataWorks 课程时长：5分钟 课程内容：当前主流的数据建模方法论。主要产品：DataWorks 课程时长：4分钟 课程内容：数据...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
什么是物联网边缘计算
物联网边缘计算可以结合阿里云的大数据、AI学习、语音、视频等能力，打造出云边端三位一体的计算体系。功能特性 功能特性 描述 边缘一体机 边缘一体机是物联网边缘计算服务配套的硬件，是一个边缘实例业务的核心，提供整个边缘实例所需要的...
基于Delta lake的一站式数据湖构建与分析实战
数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统开源大数据计算引擎Hive、Spark、Presto、Flink等，同时也支持云厂商自研的大数据引擎，如阿里云MaxCompute、Hologres等。在数据湖存储与计算引擎...
计算资源使用
配额组（Quota）是MaxCompute的计算资源池，为MaxCompute中的计算作业提供所需计算资源（CPU及内存）。在MaxCompute中支持根据计算作业对计算资源的需求，指定匹配的Quota，助力您高效使用计算资源。本文为您介绍如何使用MaxCompute的Quota...
SELECT MATERIALIZED VIEW
背景信息 物化视图状态分为如下两种：物化视图有效 执行查询语句时，MaxCompute会从物化视图中直接查询数据，不会从源数据中查询数据。物化视图无效 执行查询语句时，MaxCompute无法从物化视图中直接查询数据，会从源数据中查询数据，无法...
Logview诊断实践
解决思路：一种情况是数据分布变化导致的，我们在写表的过程中，会对数据进行压缩，而压缩算法对于重复数据的压缩率是最高的，所以如果写表的过程中，如果相同的数据都排布在一起，就可以获得很高的压缩率。写表的数据分布情况主要取决于写...
数据资产定级
数据的资产等级，可以根据数据质量不满足完整性、准确性、一致性、及时性对业务的影响程度进行划分。数据等级定义如下：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业级...
ODPS-0123091
ODPS-0123091:Illegal type cast 错误1：in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型...
常见问题
MaxCompute提供数据备份与恢复功能，MaxCompute会自动备份数据的历史版本（被删除或修改前的数据）并保留一定时间，您可以对保留周期内的数据进行快速恢复，避免因误操作丢失数据。更多备份恢复信息，请参见 备份与恢复。不同项目的表是否...
规格常见问题
问题类别 常见问题 包年包月 按量计费模式转为包年包月模式时，如何评估需要购买多少计算资源？包年包月计费模式下，计算资源是如何利用的？按量计费 按量计费模式需要提前购买计算资源吗？一个地域是否可以有多个项目使用开发者版？按量...
LIST TRUSTEDPROJECTS
相关命令 ProjectProtection：开启项目空间的数据保护机制。ADD TRUSTEDPROJECT：在当前项目空间中添加可信的项目空间，通过项目互信的方式确保数据顺利流转。REMOVE TRUSTEDPROJECT：在当前项目中删除已添加的可信的项目。
升级和降配
如果您购买的MaxCompute包年包月资源无法满足或者超过您的业务计算量需求，需要购买更多资源以支撑业务需求或者降低资源以减少费用，您可以通过相应的资源升级和资源降配操作进行规格变配。背景信息 您在使用MaxCompute产品过程中，如果...
COST SQL
计量预估，基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。使用限制 目前外部表不支持Cost SQL功能。注意...
TableTunnel
TableTunnel是访问MaxCompute Tunnel服务的入口类，仅支持表数据（非视图）的上传和下载。TableTunnel接口定义及说明 TableTunnel接口定义如下，详情请参见 Java-sdk-doc。public class TableTunnel { public DownloadSession ...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
安全操作
MaxCompute提供项目数据保护机制，为数据安全提供保障。本文为您介绍常用安全操作命令。安全操作常用命令如下。详细安全相关操作请参见 安全参数列表。类型 功能 角色 操作入口 开启项目数据保护 开启项目的数据保护机制。项目Owner或授予...
事务管理
对DTT（Delta Transactional Table）的所有数据修改操作，都会由MetaService统一进行事务管理，满足ACID特性，应用MVCC模型来保障读写快照隔离，采用OCC模型进行乐观事务并发控制。冲突检测规则 下表为作业并发提交场景下，对同一个非分区...
分析业务过程
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
使用客户端（odpscmd）或Studio
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您概要介绍如何在对应的工具中使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。使用Tunnel命令下载数据 Tunnel命令主要有 Upload...
ADD TRUSTEDPROJECT
在当前项目空间中添加可信的项目空间，通过项目互信的方式确保数据顺利流转。命令格式 add trustedproject;参数说明 参数名称 是否必填 说明 project_name 是 待添加可信项目空间的名称。相关命令 ProjectProtection：开启项目空间的数据...
REMOVE TRUSTEDPROJECT
相关命令 ProjectProtection：开启项目空间的数据保护机制。LIST TRUSTEDPROJECTS：在当前项目空间中查看已添加的可信的项目空间。ADD TRUSTEDPROJECT：在当前项目空间中添加可信的项目空间，通过项目互信的方式确保数据顺利流转。
TRANSFORM
将ARRAY数组 a 的元素利用 func 进行转换，返回一个新的ARRAY数组。命令格式 array<R>transform(array...相关函数 TRANSFORM函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
NVL
当您在查询中希望用一个具体的值来代替NULL值时，MaxCompute支持使用NVL函数将NULL值替换为指定的值，确保在执行数据分析或生成报告时，结果中不会有意外的空值。本文为您介绍在MaxCompute中NVL函数的使用。命令格式 nvl(T,T)参数说明 ...
ODPS-0130241
解决方案 修改query，必要时可以执行显式类型转换，以保证union两边数据的类型相匹配。Query示例-创建表 odps>create table mc_test1(a string);odps>create table mc_test2(a bigint);错误，union两边的数据类型不匹配 odps>(select a ...
其它操作
计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。说明 该信息不能作为实际计费标准，仅供参考，实际...
ARRAY_REMOVE
待删除的元素，数据类型必须与 a 中元素的数据类型相同。返回值说明 返回ARRAY类型。返回规则如下：如果ARRAY数组 a 中存在元素为NULL时，NULL值不参与运算。如果ARRAY数组 a 或 element 为NULL，返回NULL。ARRAY数组 a 中不存在 element ...
开发UDF
说明 如果需要使用MaxCompute项目中的表数据，需要先在 MaxCompute project 中更改设置Endpoint和指定项目名称，指定的MaxCompute项目的表数据未被下载至 warehouse 目录中，会先下载数据；如果数据已经下载，则跳过此步骤。MaxCompute ...
整体架构
云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来，AnalyticDB MySQL版 至今已累计迭代发布近百个版本，支撑起集团内的电商、广告、物流、...
- 产品推荐
- 这些文档可能帮助您