ODPS-0123091
ODPS-0123091:Illegal type cast 错误1：in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型...
常见问题
MaxCompute提供数据备份与恢复功能，MaxCompute会自动备份数据的历史版本（被删除或修改前的数据）并保留一定时间，您可以对保留周期内的数据进行快速恢复，避免因误操作丢失数据。更多备份恢复信息，请参见 备份与恢复。不同项目的表是否...
LIST TRUSTEDPROJECTS
相关命令 ProjectProtection：开启项目空间的数据保护机制。ADD TRUSTEDPROJECT：在当前项目空间中添加可信的项目空间，通过项目互信的方式确保数据顺利流转。REMOVE TRUSTEDPROJECT：在当前项目中删除已添加的可信的项目。
COST SQL
计量预估，基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。使用限制 目前外部表不支持Cost SQL功能。注意...
安全配置常见问题
问题类别 常见问题 数据安全 MaxCompute如何保证数据安全？MaxCompute的数据是否可靠？VPC IP白名单是否支持设置网段？项目安全 运行作业报错AllMachineInBlackList，如何解决？因涉及项目数据保护，无法将MaxCompute数据导出至MySQL，如何...
TableTunnel
TableTunnel是访问MaxCompute Tunnel服务的入口类，仅支持表数据（非视图）的上传和下载。TableTunnel接口定义及说明 TableTunnel接口定义如下，详情请参见 Java-sdk-doc。public class TableTunnel { public DownloadSession ...
安全操作
MaxCompute提供项目数据保护机制，为数据安全提供保障。本文为您介绍常用安全操作命令。安全操作常用命令如下。详细安全相关操作请参见 安全参数列表。类型 功能 角色 操作入口 开启项目数据保护 开启项目的数据保护机制。项目Owner或授予...
升级和降配
如果您购买的MaxCompute包年包月资源无法满足或者超过您的业务计算量需求，需要购买更多资源以支撑业务需求或者降低资源以减少费用，您可以通过相应的资源升级和资源降配操作进行规格变配。背景信息 您在使用MaxCompute产品过程中，如果...
ADD TRUSTEDPROJECT
在当前项目空间中添加可信的项目空间，通过项目互信的方式确保数据顺利流转。命令格式 add trustedproject;参数说明 参数名称 是否必填 说明 project_name 是 待添加可信项目空间的名称。相关命令 ProjectProtection：开启项目空间的数据...
事务管理
对DTT（Delta Transactional Table）的所有数据修改操作，都会由MetaService统一进行事务管理，满足ACID特性，应用MVCC模型来保障读写快照隔离，采用OCC模型进行乐观事务并发控制。冲突检测规则 下表为作业并发提交场景下，对同一个非分区...
TRANSFORM
将ARRAY数组 a 的元素利用 func 进行转换，返回一个新的ARRAY数组。命令格式 array<R>transform(array...相关函数 TRANSFORM函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
REMOVE TRUSTEDPROJECT
相关命令 ProjectProtection：开启项目空间的数据保护机制。LIST TRUSTEDPROJECTS：在当前项目空间中查看已添加的可信的项目空间。ADD TRUSTEDPROJECT：在当前项目空间中添加可信的项目空间，通过项目互信的方式确保数据顺利流转。
规格常见问题
问题类别 常见问题 包年包月 按量计费模式转为包年包月模式时，如何评估需要购买多少计算资源？包年包月计费模式下，计算资源是如何利用的？按量计费 按量计费模式需要提前购买计算资源吗？一个地域是否可以有多个项目使用开发者版？按量...
ODPS-0130241
解决方案 修改query，必要时可以执行显式类型转换，以保证union两边数据的类型相匹配。Query示例-创建表 odps>create table mc_test1(a string);odps>create table mc_test2(a bigint);错误，union两边的数据类型不匹配 odps>(select a ...
ARRAY_REMOVE
待删除的元素，数据类型必须与 a 中元素的数据类型相同。返回值说明 返回ARRAY类型。返回规则如下：如果ARRAY数组 a 中存在元素为NULL时，NULL值不参与运算。如果ARRAY数组 a 或 element 为NULL，返回NULL。ARRAY数组 a 中不存在 element ...
其它操作
计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。说明 该信息不能作为实际计费标准，仅供参考，实际...
数据可视化展现
本文为您介绍如何通过DataWorks数据分析实现用户画像数据可视化展示。前提条件 在开始试验前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户画像数据进行...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
开发Python UDF
默认下载100条数据，如果需要更多数据测试，请在MaxCompute客户端使用Tunnel命令或者MaxCompute Studio的表下载功能下载数据。下载完成后，您可以在 warehouse 目录下该表的 data 文件中看到下载的示例数据。本地运行框架会根据您指定的列...
就绪检测节点
在场景运行开始时，就绪检测节点可检测数据源是否符合设定的条件，如果不符合，则无法继续运行场景。本文介绍就绪检测节点的配置参数说明。节点属性 节点属性 界面关键参数说明如下：参数 说明 节点名称 节点的名称。节点标识 节点的唯一...
CORR
计算两列数据的皮尔逊系数（Pearson Correlation Coefficien）。此函数为MaxCompute 2.0扩展函数。命令格式 double corr(,)参数说明 col1、col2：必填。...相关函数 CORR函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
兼容性概述
BI分析工具连接MaxCompute，能够充分利用MaxCompute强大的数据处理能力和高性能的计算资源，为您带来更高效的数据分析体验。为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与...
IF
判断 testCondition 是否为真。...返回值说明 返回值类型和参数 valueTrue 或 valueFalseOrNull 的数据类型一致。使用示例-返回200。select if(1=2,100,200);相关函数 IF函数属于其他函数，更多其他业务场景的函数请参见 其他函数。
概述
Spark全密态数据计算引擎常用于解决数据存储与计算安全、敏感数据合规和数据安全共享场景中的数据安全问题。以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析...
ZIP_WITH
将ARRAY数组 a 和 b 的元素按照位置，使用 combiner 进行元素级别的合并，返回一个新的ARRAY数组。...相关函数 ZIP_WITH函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
就绪检测节点
在场景运行开始时，就绪检测节点可检测数据源是否符合设定的条件，如果不符合，则无法继续运行场景。本文介绍就绪检测节点的配置参数说明。节点属性 节点属性 界面关键参数说明如下：参数 说明 节点名称 节点的名称。节点标识 节点的唯一...
导入数据
数据查询提供数据导入功能，可将数据直接进行导入，并且提供快速预览和一键探查。本文介绍如何导入数据。前提条件 已新建导入数据所需的云计算资源，具体操作，请参见 新建云计算资源。说明 支持进行数据导入的云计算资源有：RDS MySQL、...
使用DataHub（实时数据传输）
DataHub 是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能，让您可以轻松构建基于流式数据的分析和应用。DataHub同样提供流式数据归档的功能，支持流式数据归档至...
POSEXPLODE
将ARRAY数组 a 展开，每个Value一行，每行两列分别对应数组从0...pos|val|+-+-+|0|a|1|c|2|f|3|b|+-+-+相关函数 POSEXPLODE函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
长周期指标的计算优化方案
改进思路：维护一张店铺商品和买家购买关系的维表A，记录买家和店铺的购买关系、第一次购买时间、最近一次购买时间、累计购买件数、累计购买金额等信息。每天使用最近1天的支付明细日志更新表A的相关数据。计算老买家数量时，判断最近一次...
概述
MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接（Java Database Connectivity）接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。JDBC...
HASH
使用示例 示例1：计算相同数据类型的输入参数的Hash值。命令示例如下。返回66。select hash(0,2,4);示例2：计算不同数据类型的输入参数的Hash值。命令示例如下。返回97。select hash(0,'a');示例3：任一输入参数为空或NULL。命令示例如下。...
查询非结构化数据
说明 您可以根据需要选择Extractor、StorageHandler或Outputer类型：Extractor：自定义输入数据解析器，用来实现自定义处理数据读取的逻辑，即如何读取非结构化数据。StorageHandler：用于指定和配置自定义Extractor和Outputer的实现类。...
ARRAY_JOIN
将ARRAY数组 a 中的元素使用 delimiter 拼接为字符串。当数组中元素为NULL时，用 nullreplacement 替代...相关函数 ARRAY_JOIN函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
公共规范
本文为您介绍建设MaxCompute数据仓库的公共规范。层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共...
计费项与计费方式概述
计算费用（按量付费）MaxCompute支持对SQL、MapReduce、Spark、Mars（数据科学）、Lightning（交互式分析）和MCQA（查询加速）计算类型按量计费。说明 Lightning（交互式分析）服务将于2022年12月31日下线，详情请参见 MaxCompute ...
CLEAR EXPIRED GRANTS
相关命令 SET LABEL：为表或列数据设置敏感等级标签。GRANT LABEL：由Project Owner或具备Admin角色的用户为低级别用户授予访问高敏感等级数据的权限。REVOKE：由Project Owner或具备Admin角色的用户撤销Label显式授权。
JSON_EXTRACT
解析JSON表达式中对应json_path的数据，注意json_path非法时会报错。命令格式 json json_extract(,)参数说明 json：必填，待处理的JSON。json_path：必填，需要返回的值的JSON路径。返回值说明 返回JSON类型。使用示例 示例1：从JSON中获取...
Tunnel SDK示例汇总引导
服务地址的选择会直接影响您上传数据的效率及计量计费。详情请参见 Tunnel SDK简介。数据上传时，建议您使用TunnelBufferedWriter，详情请参见 BufferedWriter 相关的示例代码。不同版本SDK在使用时会有不同，文档示例中的版本信息仅供参考...
- 产品推荐
- 这些文档可能帮助您