开发PyODPS 2任务
背景信息 PyODPS是MaxCompute的Python版本的SDK，提供简单方便的Python编程接口，以便您使用Python编写MaxCompute作业、查询MaxCompute表和视图，以及管理MaxCompute资源，详情请参见 PyODPS概述。在DataWorks中，您可通过PyODPS节点实现...
生命周期
MaxCompute表的生命周期（Lifecycle），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）将被MaxCompute自动回收。这个指定的时间就是生命周期。通过设置生命周期可以实现自动数据清理或数据保留，...
2022年
2022-02-25 全部地域 项目空间操作 MaxCompute支持表结构变更 MaxCompute支持表结构变更功能，包括表可以新增复杂类型字段，表删除字段以及表字段顺序变更三种功能。2022-02-23 全部地域 分区和列操作 2022-1 功能名称 功能描述 发布时间 ...
Spark On MaxCompute访问Phoenix数据
本文主要为您介绍使用Spark连接Phoenix，并将HBase中的数据写入到MaxCompute的实践方案。背景信息 Phoenix是HBase提供的SQL层，主要为了解决高并发、低延迟、简单查询等场景。为了满足用户在Spark On MaxCompute环境下访问Phoenix的数据...
运行SQL命令并导出结果数据
本文介绍如何在MaxCompute客户端上运行SQL命令并通过Tunnel Download导出结果数据。前提条件 已向MaxCompute的表中导入数据。更多导入数据操作，请参见 导入数据。背景信息 MaxCompute客户端支持 DDL、DML、DQL 等操作，您可以结合相应语法...
开发UDF
当MaxCompute提供的内建函数无法满足您的业务需求时，您可在MaxCompute Studio中自行开发UDF（自定义函数）以实现业务功能，本文介绍如何使用MaxCompute Studio开发及调试Java UDF。前提条件 您需要完成以下操作：管理项目连接 创建...
与Hive、MySQL、Oracle数据类型映射表
在进行数据迁移或集成操作时，即当您需要将其他数据库数据导入MaxCompute或将MaxCompute数据导出至其他数据库时，您需要参照数据类型映射表，设置表字段的数据类型映射关系。正确的数据类型映射关系可以确保数据在不同数据库中能够正确地...
IntelliJ IDEA Java UDF开发最佳实践
前提条件 请确认已在IntelliJ IDEA上完成如下准备工作：安装MaxCompute Studio 创建MaxCompute项目连接 创建MaxCompute Java Module 操作步骤 编写Java UDF。在 Project 区域，右键单击Module的源码目录（即 src>main>java），选择 new>...
生命周期操作
生命周期 MaxCompute表的生命周期（Lifecycle），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）将被MaxCompute自动回收，这个指定的时间就是生命周期。生命周期回收为每天定时启动，扫描全量分区...
PyODPS节点实现避免将数据下载到本地
当数据量大时，建议使用PyODPS DataFrame（从MaxCompute表创建）和MaxCompute SQL来处理数据，以替代本地数据处理这种比较低效的方式。示例代码 将一份JSON串数据按Key-Value对展开成一行，示例代码如下。本地测试，通过 head()方法返回...
通过日志服务迁移日志数据至MaxCompute
MaxCompute普通列 按顺序左边填写与MaxCompute表数据列映射的日志服务字段名称，右边填写或者选择MaxCompute表的普通字段名称及字段类型。说明 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列（数据列或分区列），不支持字段...
开发PyODPS 3任务
背景信息 PyODPS是MaxCompute的Python版本的SDK，提供简单方便的Python编程接口，以便您使用Python编写MaxCompute作业、查询MaxCompute表和视图，以及管理MaxCompute资源，详情请参见 PyODPS概述。在DataWorks中，您可通过PyODPS节点实现...
数据动态脱敏
MaxCompute底层脱敏不支持对MaxCompute数据表的主键字段进行脱敏。MaxCompute底层脱敏仅支持对String类型字段进行脱敏。只有MaxCompute项目中已经存在数据并且数据已创建24小时（h）的情况下，才能使用此功能。准备工作 准备待脱敏的...
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
API错误码（ODPS-04CCCCX）
例如报错为 You have no privilege 'odps:CreateInstance' on {acs:odps:*:projects/maxcompute_dev}，则需要maxcompute_dev项目的所有者为执行人授予Project的CreateInstance权限。更多授权信息，请参见 MaxCompute权限。ODPS-0420111:Not...
开发Python UDF
前提条件 您必须完成以下操作：管理项目连接 配置Python开发环境 开发Python UDF 在 Project 区域 MaxCompute Studio 目录下，右键单击 scripts，选择 New>MaxCompute Python。在 Create new MaxCompute python class 对话框中输入类名 ...
使用说明
本文为您介绍Mars集群上的操作、MaxCompute读取表以及获取Mars UI地址等更多操作。如果您需要了解开发Mars作业的详细操作指导，详情请参见 Mars。Mars集群操作 创建Mars集群 执行如下命令创建Mars集群。Mars集群的创建过程较慢，请您耐心...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
删除表或MaxCompute项目
如果您不再需要示例数据或MaxCompute项目，可以删除数据或MaxCompute项目，以免产生不必要的资源浪费及账单费用。本文为您介绍如何删除表或MaxCompute项目。背景信息 您可以根据实际需要判断是否要保留示例数据及MaxCompute项目：如果需要...
向量计算（Proxima CE）概述
DataWorks：您可以在DataWorks上新建MaxCompute ODPS MR节点，通过ODPS SQL脚本来运行。使 用向导 安装Proxima CE包。使用向量计算之前您需要安装Proxima CE包，详细操作请参见 安装Proxima CE包。该文档为您介绍Proxima CE的环境准备及...
公开数据集概述
如果您已开通MaxCompute服务，可以通过MaxComputeSQL分析连接查询公开数据集中的表，以便您快速试用MaxCompute。本文为您介绍公开数据集信息，并指导您如何通过MaxComputeSQL分析连接查询并分析数据。简介 MaxCompute开放的公开数据集类别...
通过DataWorks实现MaxCompute跨项目迁移
数据同步 跨项目克隆功能无法复制原始项目的数据到新项目，因此您需要手动同步数据，本文中仅同步表 ods_user_info_d 的数据。新建数据源。在 数据集成 页面，单击左侧导航栏上的 数据源。在 数据源管理 页面，单击右上角 新增数据源，并...
使用客户端（odpscmd）或Studio
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您概要介绍如何在对应的工具中使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。使用Tunnel命令下载数据 Tunnel命令主要有 Upload...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
2021年
Tableau连接MaxCompute FineBI连接MaxCompute FineReport连接MaxCompute Davinci连接MaxCompute Superset连接MaxCompute Yonghong BI连接MaxCompute Quick BI连接MaxCompute 2021-07-19 新增最佳实践。新实践 新增通过Logview诊断慢作业...
数据保护机制
项目保护的作用是限制数据流出受保护的项目，场景上与MaxCompute的一些可以跨项目迁移数据的功能产生交集，主要场景如下：create table<其他项目空间的表>as select*from<保护空间的表>。insert overwrite table<其他项目空间的表>select*...
版本更新记录
Tunnel：由于存储机制限制，MaxCompute表中单个字段的最大长度不能超过8 MB。对于超过8 MB的字段，建议您拆分成多个字段。支持写超时。支持在StreamTunnel中自动创建分区。SQLExecutor：添加Tunnel Endpoint缓存。支持批量下载执行结果。...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
Spark Connector
test spark.hadoop.odps.access.id=L*spark.hadoop.odps.access.key=*spark.hadoop.odps.end.point=http://service.cn-beijing.maxcompute.aliyun.com/api spark.hadoop.odps.tunnel.quota.name=ot_xxxx_p#ot_xxxx ##配置MaxCompute Catalog ...
MaxCompute如何访问Hologres
需配置以下配置项 spark.hadoop.odps.project.name=<MaxCompute_Project_Name>spark.hadoop.odps.end.point=<Endpoint>spark.hadoop.odps.runtime.end.point=<VPC_Endpoint>spark.hadoop.odps.access.id=<AccessKey_ID>spark.hadoop.odps....
Hologres外部表
格式为：MaxCompute字段1:"Hologres字段1"[,MaxCompute字段2:"Hologres字段2",.]。创建Hologres外部表（STS模式）通过STS模式创建Hologres外部表的步骤如下：创建RAM角色 创建RAM角色获取ARN信息，用于创建外部表时填写STS认证信息。登录 ...
ODPS-0110042
错误码：ODPS-0110042:current table is in INF version 错误：current table is in INF version you can't update cluster version 错误信息示例 FAILED:ODPS-0110042:current table is in INF version you can't update cluster version ...
DML操作常见问题
MaxCompute不支持插入表的指定字段，其他字段为NULL或者其他默认值时，您可以在SELECT时设置为NULL，例如 select 'a',null,col_name from table_name;执行INSERT INTO或INSERT OVERWRITE操作时，报错a single instance cannot output data ...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
MaxCompute表的高级功能
本文为您介绍MaxCompute表的生命周期、避免全表扫描、小文件以及Hash Clustering表等高级功能。生命周期 MaxCompute为表和分区提供数据生命周期管理功能。表（分区）数据从最后一次更新时间算起，在指定的时间段（即生命周期）内如果没有...
操作审计事件数据迁移至MaxCompute
当您需要分析更长时间的操作事件时，可以通过操作审计创建跟踪，将操作事件数据投递至MaxCompute，并对其进行查询和分析。本文为您介绍如何通过创建跟踪将操作审计事件数据投递至MaxCompute。前提条件 已开通MaxCompute和DataWorks服务。...
将数据写入OSS
MaxCompute支持您通过INSERT方式将MaxCompute项目中的数据通过映射的OSS外部表直接输出到OSS目录。本文为您介绍向OSS写入数据的方法并提供示例。背景信息 与读取OSS数据类似，MaxCompute支持将内部表数据或处理外部表得到的数据写入OSS：...
Tunnel操作
MaxCompute通过Tunnel实现上传下载数据功能。本文为您介绍如何通过Tunnel上传、下载数据。Tunnel操作详情请参见 Tunnel命令。Tunnel操作常用命令如下。类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加...
UNLOAD
建表语句如下：说明 数据接收表的字段类型需与MaxCompute表字段类型对应，详情请参见 MaxCompute与Hologres的数据类型映射。create table mc_2_holo(id int,name text);登录 MaxCompute客户端，执行UNLOAD命令，将 data_test 表的数据导出...
- 产品推荐
- 这些文档可能帮助您