安装PyODPS
PyODPS是MaxCompute的Python版本的SDK，提供对MaxCompute对象的基本操作及DataFrame框架，帮助您在MaxCompute上使用Python进行数据分析，支持在DataWorks或本地环境上使用。本文为您介绍在本地环境上使用PyODPS时，如何安装PyODPS。前提...
Streaming Tunnel SDK示例（Python）
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
Tunnel SDK示例（Python）
Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据，TunnelSDK是PyODPS的一部分，本文为您介绍使用Python版TunnelSDK上传下载数据的简单示例。注意事项 下文为您介绍简单的上传、下载数据的Python SDK示例，...
可视化管理资源
MaxCompute Studio支持的资源操作如下：添加资源 获取资源文件 删除资源 添加资源 在IntelliJ IDEA界面的顶部菜单栏，选择 MaxCompute>添加资源。在 Add Resource 对话框配置下表所列参数信息。添加非Table资源 添加Table资源 参数 说明 ...
Python SDK概述
PyODPS是MaxCompute的Python SDK，能够方便地使用Python语言与MaxCompute进行交互和数据处理。通过该SDK，可以更高效地开发MaxCompute任务、进行数据分析和管理MaxCompute资源。本文为您介绍PyODPS的使用和常见方法。PyODPS介绍 PyODPS提供...
Java UDAF
当您需要使用其他UDAF类或者需要用到复杂数据类型时，请根据 MaxCompute UDF概述 添加需要的类。Resolve 注解：必选。格式为@Resolve()。signature 为函数签名，用于定义函数的输入参数和返回值的数据类型。UDAF无法通过反射分析获取函数...
Superset连接MaxCompute
步骤二：使用Superset查询及分析数据 完成数据源配置后，您可以通过添加数据集，对特定表进行查询和可视化分析。您可以执行如下操作，更多操作请参见 Superset帮助。查看所有表 在Superset界面的顶部菜单栏，选择 Data>Datasets 后，在右侧...
简单下载示例
本文为您介绍如何使用MaxCompute Java SDK实现数据下载。使用TableTunnel的 DownloadSession 接口实现数据下载 典型的表数据下载流程：创建TableTunnel。创建DownloadSession。创建RecordReader，读取Record。示例 import java.io....
快速入门
本文以开发WordCount MapReduce作业为例，为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包，并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件：已安装并配置MaxCompute客户端。更多安装并配置...
ODPS-0110061
错误码：ODPS-0110061:Failed to run ddltask 错误1：Schema evolution DDLs is not enabled in current project:xxxx 错误信息 FAILED:Catalog Service Failed,ErrorCode:152,Error Message:ODPS-0110061:Failed to run ddltask-Schema ...
搭建与管理（基于DLF和OSS）
说明 您可以更新MaxCompute外部项目映射的外部数据源的数据库名称，以及重新选择外部数据源。如果需要删除外部数据源，请到外部数据源页面进行删除（暂不支持外部数据源更新操作）。删除湖仓一体外部项目。单击目标外部项目 操作 列的 删除...
发展历程
2020年 Gartner全球数据库魔力象限，阿里云位于领导者象限，MaxCompute和E-MapReduce提供了安全、稳定、高性能的计算平台。IDC Marketscape中国大数据管理平台，MaxCompute位居领导者象限。Forrester：每两年一次的全球云数仓评测中，进入...
Java UDTF
采用Java语言编写UDTF函数可有效处理复杂数据处理任务并自定义逻辑，并且通过合理利用Java语言的特性，能更好地满足特定的数据处理需求，提升开发效率和处理性能。本文将介绍UDTF函数的代码结构、使用说明和示例。UDTF代码结构 您可以通过...
通过UDF访问VPC网络资源
若您需要在UDF中访问VPC网络资源，必须先建立MaxCompute与目标VPC之间的网络连接，本文以具体示例为您介绍如何通过UDF访问VPC网络资源。前提条件 请确认您已满足如下条件：已编写UDF代码。更多编写UDF及注册函数操作信息，请参见 UDF开发...
MaxCompute+Hadoop搭建实践
映射目标数据库 Hadoop集群目标数据库。例如：myhive。单击 完成创建并预览。说明 如果创建Hadoop集群时，选择的Hive组件为3.x版本，则会导致数据预览失败。MaxCompute查询外部项目数据。登录 DataWorks控制台，单击左侧导航栏的 数据建模...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
UDF开发（Java）
当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文提供的开发流程，使用开发工具（例如IntelliJ IDEA（Maven）或 MaxCompute Studio）自行编写代码逻辑创建自定义函数（UDF），并在MaxCompute中进行调用，以满足多样化...
将云消息队列 Kafka 版的数据迁移至MaxCompute
步骤三：新增数据源 将已经写入数据的 云消息队列 Kafka 版 添加至DataWorks，作为迁移数据源，并添加MaxCompute作为数据迁移的目标源。新建独享数据集成资源组。由于当前DataWorks的默认资源组无法完美支持Kafka插件，您需要使用独享数据...
FineReport连接MaxCompute
格式为 jdbc:odps:<MaxCompute_endpoint>?project=<MaxCompute_project_name>[&interactiveMode={true|false}]。配置时删除符号。参数说明如下：<MaxCompute_endpoint>：必填。MaxCompute项目所属区域的Endpoint。各地域的Endpoint信息，请...
ADD USER
向MaxCompute项目空间添加阿里云用户或RAM用户。使用限制 添加RAM用户时，MaxCompute只允许阿里云主账号将自身的RAM用户加入到项目空间中，不允许加入其它阿里云账号的RAM用户。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 ...
Python 3 UDTF
说明 在编写UDTF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明@annotate('bigint,boolean->...
ODPS-0130013
错误码：ODPS-0130013:Authorization exception 错误1：Authorization Failed[4011],You have NO privilege 'odps:Select' on {acs:odps:*:projects/<project_name>/tables/<table_name>}.Explicitly denied by policy.Context ID:...
MaxCompute UDF（Java）常见问题
本文为您介绍使用Java语言编写的MaxCompute UDF的常见问题。类或依赖问题 调用MaxCompute UDF运行代码时的常见类或依赖问题如下：问题现象一：运行报错描述为 ClassNotFoundException 或 Some dependencies are missing。产生原因：原因一...
项目空间操作
升级为新的实现后，当PARQUET小文件很多且数据列数很多时可能会导致数据源访问次数增加，创建表时可以配合 with serdeproperties属性：parquet.file.cache.size 和 parquet.io.buffer.size 参数来增加每次访问数据源缓存的数据量。...
MaxCompute UDF概述
UDF（User-Defined Function）即自定义函数，当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文中的开发流程及使用示例，自行编写代码逻辑创建自定义函数，以满足多样化业务需求。背景信息 广义的UDF定义是 自定义标量...
大量数据导出方案
开源工具DataX可以帮助您方便地把MaxCompute中的数据导出到目标数据源，详情请参见 DataX概述。SQLTask方式导出 SQLTask使用SDK方法，直接调用MaxCompute SQL的接口 SQLTask.getResult(i)，可以很方便地运行SQL并获得其返回结果。使用方法...
作业诊断
Logview是MaxCompute自研的分布式作业追踪工具。该工具的功能如下：获取作业的状态。获取作业各节点的启停调度信息。获取作业各节点的标准输入输出日志。Spark结果输出建议打印到StdOut，Spark的log4j日志则默认输出到StdErr。Logview的...
实验介绍
学习如下内容：如何将不同数据源数据同步至MaxCompute。如何快速触发任务运行。如何查看任务日志。数据加工 使用 DataWorks数据开发（DataStudio）模块，将日志数据通过函数正则等方式拆解为可分析字段，并与用户信息表加工汇总产出基本的...
RAM权限
MaxCompute部分资源管理类的操作只能通过管理控制台来完成，其中有些操作权限通过RAM进行鉴权，本文为您介绍MaxCompute管理相关操作对接RAM的权限点列表及权限策略。权限点列表 操作类别 Action ARN ARN示例 说明 项目管理 odps:...
UDF开发（Python3）
说明 在编写UDF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明 'bigint,double->string' ...
数据动态脱敏
当您期望某些用户只可以查看MaxCompute项目中隐藏关键信息的敏感数据时，您可以开启MaxCompute动态脱敏功能，在数据访问或展示时实时隐藏或替换敏感数据，以防止敏感数据泄露。本文为您介绍如何开启MaxCompute动态脱敏功能，并提供参考示例...
CURRENT_TIMESTAMP
CURRENT_TIMESTAMP函数为MaxCompute 2.0扩展函数，支持获取数据库服务器当前TIMESTAMP类型的时间。命令格式 timestamp current_timestamp()返回值说明 返回TIMESTAMP类型。使用示例-返回'2017-08-03 11:50:30.661'。set odps.sql.type....
用户规划与管理
当MaxCompute项目需要多人维护时，非项目所有者（Project Owner）的用户必须被加入MaxCompute项目中，且被授予相应的权限，才能操作MaxCompute中的表、资源、函数或作业（实例）。本文为您介绍MaxCompute支持的用户管理操作。背景信息 创建...
包年包月资源隔离
对于使用MaxCompute的企业，通常会根据业务的差异性来创建多个MaxCompute项目进行数据隔离。由于每个MaxCompute项目对计算资源（CU）的需求不一致，需要对CU按照项目进行隔离，以便实现CU使用率最大化。本文为您介绍如何通过MaxCompute管家...
基于DLF数据入湖的MaxCompute湖仓一体实践
由于DLF中数据入湖功能已经停止更新，本文采用DataWorks数据集成的入湖方式，以MySQL数据入湖为例，为您介绍在MaxCompute中如何创建外部项目，并查询DLF中的表数据。MySQL数据入湖 DLF入湖详情请参见 快速入门。步骤一：创建数据湖的元数据...
SQL错误码（ODPS-01CCCCX）
命令前，请先将待脱敏的MaxCompute项目添加至 脱敏project中，详情请参见 步骤二：为目标MaxCompute项目开启数据脱敏功能。ODPS-0110999:Critical!Internal error happened in commit operation and rollback failed,possible breach of ...
Python 2 UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法函数签名示例如下。函数签名示例 说明@annotate('bigint,double->...
1.0数据类型版本
MaxCompute 1.0数据类型版本是MaxCompute三种数据类型版本之一，该数据类型版本仅支持1.0数据类型。本文为您介绍1.0数据类型版本的设置方法、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为1.0数据类型版本...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
- 产品推荐
- 这些文档可能帮助您