观远BI连接MaxCompute
参数说明请参考下表：参数名称 参数说明 数据库连接方式 直连数据库：通过MaxCompute JDBC从MaxCompute直接读取数据。Guan-Index：会缓存一份数据到观远服务器中，同时支持选择增量更新这份数据。如果选择Guan-index，可以设置一个去重主键...
租户属性
此外，如果第三方引擎需要读取MaxCompute数据，您可以开启租户级的开放存储（Storage API）功能。注意事项 租户级Schema开启后不能关闭，请谨慎开启。仅未创建过项目的租户支持开启租户级Schema功能。说明 若已创建过项目的租户需要开启...
MMA安装与配置
环境准备 其他环境要求根据不同的数据源会有所不同，具体请根据实际情况参见 Hive数据迁移 或 MaxCompute数据迁移。安装Linux操作系统。安装JDK1.8及以上版本的Java。安装MySQL Server 5.7及以上版本。下载并安装与Hive版本对应的MMA工具。...
使用须知
模块 子模块 说明 项目管理 创建项目前期工作 项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。一个用户可以同时拥有多个项目的权限，通过安全授权，可以...
Davinci连接MaxCompute
格式为 jdbc:odps:<Maxcompute_endpoint>?project=<Maxcompute_project_name>[&interactiveMode={true|false}]。配置时删除符号。参数说明如下：<MaxCompute_endpoint>：必填。MaxCompute项目所属区域的Endpoint。各地域的Endpoint信息，请...
Spark on MaxCompute如何访问HBase
本文为您介绍Spark on MaxCompute访问云数据库HBase的配置方法。背景信息 Spark on MaxCompute可以访问位于阿里云VPC内的实例（ECS、HBase、RDS等）。MaxCompute底层网络和外网默认是隔离的，Spark on MaxCompute提供了一种方案通过配置 ...
Tableau连接MaxCompute
查看所有表 在左侧的 数据库 列表选择目标MaxCompute项目后，Tableau Desktop会自动加载MaxCompute项目的表信息。查看表结构 在 表 区域，将需要查看结构的表拖拽至右上方区域，单击 图标后，即可查看表的结构信息。查看表数据 在 表 区域...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
数据传输服务（上传）场景与工具
例如上传数据源可以是外部文件、外部数据库、外部对象存储或日志文件。MaxCompute中批量数据通道上传包含如下方案。Tunnel SDK：您可以通过 Tunnel 向MaxCompute中上传数据。数据同步服务：您可以通过 数据集成（DataWorks）任务，提取、...
授权信息
云原生大数据计算服务 MaxCompute（MaxCompute）的RAM代码（RamCode）为 odps，支持的授权粒度为 RESOURCE。权限策略通用结构 权限策略支持JSON格式，其通用结构如下：{"Version":"1","Statement":[{"Effect":"<Effect>","Action":...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
快速入门
注意事项 如果您使用Maven开发MapReduce程序，可以从 Maven库 中搜索 odps-sdk-mapred、odps-sdk-commons 和 odps-sdk-core 获取不同版本的Java SDK，pom.xml文件需要配置的依赖信息如下。groupId>com.aliyun.odps</groupId>...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
开发ODPS MR任务
您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的数据。前提条件 上传并提交、发布使用的资源，详情请参见 创建并使用MaxCompute资源。创建ODPS MR节点，详情请参见 创建并管理...
ODPS-0121096
Reached maximum retry times because of OTSStorageTxnLockKeyFail(Inner exception:Transaction timeout because cannot acquire exclusive lock.)错误码描述 MaxCompute允许多个作业同时写入数据到单个表。当多个作业同时处于元数据提交...
Endpoint
使用DataWorks连接MaxCompute数据源，请参见 配置MaxCompute数据源。通过代码配置连接MaxCompute项目：使用SDK方式连接MaxCompute项目，请参见 Java SDK介绍 和 Python SDK示例：SQL。使用JDBC方式连接MaxCompute项目，请参见 JDBC介绍。...
存储费用
背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小不同。MaxCompute数据存储三个副本，但只按一个副本压缩后的大小进行按量计费。存储费用分为存储计费和备份存储计费。...
ODPS-0130252
错误码：ODPS-0130252:Cartesian product is not allowed 错误1：cartesian product is not allowed without mapjoin 错误信息示例 ODPS-0130252:[m,n]Cartesian product is not allowed-cartesian product is not allowed without mapjoin...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
开发PyODPS脚本
PyODPS是MaxCompute Python版本的SDK，提供对MaxCompute对象的基本操作和DataFrame框架，通过PyODPS，您可以在MaxCompute上进行数据分析。本文为您介绍如何开发PyODPS脚本，以实现与MaxCompute的高效交互和数据处理。前提条件 已配置Python...
ODPS-0420095
错误2：You have no privilege 'odps:<Action>' on {acs:odps:*:projects/<project_name>} 错误信息（示例）ODPS-0420095:Access Denied-You have no privilege 'odps:CreateInstance' on {acs:odps:*:projects/maxcompute_dev} 错误码描述...
数据上传下载成本优化
合理利用ECS的公共下载资源 如果您的ECS使用包月资源，可以使用Tunnel等数据同步工具，将MaxCompute数据同步到ECS，然后下载到本地。详情请参见 导出SQL的运行结果。Tunnel文件上传优化 小文件会消耗更多计算资源，建议当文件量积累较大时...
RAM权限策略管理
{"Version":"1","Statement":[{"Effect":"Allow","Action":["odps:UpdateQuota","odps:UpdateQuotaPlan","odps:UpdateSubQuotas","odps:UpdateQuotaSchedule","odps:CreateQuotaPlan","odps:DeleteQuotaPlan","odps:CreateQuotaSchedule"],...
ODPS-0123031
错误码：ODPS-0123031:ODPS partition exception 错误1：maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum 60000 partitions allowed 错误描述 每张MaxCompute的分区表最多允许存在 60000 个...
使用本地客户端（odpscmd）连接
如果您习惯使用命令行工具或者需要快速执行任务且不需要图形界面，建议您使用MaxCompute客户端访问MaxCompute项目并执行命令。MaxCompute客户端直接在您的本地计算机上运行，提供了一个简单且高效的方式来执行命令和管理MaxCompute服务。...
后续指引
说明 相关文档 数据迁移 上传下载数据 MaxCompute提供Tunnel批量数据通道、Streaming Tunnel流式数据写入通道和DataHub实时数据通道三种数据上传下载的通道，同时还支持基于DataHub和Tunnel提供的SDK实现上传下载数据，满足多样化场景需求...
CURRENT_TIMESTAMP
CURRENT_TIMESTAMP函数为MaxCompute 2.0扩展函数，支持获取数据库服务器当前TIMESTAMP类型的时间。命令格式 timestamp current_timestamp()返回值说明 返回TIMESTAMP类型。使用示例-返回'2017-08-03 11:50:30.661'。set odps.sql.type....
DBeaver连接MaxCompute
MaxCompute支持您通过数据库管理工具DBeaver访问MaxCompute项目，进行数据管理操作。本文为您介绍如何通过MaxCompute JDBC驱动，连接DBeaver和MaxCompute项目并管理数据。背景信息 DBeaver是一款免费的多平台数据库工具，适用于开发人员、...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
错误码概述
MaxCompute提供错误码机制帮助您快速定位错误类型、严重等级及产生错误的原因等信息，帮助您快速定位并解决问题。本文为您介绍MaxCompute的错误码格式及错误码列表。错误码格式 MaxCompute错误码编码规则如下。错误编号:通用描述-上下文...
快速入门
在 计算引擎信息 页签增加MaxCompute实例，在 创建MaxCompute计算引擎 对话框中单击 前往创建，创建MaxCompute数据源。数据源创建方法请参见 创建MaxCompute数据源。如果没有DataWorks工作空间，请创建DataWorks工作空间。配置计算引擎服务...
扩展MapReduce（MR2）
MR2模型产生背景 传统的MapReduce模型要求在经过每一轮MapReduce操作后，得到的数据结果必须存储到分布式文件系统中（例如，HDFS或MaxCompute数据表）。MapReduce模型通常由多个MapReduce作业组成，每个作业执行完成后都需要将数据写入磁盘...
术语表
Project（项目）项目是MaxCompute的基本组织单元，类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。更多项目信息，请参见 项目。Q Quota（配额）配额是MaxCompute的计算资源池，提供作业运行所需计算...
ODPS-0110061
错误码：ODPS-0110061:Failed to run ddltask 错误1：Schema evolution DDLs is not enabled in current project:xxxx 错误信息 FAILED:Catalog Service Failed,ErrorCode:152,Error Message:ODPS-0110061:Failed to run ddltask-Schema ...
MaxCompute UDF（Java）常见问题
产生原因：原因一：用户上传的JAR包中包含的第三方库的版本与MaxCompute内置的第三方库的版本不一致。原因二：Java沙箱限制。作业Instance的 Stderr 中出现 java.security.AccessControlException:access denied("java.lang....
运行模式
cd$SPARK_HOME bin/spark-submit-master yarn-cluster-class com.aliyun.odps.spark.examples.SparkPi \ /path/to/MaxCompute-Spark/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar DataWorks执行模式 您可以在DataWorks中...
在SQL语句中设置Flag示例
例如，Session级别使用MaxCompute 2.0数据类型时，需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK提交SQL时，不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式...
Java SDK介绍
ODPS MaxCompute SDK的入口，您可通过此类来获取项目空间下的所有对象集合，包括 Projects、Tables、Resources、Functions、Instances。您可以通过传入AliyunAccount实例来构造MaxCompute对象。代码示例如下。阿里云账号AccessKey拥有所有...
Java SDK常见问题
例如，如果您需要使用MaxCompute 2.0数据类型，可以通过Session级别方式开启，在涉及2.0新数据类型的SQL前增加Set Flag语句 set odps.sql.type.system.odps2=true;使用Java SDK提交SQL时，不能简单地把Set Flag语句直接增加到SQL中，设置...
搭建与管理（基于Hadoop）
如果未开通，建议开通时设置MaxCompute数据类型为Hive兼容。通过MaxCompute与Hadoop构建湖仓一体时，Hadoop集群所使用的VPC和MaxCompute服务开通地域保持一致，这样可以免去跨地域网络产生的费用。当您通过MaxCompute与Hadoop构建湖仓一体...
- 产品推荐
- 这些文档可能帮助您