模拟IDC Spark读写MaxCompute实践
本文以开源大数据开发平台E-MapReduce（云上Hadoop）方式模拟本地Hadoop集群，为您介绍如何读写MaxCompute数据。背景信息 实践架构图如下所示。准备开发环境 准备E-MapReduce（EMR）环境。购买EMR集群。详情请参见 E-MapReduce快速入门。...
开源支持
Data collector MaxCompute数据集成工具插件，包括Flume、OGG、Kettle、Sqoop、Hive。Data Collector是MaxCompute主要开源数据采集工具的集合，包括：Flume插件 OGG插件 Sqoop Kettle插件 Hive Data Transfer UDTF Flume和OGG插件是基于...
MaxCompute数据迁移至OTS
本文为您介绍如何将MaxCompute数据迁移至表格存储OTS（Table Store）。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 在DataWorks上创建表。登录 ...
与Hive、MySQL、Oracle数据类型映射表
在进行数据迁移或集成操作时，即当您需要将其他数据库数据导入MaxCompute或将MaxCompute数据导出至其他数据库时，您需要参照数据类型映射表，设置表字段的数据类型映射关系。正确的数据类型映射关系可以确保数据在不同数据库中能够正确地...
Sugar BI连接MaxCompute
在MaxCompute项目的IP白名单中添加如下IP：183.240.92.0/24,111.45.0.0/22,14.215.188.4/25 说明 添加IP白名单操作详情请参见 添加IP白名单，不添加如上IP会导致Sugar BI无法读取MaxCompute数据。步骤二：创建数据模型 连接完数据源后，...
Yonghong BI连接MaxCompute
格式为 jdbc:odps:<MaxCompute_endpoint>?project=<MaxCompute_project_name>[&interactiveMode={true|false}]。配置时删除符号。参数说明如下：<MaxCompute_endpoint>：必填。MaxCompute项目所属区域的Endpoint。各地域的Endpoint信息，请...
调试指南
利用这个特性，您可以快速下载小部分ODPS数据到本地，使用Pandas计算后端进行代码编写和调试。这些操作包括：非分区表：对其进行选取全部或有限条数据、列筛选的操作（不包括列的各种计算），以及计算其数量。不选取分区或筛选前几个分区...
Spark-2.x示例
从MaxCompute中读取数据写入HBase 通过IntelliJ IDEA工具编写代码，实现从MaxCompute中读取数据写入HBase。代码示例 object McToHbase { def main(args:Array[String]){ val spark=SparkSession.builder().appName("spark_sql_ddl").config...
功能特性
数据分析 SQL查询 第三方工具 数据库管理工具 通过数据库管理工具连接MaxCompute，目前主要支持DBeaver、DataGrip、SQL Workbench/J。数据库管理工具 ETL工具连接 通过ETL工具连接MaxCompute并进行开发作业调度，目前主要支持Kettle、...
网易有数BI连接MaxCompute
您可以在下拉列表选择数据库作为默认数据库，使用自定义SQL建立模型时不需要加项目名称。同步至复杂报表 可选。单击 连接 后，会显示该参数。打开该参数后，数据库将作为数据源同步至复杂报表。缓存有效期 可选。单击 连接 后，会显示该...
实现指定用户访问特定UDF最佳实践
DataWorks工作空间的MaxCompute属性介绍，请参见 MaxCompute数据权限控制详情。Role Policy结合Project Policy实现指定用户访问指定UDF。通过Policy可以精细化地管理具体用户对特定资源的具体权限。说明 为了安全起见，建议初学者使用测试...
StarRocks Connector
StarRocks Connector通过实现External Catalog机制，无需数据导入或创建外部表即可无缝访问MaxCompute数据源，并执行复杂的SQL查询，提升了数据分析效率并降低了运维难度和成本。本文为您介绍如何通过StarRocks Connector访问MaxCompute。...
ODPS-0123144
错误码：ODPS-0123144:Fuxi job failed 错误1：kInstanceMonitorTimeout(errCode:252)at Odps/xxx/xxx.Detail error msg:CRASH_EXIT,usually caused by bad udf performance.错误信息 ODPS-0123144:Fuxi job failed-...
什么是MaxCompute
提供持续的SaaS化云上数据保护 为云上企业提供基础设施、数据中心、网络、供电、平台安全能力、用户权限管理、隐私保护等保三级超20项安全功能，兼具开源大数据与托管数据库的安全能力。产品架构 MaxCompute的产品架构如下。其中核心模块...
RDS外部表
前提条件 已开通MaxCompute和云数据库RDS间的网络连接，详情请参见 网络开通流程。使用限制 支持华北2（北京）、华东2（上海）、华北3（张家口）、华东1（杭州）、华南1（深圳）、中国（香港）、新加坡、德国（法兰克福）、美国（弗吉尼亚...
SQL概述
参考文档 说明 了解MaxCompute SQL 与其他SQL语法的差异 了解与主流数据库的语法差异。保留字与关键字 了解MaxCompute SQL命令中的保留字与关键字。数据类型 了解MaxCompute SQL支持处理的数据类型、版本及各版本间的区别。数据类型转换 ...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
表
MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。您可以 创建表、删除表以及向表中导入数据。说明 DataWorks的数据开发模块...
数据传输与迁移概述
类型 典型场景 数据库Binlog采集 数据集成-数据库实时数据同步。DTS。日志采集 数据集成-实时数据同步（SLS）。SLS数据投递。日志采集客户端LogStash。流计算任务写入 Flink写入MaxCompute结果表。流数据同步任务写入 DataHub数据同步...
常见问题
当MaxCompute项目打开2.0新数据类型开关（odps.sql.type.system.odps2=true）时，存在隐式转换被禁用的风险，您可以关闭2.0新数据类型开关（odps.sql.type.system.odps2=false）。在MaxCompute中创建表的方式有哪些？您可以通过如下方式...
Tablestore外部表
本文将进一步为您介绍如何将来自Tablestore（原OTS）的数据纳入MaxCompute上的计算生态，实现多种数据源之间的无缝连接。背景信息 表格存储（Tablestore）是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，提供海量结构化数据的存储...
数据输入输出
MaxFrame支持直连MaxCompute，允许对MaxCompute中的数据进行高效直接读写操作，运行时无需将数据拉取至本地计算，消除了不必要的本地数据传输，提高了执行效率。MaxCompute表 您可以使用MaxCompute表创建MaxFrame DataFrame对象，并将计算...
SQL Workbench/J连接MaxCompute
MaxCompute支持您通过数据库管理工具SQL Workbench/J访问MaxCompute项目，进行数据管理操作。本文为您介绍如何通过MaxCompute JDBC驱动，连接SQL Workbench/J和MaxCompute项目并管理数据。背景信息 SQL Workbench/J是一个免费的、独立于...
概述
MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接（Java Database Connectivity）接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。JDBC...
DataGrip连接MaxCompute
MaxCompute支持您通过数据库管理工具DataGrip访问MaxCompute项目，进行数据管理操作。本文为您介绍如何通过MaxCompute JDBC驱动，连接DataGrip和MaxCompute项目并管理数据。背景信息 DataGrip是面向开发人员的数据库管理环境，为查询、创建...
ODPS-0130241
left is YY while right is ZZ 错误信息示例 ODPS-0130241:[m,n]Illegal union operation-type mismatch for column xx of UNION,left is YY while right is ZZ 问题描述 两个表进行union操作的时候，要求这两个表的数据类型必须匹配，否则...
项目
项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等，您...
常见问题
项目（Project）是MaxCompute的基本组织单元，类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等。一个...
MaxCompute作业概述
数据类型 MaxCompute数据开发支持三个数据类型版本：1.0数据类型版本、MaxCompute 2.0推出了兼容开源主流产品的 2.0数据类型版本 和 Hive兼容数据类型版本。您可以根据您MaxCompute作业的实际情况选用合适的数据类型版本，详情请参见 数据...
2024年
准备工作 2024-03-25 新增StarRocks Connector 新说明 StarRocks Connector通过实现External Catalog机制，无需数据导入或创建外部表即可无缝访问MaxCompute数据源，并执行复杂的SQL查询，提升了数据分析效率并降低了运维难度和成本。...
ODPS-0110042
错误码：ODPS-0110042:current table is in INF version 错误：current table is in INF version you can't update cluster version 错误信息示例 FAILED:ODPS-0110042:current table is in INF version you can't update cluster version ...
数据合并
您也可以对分别来自ODPS和Pandas的Collection进行 join，或者对分别来自ODPS和数据库的Collection进行 join，该计算会在ODPS上执行。UNION操作 如果两张表的字段和类型都一致（字段的顺序可以不同），则可以使用 union 或者 concat 将它们...
MaxCompute如何访问Hologres
Hologres具备高并发地实时写入和查询数据的能力，同时支持数据无需迁移就能高性能加速分析MaxCompute数据，通过联邦分析Hologres实时数据与MaxCompute离线数据，实现离线实时一体化的数据仓库产品解决方案。您可以使用MaxCompute和Hologres...
运行安全命令示例
本文为您介绍如何在MaxCompute客户端上使用Java SDK接口运行安全相关的命令。前提条件 您需要完成以下操作：准备IntelliJ IDEA开发工具，请参见 安装Studio。配置MaxCompute Studio连接MaxCompute项目空间，请参见 创建MaxCompute项目连接...
TPC-DS数据
MaxCompute通过TPC-DS官方工具生成了10GB、100GB、1TB、10TB四个规格的TPC-DS数据，此数据方便您在做产品测试时使用。本文为您介绍MaxCompute公开数据集中TPC-DS数据的基本信息，以及如何通过MaxCompute执行TPC-DS数据查询。简介 TPC ...
安全配置常见问题
因涉及项目数据保护，无法将MaxCompute数据导出至MySQL，如何解决？如何找回被删除的表？MaxCompute如何保证数据安全？MaxCompute拥有完备的措施来保证用户的数据安全：多用户场景，除项目所有者（Project Owner）或项目管理员之外，未经...
创建MaxCompute项目
可通过DataWorks控制台创建DataWorks工作空间，并在此过程中直接创建并绑定MaxCompute数据源，后续即可在DataWorks工作空间中开发MaxCompute作业，详细操作流程请参见 创建工作空间。说明 使用DataWorks进行数据开发治理时，支持隔离开发和...
近实时增量导入
实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据...
- 产品推荐
- 这些文档可能帮助您