Dataphin同步任务从Oracle同步数据到ODPS时，Oracle中...
问题描述 本文主要描述了同步任务从Oracle同步数据到ODPS时，Oracle中的空值在ODPS中显示为\N的解决方法。问题原因 同步任务的编码格式选择的是系统默认。解决方案 将同步任务的编码格式选择为GBK或者UTF-8。适用于 Dataphin
数据上传下载成本优化
合理利用ECS的公共下载资源 如果您的ECS使用包月资源，可以使用Tunnel等数据同步工具，将MaxCompute数据同步到ECS，然后下载到本地。详情请参见 导出SQL的运行结果。Tunnel文件上传优化 小文件会消耗更多计算资源，建议当文件量积累较大时...
周期性调度作业概述
费用说明 DataWorks数据开发与运维中心提供MaxCompute数据同步、数据加工任务的周期调度，不仅包含DataWorks相关费用，同时会产生产品侧其他费用，具体如下。DataWorks相关费用 以下费用会体现在DataWorks产品相关账单中。DataWorks计费...
Elasticsearch数据迁移至MaxCompute
详情请参见 通过DataWorks将MaxCompute数据同步至Elasticsearch。在MaxCompute上创建目标表。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，右键...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代...如果数据从MaxCompute落地为文件，意味着数据不可控。所以，必须要尽可能的减少数据落地带来的风险。通过用户角色的详细划分，限制部分业务组拥有数据导出的权限，并且也不会影响日常开发工作。
使用DataWorks（离线与实时）
更多DataWorks数据集成对MaxCompute数据同步能力详情请参见 MaxCompute数据源。操作入口与通用操作指导 DataStudio侧操作 登录 MaxCompute控制台，单击控制台左侧导航的 数据开发 进入 数据开发（DataStudio）页面，可在DataStudio中新建离...
生态对接
v5.1.9及以上版本 MaxCompute：JDBC驱动v3.2.8及以上版本 FineBI连接MaxCompute 阿里云MaxCompute数据连接（FineBI）FineReport FineReport：v10.0及以上版本 MaxCompute：JDBC驱动v3.2.8及以上版本 FineReport连接MaxCompute 阿里云...
UNLOAD
将MaxCompute数据导出至Hologres中，不支持使用双签名授权模式。不支持将MaxCompute数据导出至Hologres分区表中。导出的开源格式文件不支持添加后缀名。注意事项 UNLOAD命令本身不计费，UNLOAD命令中的查询子句需要扫描数据并使用计算资源...
UNLOAD
将MaxCompute数据导出至Hologres中，不支持使用双签名授权模式。不支持将MaxCompute数据导出至Hologres分区表中。导出的开源格式文件不支持添加后缀名。注意事项 UNLOAD命令本身不计费，UNLOAD命令中的查询子句需要扫描数据并使用计算资源...
概述
DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便可以在MaxCompute中使用这些数据。详情请参见 通过DataHub迁移日志数据至MaxCompute。此方法多用于公测和自研。...
MMA概述
MMA（MaxCompute Migration Assist）是一款MaxCompute数据迁移工具。本文为您介绍MMA的使用概述，帮助您快速了解并使用MMA。功能简介 Hive数据迁移到MaxCompute。MaxCompute跨项目数据迁移。EMR+DLF+OSS迁移MaxCompute项目。数据迁移原理 ...
流式数据通道概述
MaxCompute流式数据通道服务功能点如下：提供流式语义API：通过流式服务的API可以方便地开发出分布式数据同步服务。支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率...
2021年
新功能 MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。MaxCompute湖仓一体概述 2021年2...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
什么是MaxCompute
MaxCompute还深度融合了阿里云如下产品：DataWorks 基于DataWorks实现一站式的数据同步、业务流程设计、数据开发、管理和运维功能。人工智能平台PAI 基于机器学习平台的算法组件实现对MaxCompute数据进行模型训练等操作。实时数仓Hologres ...
MaxCompute数据迁移至OSS
本文为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS（Object Storage Service）。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程...
通过DataWorks实现MaxCompute跨项目迁移
在 数据源管理 页面，单击右上角 新增数据源，并选择 MaxCompute(ODPS)。填写您的 数据源名称、ODPS项目名称、AccessKey ID、AccessKey Secret 等信息，单击 完成，详情请参见 配置MaxCompute数据源。创建数据同步任务。创建数据同步任务...
Lindorm外部表（云原生多模数据库）
使用Lindorm外部表，可以将Lindorm表中的数据同步到MaxCompute进行后续ETL处理，也可以关联Lindorm表进行联邦计算，或将MaxCompute数据输出到Lindorm表中。本文为您介绍如何通过MaxCompute创建Lindorm外部表并映射Lindorm数据源。背景信息 ...
实验介绍
步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute，并提交调度系统，结合DataWorks调度参数实现周期性增量同步。学习如下内容：如何将...
大量数据导出方案
右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。填写 节点名称 为 runsql，单击 确认。配置ODPS SQL节点，配置完成后单击 保存。创建数据同步节点。右键单击业务流程，选择 新建节点>数据集成>离线同步。填写 节点名称 为 sync2...
通过DataHub迁移日志数据至MaxCompute
本文为您介绍如何通过DataHub迁移日志数据至MaxCompute。前提条件 授权访问MaxCompute的账号已开通以下权限：MaxCompute中项目的CreateInstance权限。MaxCompute中表的查看、修改和更新权限。授权操作详情请参见 MaxCompute权限。背景信息 ...
Spark Connector
为了更好地融入大数据生态，MaxCompute开放了存储组件（Storage API），通过调用Storage API直接访问MaxCompute底层存储，有助于提高第三方引擎访问MaxCompute数据的速度与效率。本文为您介绍如何使用第三方计算引擎Spark通过Spark ...
快速体验MaxCompute
MaxCompute支持您使用 MaxCompute控制台、MaxCompute客户端、MaxCompute Studio和DataWorks工具处理数据。本文指导您基于MaxCompute提供的公开数据集，通过 MaxCompute控制台，快速体验在MaxCompute上执行SQL语句查询数据及下载查询结果到...
2024年
准备工作 2024-03-25 新增StarRocks Connector 新说明 StarRocks Connector通过实现External Catalog机制，无需数据导入或创建外部表即可无缝访问MaxCompute数据源，并执行复杂的SQL查询，提升了数据分析效率并降低了运维难度和成本。...
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
功能特性
相关工具 MMA迁移工具 MMA（MaxCompute Migration Assist）是一款MaxCompute数据迁移工具，适合大批量数据传输。MMA迁移工具 安全&合规&治理 MaxCompute提供完善的项目及数据安全管理，支持对项目内用户配置不同的权限管控策略。功能集 ...
2022年
2022-07-14 全部地域 字符串函数 支持Unload函数导出数据时自定义导出文件名的前后缀 支持使用Unload函数从MaxCompute导出数据到OSS时，自定义设置导出数据文件名的前缀和后缀。2022-07-14 全部地域 UNLOAD 支持在表级别设置Split Size参数...
从MaxCompute导入数据报错get odps table error:can ...
3、如果用户的 MaxCompute 开启了保护模式的功能(set projectProtection=true)，数据无法以任何手段从 MaxCompute 项目导出到任何地方。用户可以在 MaxCompute 控制台中关闭这个设置。如问题还未解决，请联系 售后技术支持。
HBase外部表（HBase标准版或增强版）
使用HBase外部表，可以将HBase中的数据同步到MaxCompute进行后续ETL处理，也可以关联HBase外部表进行联邦计算，或将MaxCompute数据输出到HBase的表中。本文为您介绍如何创建HBase外部表。背景信息 HBase 是兼容标准HBase访问协议的分布式...
概述
本文为您介绍使用Java和Scala语言开发的示例。下载示例工程 MaxCompute Spark提供了项目示例工程模板，建议您下载复制后直接在模板里进行开发。...SQL示例（Java）从MaxCompute中读取数据写入HBase 读写OSS文件 读MaxCompute写OSS
本地运行
本地运行时：客户端会从MaxCompute中下载本地调试所需要的输入表的元信息、数据，所需要的资源以及输出表的元信息，并将这些信息保存到一个名为 warehouse 的本地目录中。本地运行结束后：程序运行结束后，会将计算结果输出到 warehouse ...
2022年
本文以开源大数据开发平台E-MapReduce（云上Hadoop）方式模拟本地Hadoop集群，为您介绍如何读写MaxCompute数据。模拟IDC Spark读写MaxCompute实践 2022-07-07 Unload。更新说明 支持使用Unload函数从MaxCompute导出数据到OSS时，自定义设置...
MaxCompute作业概述
数据类型 MaxCompute数据开发支持三个数据类型版本：1.0数据类型版本、MaxCompute 2.0推出了兼容开源主流产品的 2.0数据类型版本 和 Hive兼容数据类型版本。您可以根据您MaxCompute作业的实际情况选用合适的数据类型版本，详情请参见 数据...
安全配置常见问题
因涉及项目数据保护，无法将MaxCompute数据导出至MySQL，如何解决？如何找回被删除的表？MaxCompute如何保证数据安全？MaxCompute拥有完备的措施来保证用户的数据安全：多用户场景，除项目所有者（Project Owner）或项目管理员之外，未经...
Spark-2.x示例
从MaxCompute中读取数据写入HBase 通过IntelliJ IDEA工具编写代码，实现从MaxCompute中读取数据写入HBase。代码示例 object McToHbase { def main(args:Array[String]){ val spark=SparkSession.builder().appName("spark_sql_ddl").config...
UDF开发（Java）
更多MaxCompute数据类型版本信息，请参见 数据类型版本说明。MaxCompute Type Java Type Java Writable Type TINYINT java.lang.Byte ByteWritable SMALLINT java.lang.Short ShortWritable INT java.lang.Integer IntWritable BIGINT java...
与Hive、MySQL、Oracle数据类型映射表
在进行数据迁移或集成操作时，即当您需要将其他数据库数据导入MaxCompute或将MaxCompute数据导出至其他数据库时，您需要参照数据类型映射表，设置表字段的数据类型映射关系。正确的数据类型映射关系可以确保数据在不同数据库中能够正确地...
开发ODPS SQL任务
说明 RAM用户默认没有生产表查询权限，生产表查询权限请前往安全中心申请，DataWorks上MaxCompute数据权限预设以及访问控制，详情请参见 MaxCompute数据权限控制详情。MaxCompute命令授权详情请参见 通过命令管理用户权限。SQL函数 ...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
- 产品推荐
- 这些文档可能帮助您