Dataphin同步任务从Oracle同步数据到ODPS时，Oracle中...
问题描述 本文主要描述了同步任务从Oracle同步数据到ODPS时，Oracle中的空值在ODPS中显示为\N的解决方法。问题原因 同步任务的编码格式选择的是系统默认。解决方案 将同步任务的编码格式选择为GBK或者UTF-8。适用于 Dataphin
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
使用阿里云Flink（流式数据传输）
说明 建议Flink同步MaxCompute并发数大于32或Flush间隔小于60秒的场景下，使用MaxCompute自定义插件。其他场景可以随意选择Flink内置插件和MaxCompute自定义插件。MaxCompute与实时计算Flink版的字段类型对照关系如下。MaxCompute字段类型 ...
使用DataWorks（离线与实时）
场景1：导入本地CSV文件至MaxCompute 同步能力说明 当前支持将CSV格式的文件，基于 本地文件 或 阿里云对象存储OSS 的方式导入MaxCompute。其中：本地文件，最大支持上传5 GB数据。阿里云对象存储OSS，仅支持上传与当前MaxCompute同地域...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
数据上传下载成本优化
合理利用ECS的公共下载资源 如果您的ECS使用包月资源，可以使用Tunnel等数据同步工具，将MaxCompute数据同步到ECS，然后下载到本地。详情请参见 导出SQL的运行结果。Tunnel文件上传优化 小文件会消耗更多计算资源，建议当文件量积累较大时...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
概述
日常工作中，企业通常会对实时...DataWorks数据集成 通过DataWorks配置离线同步节点和同步任务将日志数据同步至MaxCompute。详情请参见 通过DataWorks数据集成迁移日志数据至MaxCompute。此方法为定时任务，配置一次可以多次执行同步任务。
周期性调度作业概述
如果您希望周期性运行MaxCompute作业，可使用DataWorks的DataStudio开发周期性MaxCompute作业，并配置周期性调度的时间属性、调度依赖等配置项，将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks...
使用Kafka（离线与实时）
Kafka数据写入MaxCompute流程：阿里云全托管Kafka MaxCompute与消息队列Kafka版服务紧密集成，借助消息队列Kafka版服务的MaxCompute Sink Connector，无需第三方工具及二次开发，即可满足将指定Topic数据持续导入MaxCompute数据表的需求，...
通过DataHub迁移日志数据至MaxCompute
本文为您介绍如何通过DataHub迁移日志数据至MaxCompute。前提条件 授权访问MaxCompute的账号已开通以下权限：MaxCompute中项目的CreateInstance权限。MaxCompute中表的查看、修改和更新权限。授权操作详情请参见 MaxCompute权限。背景信息 ...
Information Schema常见问题
问题类别 常见问题 Information Schema使用 通过数据源数据增量同步后，如何查看某一条数据具体被同步到MaxCompute中的时间？如何查看表的Information Schema？information_schema.tables中没有查到MaxCompute项目下所有的表，应该如何解决...
与Hive、MySQL、Oracle内建函数对照表
本文为您提供MaxCompute、Hive、MySQL以及Oracle的内建函数对照表，方便您根据Hive、MySQL、Oracle内建函数查找对应的MaxCompute内建函数。日期函数 MaxCompute Hive MySQL Oracle DATEADD 无 无 无 DATE_ADD DATE_ADD DATE_ADD 无 DATE_...
Elasticsearch数据迁移至MaxCompute
右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称，并单击 确认。在ODPS SQL节点编辑页面输入如下语句。SELECT*FROM elastic2mc_bankdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
与其他SQL语法的差异
本文将MaxCompute SQL与Hive、MySQL、Oracle、SQL Server的SQL语法进行对比，为您介绍MaxCompute不支持的语法。MaxComputeDDL语法差异对比 语法 MaxCompute Hive MySQL Oracle SQL Server CREATE TABLE—PRIMARY KEY N N Y Y Y CREATE ...
2021年
错误码概述 Common错误码（ODPS-00CCCCX）SQL错误码（ODPS-01CCCCX）PL错误码（ODPS-02CCCCX）API错误码（ODPS-04CCCCX）Xlib错误码（ODPS-05CCCCX）2021-03-19 补充常见问题。更新说明 根据用户反馈问题合入常见问题。Information Schema...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
采集数据
表：ods_raw_log_d col string 分区字段：dt 生命周期：7天 步骤一：购买并配置独享数据集成资源组 本教程需将存储在OSS、MySQL中的日志数据同步至MaxCompute，同步任务需使用DataWorks的独享数据集成资源组，因此您需要先准备独享数据集成...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
内建函数常见问题
本文为您介绍MaxCompute内建函数的常见问题。问题类别 常见问题 日期函数 MaxCompute是否支持将2010/1/3格式转换为2010-01-03？如何将UNIX时间转为日期值？如何获取系统当前时间？使用YEAR、QUARTER、MONTH和DAY日期函数时，报错cannot be ...
Lindorm外部表（云原生多模数据库）
使用Lindorm外部表，可以将Lindorm表中的数据同步到MaxCompute进行后续ETL处理，也可以关联Lindorm表进行联邦计算，或将MaxCompute数据输出到Lindorm表中。本文为您介绍如何通过MaxCompute创建Lindorm外部表并映射Lindorm数据源。背景信息 ...
2023年
本文为您介绍了MaxCompute 2023年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2023年12月更新记录 时间 特性 类别 ...
实验介绍
步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute，并提交调度系统，结合DataWorks调度参数实现周期性增量同步。学习如下内容：如何将...
ODS层设计规范
数据加载与处理 通过一键实时同步至MaxCompute方案实现，请参见 一键实时同步至MaxCompute。命名规范 表命名规范 表命名规则：{层次}{源系统表名}{保留位/delta与否}。增量数据：{project_name}.s{源系统表名}delta。全量数据：{project_...
需求分析
dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至MaxCompute各表，并通过ODPS SQL任务，...
HBase外部表（HBase标准版或增强版）
使用HBase外部表，可以将HBase中的数据同步到MaxCompute进行后续ETL处理，也可以关联HBase外部表进行联邦计算，或将MaxCompute数据输出到HBase的表中。本文为您介绍如何创建HBase外部表。背景信息 HBase 是兼容标准HBase访问协议的分布式...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
与Hive、MySQL、Oracle数据类型映射表
在进行数据迁移或集成操作时，即当您需要将其他数据库数据导入MaxCompute或将MaxCompute数据导出至其他数据库时，您需要参照数据类型映射表，设置表字段的数据类型映射关系。正确的数据类型映射关系可以确保数据在不同数据库中能够正确地...
大量数据导出方案
右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。填写 节点名称 为 runsql，单击 确认。配置ODPS SQL节点，配置完成后单击 保存。创建数据同步节点。右键单击业务流程，选择 新建节点>数据集成>离线同步。填写 节点名称 为 sync2...
MaxCompute数据迁移至OSS
配置MaxCompute（ODPS）Reader和对象存储（OSS）Writer。进入数据开发页面，右键单击指定业务流程，选择 新建节点>数据集成>离线同步。在 新建节点 对话框中，输入 节点名称，并单击 确认。在顶部菜单栏上，单击 图标。在脚本模式下，单击...
SQL概述
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
快速体验MaxCompute
MaxCompute支持您使用 MaxCompute控制台、MaxCompute客户端、MaxCompute Studio和DataWorks工具处理数据。本文指导您基于MaxCompute提供的公开数据集，通过 MaxCompute控制台，快速体验在MaxCompute上执行SQL语句查询数据及下载查询结果到...
授权给其他用户
授权操作：通过DataWorks 如果您通过DataWorks控制台创建DataWorks工作空间时同步创建的MaxCompute项目，并且希望后续使用DataWorks进行MaxCompute的作业开发治理，您可直接在DataWorks的控制台上对用户进行授权。DataWorks为您提供了完整...
2020年
本文为您介绍了MaxCompute 2020年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。2020年12月更新记录 时间 特性 类别 描述 产品文档 2020-12-28 新增Streaming Tunnel服务。...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
计费常见问题
本文为您介绍MaxCompute计费的常见问题。问题类别 常见问题 计费方式 MaxCompute如何计费？如果按月购买MaxCompute还会额外收取费用吗？购买MaxCompute后未执行操作，是否会产生费用？存储费用 MaxCompute会存储三个副本，如何计费？已删除...
什么是MaxCompute
MaxCompute还深度融合了阿里云如下产品：DataWorks 基于DataWorks实现一站式的数据同步、业务流程设计、数据开发、管理和运维功能。人工智能平台PAI 基于机器学习平台的算法组件实现对MaxCompute数据进行模型训练等操作。实时数仓Hologres ...
网易有数BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入网易有数BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接MaxCompute项目，并进行可视化数据分析。背景信息 网易有数BI是新一代敏捷数据可视化分析平台，是包含...
- 产品推荐
- 这些文档可能帮助您