开源支持
MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB级数据仓库...源代码请参见GitHub Aliyun MaxCompute Data Collectors。插件说明请参见 wiki。服务支持方式：在GitHub Aliyun MaxCompute Data Collectors 中留言或新建Issue。
CreateDIJob
内置变量可选值包括：EXECUTE_TIME（执行时间，Long类型）、DB_NAME_SRC（源端数据库名称，String类型）、DATASOURCE_NAME_SRC（源端数据源名称，String类型）、TABLE_NAME_SRC（源端表名，String类型）、DB_NAME_DEST（目标端数据库名称，...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
同步EMR Kafka数据至HDFS
default-agent.channels.c1.transactionCapacity 每个事务通道将从源接收或提供给接收器的最大事件数。请根据实际环境修改该参数值。default-agent.sinks.k1.hdfs.path Flume向HDFS写入数据的路径。针对普通集群和高可用集群代码示例如下：...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
数据类型
本文描述 云数据库ClickHouse 的数据类型。数据类型列表 ClickHouse完整数据类型介绍，请参考 开源官方数据类型介绍。分类 关键字 数据类型 取值/取值范围 整数类型 Int8 Int8 取值范围：128-127。Int16 Int16 取值范围：32768-32767。Int...
Stream Load
示例1：表中有3列 c1,c2,c3，源文件中的3列依次对应的是 c3,c2,c1，则需要指定-H"columns:c3,c2,c1。示例2：表中有3列 c1,c2,c3，源文件中前3列与表中的列一一对应，但是还有多余1列，则需要指定-H"columns:c1,c2,c3,temp"，最后1列随意...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
Stream Load
示例1：表中有3列 c1,c2,c3，源文件中的3列依次对应的是 c3,c2,c1，则需要指定-H"columns:c3,c2,c1。示例2：表中有3列 c1,c2,c3，源文件中前3列与表中的列一一对应，但是还有多余1列，则需要指定-H"columns:c1,c2,c3,temp"，最后1列随意...
数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
MongoDB数据源
MongoDB数据源为您提供读取和写入MongoDB双向通道的功能，本文为您介绍DataWorks的MongoDB数据同步的能力支持情况。支持的版本 仅支持4.x、5.x版本的MongoDB。使用限制 数据集成支持使用MongoDB数据库对应账号进行连接，如果您使用的是云...
数据服务：低成本快速发布API
数据服务支持通过零代码或自助SQL的双模式，将各类数据源下的数据表生成数据API，同时支持函数计算来辅助加工API的请求参数及返回结果。数据服务采用Serverless架构，用户无需关心运行环境等基础设施，即可将API服务一键发布至API网关。...
通用数据查询与管理
如果需要快速地查找数据，例如查找工作空间、数据源中的表、数据分析和数据服务中的代码或API，您可以在数据地图中进行查找。进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
TPC-C测试说明
本文介绍如何使用TPC-C工具测试 PolarDB-X 1.0 数据库的联机交易处理（偏向OLTP能力），您可以按照本文介绍自行测试对比，快速了解数据库系统的性能。背景信息 TPC-C是业界常用的一套Benchmark，由TPC委员会制定发布，用于评测数据库的联机...
CreateProject-创建项目
e_4j0c12z*SinkEndpointId string 是 目标端数据源的 ID。您需要调用 ListDataSource 接口获取 ID，格式为 e_*。e_4j0cz*TransferMapping object 是 传输对象的映射信息。Mode string 否 传输对象映射模式，包括 SPECIFIC（表示指定对象）...
风险识别规则响应案例
本文扩展程序代码以下载1000条数据进行判断举例说明，如果希望不同的下载条数触发不同的审批流，您可以配置多个扩展程序，详情请参见 步骤三：配置风险识别规则。例如：第一个扩展程序仅在下载条数为0~2000时命中，对应审批流程1。第二个...
配置MySQL输出组件
同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建MySQL数据源。进行FTP输出组件属性配置的...
配置MySQL输出组件
同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建MySQL数据源。进行FTP输出组件属性配置的...
配置Oracle输出组件
同步其他数据源的数据至Oracle数据源的场景中，完成源数据的信息配置后，需要配置Oracle输出组件的目标数据源。本文为您介绍如何配置Oracle输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
配置Oracle输出组件
同步其他数据源的数据至Oracle数据源的场景中，完成源数据的信息配置后，需要配置Oracle输出组件的目标数据源。本文为您介绍如何配置Oracle输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引...
调用API
数据源类型 单次最大返回条数 查询总条数限制 是否支持分页查询 单物理表服务单元 MySQL 10000 无上限 支持 AnalyticDB for MySQL2.0 支持 ElasticSearch 支持 Microsoft SQL Server 不支持 PostgreSQL 支持 AnalyticDB for MySQL3.0 支持 ...
Python
步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库连接参数验证登录...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
配置TDH Inceptor输出组件
同步其他数据源的数据至TDH Inceptor数据源的场景中，完成源数据源的信息配置后，需要配置TDH Inceptor输出组件写入数据的目标数据源。本文为您介绍如何配置TDH Inceptor输出组件。使用限制 TDH Inceptor输出组件支持写入文件格式为orc、...
地理围栏
数据源 单击 配置数据源，可在 设置数据源 页面中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。详情请参见 配置组件数据。数据过滤器 单击 添加过滤器，可在 设置数据源 页面中配置数据过滤器，详情请参见 组件...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
动态列
云原生多模数据库 Lindorm 宽表引擎支持动态列功能，即创建表时未显式指定的列，在实际业务中动态写入数据并执行查询。本文介绍如何通过Lindorm SQL实现动态列能力的开启、写入以及查询。背景信息 传统关系型数据库表的Schema必须预先定义...
个人设置
您可使用个人设置功能，自定义目标工作空间中数据开发（DataStudio）界面的布局和风格。例如，更改DataStudio左侧导航栏显示的功能模块、切换开发界面的背景颜色，以及设置编辑器可进行代码错误检查、自动换行、自动保存等。进入个人设置 ...
UDT示例
例如Java数组、JSON、复杂类型、聚合操作、表值函数、函数重载和引用嵌入式代码。说明 请您在脚本模式下运行如下示例代码，脚本模式详情请参见 SQL脚本模式。Java数组 set odps.sql.type.system.odps2=true;set odps.sql.udt.display....
数据库代理发布记录
本文主要介绍了 PolarDB MySQL版 数据库代理的版本更新记录。关于版本或者主动运维升级的相关问题，可加钉钉群咨询，群号：51685000218。版本管理机制 当前 PolarDB MySQL版 数据库代理有两个版本管理机制：新购版本：用户新购买的实例的...
数据倾斜调优
select/*+skewjoin(a(c0,c1)((1,"2"),(3,"4")))*/*from T0 a join T1 b on a.c0=b.c0 and a.c1=b.c1 and a.c2=b.c2;说明 SkewJoin Hint方法直接指定值的处理效率比手动切分热值方法和设置SkewJoin参数方法（不指定值）高。SkewJoin Hint...
ModifyPolarDbReadWeight
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ModifyPolarDbReadWeight 系统规定参数，取值为 ModifyPolarDbReadWeight。DbInstanceId String 是 pc-*Polar集群ID。...
步骤三：引入数据
完成数据仓库的规划和数据源信息的配置后，您还需将您的源数据product表、customer表、orders表引入到项目中。本文将指导您如何将数据源的数据集成到您的创建的项目空间。背景信息 product表、customer表、orders表的集成步骤相同，仅管道...
步骤三：引入数据
完成数据仓库的规划和数据源信息的配置后，您还需将您的源数据product表、customer表、orders表引入到项目中。本文将指导您如何将数据源的数据集成到您的创建的项目空间。背景信息 product表、customer表、orders表的集成步骤相同，仅管道...
- 产品推荐
- 这些文档可能帮助您