版本说明
V1.1.2 2017年11月30日 新特性 提供getlastdp接口，支持获取时间序列最新数据值；开通“华南1（深圳）”地域，提供 A、B、C 三个可用区。功能优化 优化时间线删除接口，提升删除效率。V1.1.1 2017年11月16日 新特性 TSDB 支持公网和 VPC ...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
API概览
GetDataArchiveCount 获取数据归档工单量统计 获取数据归档工单量统计，包括：归档成功的工单数目，归档失败的工单数目，正在进行归档的工单数目，归档工单的总数目。SQL任务 API 标题 API概述 ListDBTaskSQLJob 获取SQL任务列表 获取SQL...
配置Greenplum输入组件
如对于需要每天增量追加或全量覆盖获取数据的情况，可填入带有表内日期字段限制为Dataphin的系统时间参数。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除...
配置ArgoDB输入组件
分区 如果所选的来源表是分区表，那么需要填写分区信息，如 state_date=‘20190101’,也支持参数的方式以便每天增量获取数据，如 state_date=${bizdate}。文件编码 根据实际数据情况，选择编码格式。支持 UTF-8 和 GBK。压缩格式 非必填项...
配置Greenplum输入组件
如对于需要每天增量追加或全量覆盖获取数据的情况，可填入带有表内日期字段限制为Dataphin的系统时间参数。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
读取优化
一些大scan需要获取大量的数据，传输数百次甚至数万的rpc请求。我们建议可以适当放开缓存的大小。scan.setCaching(int caching)/大scan可以设置为1000 请求指定列族或者列名 HBase是列族数据库，同一个列族的数据存储在一块，不同列族是...
数据源读取时间超时的优化思路
DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL查询。API接口内部业务调用链路较长，查询超时 为API服务设计缓存空间，针对常用的数据进行高效缓存，减少多次调用读取耗时。优化调用链路，将可以并行调用的过程...
数据源读取时间超时的优化思路
DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL查询。API接口内部业务调用链路较长，查询超时 为API服务设计缓存空间，针对常用的数据进行高效缓存，减少多次调用读取耗时。优化调用链路，将可以并行调用的过程...
Oracle数据源
例如，在一次同步任务启动运行的过程中，当该库存在其它数据写入方写入数据时，由于数据库本身的快照特性，Oracle Reader不会获取到写入的新数据。上述是在Oracle Reader单线程模型下实现数据同步的一致性。Oracle Reader根据您配置的信息...
RestAPI Reader最佳实践
数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
Oracle物理备份的准备工作
在进行Oracle物理备份前，您需要参考本文完成准备工作，包含开启Oracle数据库的归档模式、获取Oracle SID及获取数据库程序目录。前提条件 您的用户角色为DBA。开启归档模式 数据库备份DBS 通过Oracle的RMAN工具进行数据库备份。Oracle数据...
管理缓存
Alluxio利用E-MapReduce（简称EMR）集群的本地节点的内存和磁盘对数据进行分布式缓存。本文为您介绍缓存相关的内容。前提条件 已创建集群，并选择了Alluxio服务，详情请参见 创建集群。已登录集群，详情请参见 登录集群。背景信息 EMR默认...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
开发PyODPS 2任务
with instance.open_reader(tunnel=True,limit=False)as reader:说明 若您未开启 Instance Tunnel，可能导致获取数据格式错误，解决方法请参见 Python SDK常见问题。设置运行参数 您可以通过设置 hints 参数，来设置运行时的参数，参数类型...
OCS与数据库结合使用示例
beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 …… …… 从结果可以看出，程序第1次是从MySQL数据库当中查询数据，后面的19次都是从OCS缓存中获取key对应的value直接返回。...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
使用Stage和Task详情分析查询
AnalyticDB for MySQL 在前端接入节点接收到查询请求后，会将查询切分成多个Stage，在存储节点（Worker节点）和子任务执行节点（Executor节点）分布式进行数据的读取和计算。部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行...
通过实时计算订阅数据
订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。在RDS数据库中，按照源表结构创建相应的表。参考 数据存储配置白名单，配置RDS数据库白名单。由于本案例的RDS数据库位于华东1区，而流计算项目位于华东2区，所以需要在RDS数据库中...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
BLOB数据类型（邀测中）
BLOB（Binary Large Object）即二进制大对象，通常用于存储...示例如下：使用 blob_url 函数获取数据类型为BLOB，名为c2的列的下载地址。SELECT blob_url(c2)FROM testBlob WHERE p1=1;说明 返回结果为HTTP地址，可以通过这个地址下载BLOB列。
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
DataV读取数据源超时
DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL查询。API接口内部业务调用链路较长 为API服务设计缓存空间，针对常用的数据进行高效缓存，减少多次调用读取耗时。优化调用链路，将可以并行调用的过程并行化处理...
DataWorks OpenAPI概述
3级 GetDISyncTask 调用GetDISyncTask获取数据集成实时同步任务和同步解决方案的详情。3级 DeployDISyncTask 调用DeployDISyncTask发布实时同步任务和同步解决方案任务。3级 GetDISyncInstanceInfo 调用GetDISyncInstanceInfo获取实时同步...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
配置Kafka输入
Kafka插件基于Kafka SDK实时读取Kafka数据。背景信息 说明 支持阿里云Kafka，以及>=0.10.2且的自建Kafka版本。对于版本Kafka，由于Kafka不支持检索分区数据offset，且Kafka数据结构可能不支持时间戳，因此会引发同步任务延时统计错乱，造成...
数据缓存
当访问相同的远程数据时，SelectDB会检查本地缓存中是否存在该文件的缓存数据，并根据Block的offset和size，确认哪些数据从本地Block读取，哪些数据从远程获取，并缓存远程拉取的新数据。BE节点重启时，会扫描 cache_path 目录并恢复Block...
CREATE TABLE AS SELECT（CTAS）
云原生数据仓库AnalyticDB MySQL版 支持通过 CREATE TABLE 创建表，也支持通过 CREATE TABLE AS SELECT（CTAS）将查询到的数据写入新表中。语法 CREATE TABLE[IF NOT EXISTS][table_definition][IGNORE|REPLACE][AS]说明 该建表方式默认与...
API概览
DescribeDBInstancesByExpireTime 按过期时间获取数据库实例 该接口用于通过包年包月实例的剩余可用时间查询RDS实例信息。DescribeRegions 查看可选的地域和可用区 该接口用于查询所有RDS地域的详情。CheckInstanceExist 查询实例是否存在 ...
EMR Hive数据整库离线同步至MaxCompute
读取Hive方法 基于HDFS文件读取数据：Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。基于Hive JDBC读取数据：Hive Reader...
EMR Hive数据整库离线同步至MaxCompute
读取Hive方法 基于HDFS文件读取数据：Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。基于Hive JDBC读取数据：Hive Reader...
增量查询
Clustering和Compaction操作都会产生新的数据文件，但并没有增加新的逻辑数据行，只是把原有的记录进行了组织编排优化，因此新产生的数据文件中的记录不应该作为新增数据重复输出，为此，增量查询做了专门设计优化，会剔除掉这些记录，也...
- 产品推荐
- 这些文档可能帮助您