配置PostgreSQL输入组件
同步PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置PostgreSQL输入组件读取的源数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PostgreSQL输入组件。在开始执行操作前，请确认您已完成以下操作：已创建PostgreSQL...
使用SQL模式创建数据服务API
本文介绍如何用SQL模式创建数据API。前提条件 已创建云计算资源，具体操作，请参见 新建云计算资源。已创建应用，具体操作，请参见 新建应用。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
读取优化
离线计算访问Hbase建议禁止缓存 当离线访问HBase时，往往就是一次性的读取，此时读取的数据没有必要存放在blockcache中，建议在读取时禁止缓存。scan.setBlockCache(false)服务端优化 请求是否均衡 读取的压力是否都在一台或者几台之中，在...
配置PostgreSQL输入组件
同步PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置PostgreSQL输入组件读取的源数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PostgreSQL输入组件。在开始执行操作前，请确认您已完成以下操作：已创建PostgreSQL...
配置GBase 8a输入组件
同步GBase 8a数据源的数据至其他数据源的场景中，您需要先配置GBase 8a输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GBase 8a输入组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源。...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置AnalyticDB for MySQL 3.0输入组件
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。在开始执行操作前，请...
配置AnalyticDB for MySQL 3.0输入组件
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。操作步骤 请参见 通过...
配置GBase 8a输入组件
同步GBase 8a数据源的数据至其他数据源的场景中，您需要先配置GBase 8a输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GBase 8a输入组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源。...
产品架构
增量数据迁移：当全量数据迁移完成后，DTS会检索本地存储的增量数据，重新格式化，并将数据更新应用到目标数据库中。此过程将持续下去，直到所有正在进行的数据变更都复制到目标数据库，并且源数据库和目标数据库完全同步。数据同步的工作...
配置Kudu输入组件
配置Kudu输入组件后，可以读取Kudu数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Kudu输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kudu数据源。具体操作，请参见 创建Kudu数据源。进行...
管理API
例如描述API返回的数据，API的应用场景。路径 路径为API调用地址的组成部分。路径只能以/开头，仅支持以英文、数字、下划线（_）、横杠（-）组成，例如/item/add。API调用地址结构示例：https://{分组域名}{路径}。路径定义为/item/test、...
OSS
本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
如何选择备份方式
数据库备份DBS 支持逻辑备份和物理备份两种备份方式，为数据库提供连续数据保护、低成本的备份服务，您可以在评估业务后选择最符合您需求的备份方式。逻辑备份与物理备份的区别 参照项 逻辑备份 物理备份 概念 数据库对象级备份，备份内容...
RDS SQL Server I/O高问题
数据页读取I/O吞吐高 数据页读取（Page Reads）的I/O吞吐高是导致RDS SQL Server实例I/O吞吐高的原因中最常见的一种，主要原因是实例的缓存不足，导致查询请求在执行过程中由于缓存无法命中（cache miss），从而需要在磁盘中读取大量的数据...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
RDS(MySQL)
本文介绍如何使用Databricks 读写阿里云RDS（MySQL）数据源数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 MySQL实例，具体参见 创建 MySQL实例。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问...
使用向导模式创建数据服务API
本文介绍如何使用向导模式创建数据API。前提条件 已创建工作组，具体操作，请参见 新建工作组。已创建云计算资源，具体操作，请参见 新建云计算资源。已创建应用，具体操作，请参见 新建应用。已通过查看云计算资源的物理表更新缓存表，...
ORC文件
警告 首次使用DDI产品创建的Bucket为系统目录Bucket，不建议存放数据，您需要再创建一个Bucket来读写数据。说明 DDI访问OSS路径结构：oss:/BucketName/Object BucketName 为您的存储空间名称。Object 为上传到OSS上的文件的访问路径。例：...
使用向导模式创建数据服务API
本文介绍如何使用向导模式创建数据API。前提条件 已创建工作组，具体操作，请参见 新建工作组。已创建云计算资源，具体操作，请参见 新建云计算资源。已创建应用，具体操作，请参见 新建应用。已通过查看云计算资源的物理表更新缓存表，...
API调用特殊参数说明
数据资源平台提供了一系列内置的请求参数，在API的调用过程中，您可以通过这些特殊的请求参数，在数据API原有的查询逻辑上添加聚合、排序、过滤返回字段等等额外的逻辑，或者在返回结果里透出额外的信息字段等。本文为您介绍API调用的一些...
通过Spark SQL读写C-Store表数据
AnalyticDB MySQL 湖仓版（3.0）集群支持通过Spark SQL在线或离线读写C-Store表数据。本文主要介绍通过Spark SQL在线或离线读写C-Store表数据的具体方法。前提条件 湖仓版（3.0）集群的存储预留资源需大于0 ACU。详情请参见 创建湖仓版集群...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
创建API数据源
通过创建API数据源能够实现Dataphin向API请求业务数据或向API请求写入数据。本文为您介绍如何创建API数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加...
创建API数据源
通过创建API数据源能够实现Dataphin向API请求业务数据或向API请求写入数据。本文为您介绍如何创建API数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加...
逻辑备份、物理备份与快照
数据库备份DBS 支持逻辑备份与物理备份，详细说明如下：区别项 逻辑备份 物理备份 全量备份 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件...
RDS MySQL I/O高问题
附：InnoDB I/O系统介绍 InnoDB通过一套独立的I/O系统来处理数据页的读取和写入，如果SQL请求的数据页不在Buffer Pool中，会产生物理I/O，需要读写底层存储的数据：读数据页操作 通过同步I/O实现，同步I/O调用底层的读接口。写数据页操作 ...
OpenAPI 导航
API 名称 API 描述 CeateDrdsDB 创建数据库 DescribeDrdsDB 查询数据库 DeleteDrdsDB 删除数据库 ModifyDrdsDBPasswd 重置数据库密码 DescribeDrdsDBs 查询数据库列表 ModifyDrdsIpWhiteList 修改数据库白名单 DescribeDrdsDBIpWhiteList ...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
API调用特殊参数
我们提供了一系列内置的请求参数，在API的调用过程中，用户可以通过这些特殊的请求参数，在数据API原有的查询逻辑上添加聚合、排序、过滤返回字段等等额外的逻辑，或者在返回结果里透出额外的信息字段等等。使用场景 交管云控平台使用 企业...
API调用特殊参数
我们提供了一系列内置的请求参数，在API的调用过程中，用户可以通过这些特殊的请求参数，在数据API原有的查询逻辑上添加聚合、排序、过滤返回字段等等额外的逻辑，或者在返回结果里透出额外的信息字段等等。使用场景 交管云控平台使用 数据...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
添加数据源概述
数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里云提供的数据库连接代理工具来...
IO加速
功能优势 引入IO加速功能的缓存池拓展后，RDS MySQL的存储结构分为三个层次，能够针对不同的数据存储场景和诉求，充分利用阿里云底座的各种存储介质，实现实例的IO性能提升：提升读写性能，缩短SQL执行耗时 缓存池拓展通过缓存数据读取操作...
Parquet（推荐）
创建集群并通过knox账号访问Notebook 警告 首次使用DDI产品创建的Bucket为系统目录Bucket，不建议存放数据，您需要再创建一个Bucket来读写数据。说明 DDI访问OSS路径结构：oss:/BucketName/Object BucketName 为您的存储空间名称。Object ...
通用云盘IO加速功能技术介绍
功能优势 引入IO加速功能的缓存池拓展后，RDS MySQL的存储结构为三个层次，能够针对不同的数据存储场景和诉求，充分利用阿里云底座的各种存储介质，实现实例的IO性能提升：提升读写性能，缩短SQL执行耗时 缓存池拓展通过缓存数据读取操作，...
- 产品推荐
- 这些文档可能帮助您