使用ClickHouse-Local迁移上云
当您需要优化数据管理、提高数据访问性能和降低数据库维护成本时，您可以将自建数据库迁移至云数据库ClickHouse企业版。云数据库ClickHouse企业版通过ClickHouse-Local工具为您的迁移任务提供了简便且可靠的解决方案。什么是ClickHouse-...
什么是RDS MySQL
RDS MySQL 阿里云关系型数据库服务RDS（Relational Database Service）支持MySQL引擎，RDS MySQL是基于阿里巴巴MySQL源码分支的在线数据库服务，经过双十一高并发、大数据量的考验，拥有优良的性能。RDS MySQL支持实例管理、账号管理、数据...
什么是RDS PostgreSQL
RDS PostgreSQL 阿里云关系型数据库RDS（Relational Database Service）支持PostgreSQL引擎，RDS PostgreSQL的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等。除了完美支持事务、子查询...
MongoDB逻辑备份
支持类型如下：有公网IP:Port的自建数据库 ECS上的自建数据库 云数据库MongoDB 通过专线/VPN网关/智能网关接入的自建数据库 无公网IP:Port的自建数据库（通过数据库网关DG接入）说明 当您选择云数据库MongoDB时，系统会自动从备库读取数据...
管理缓存
如果在所有层上均未找到存储空间，Alluxio会释放空间来存储新写入的数据块。默认的释放策略是LRUAnnotator，按照最近最少使用的顺序释放数据块。客户端读取数据块时，如果数据已经存在于Alluxio中，则客户端将直接读取对应Worker节点；如果...
概述
为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，增加应用的吞吐量。读写分离：读写分离功能是在只读实例的基础上，额外提供了一个读写分离地址，联动主实例及其所有...
从备库备份MongoDB数据库
有公网IP:Port的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 无公网IP:Port的自建数据库(通过数据库网关DG接入)操作步骤 本示例的源库部署位置为 通过专线/VPN网关/智能网关接入的自建数据库。登录 DBS控制台。单击左侧导航栏中...
简介
只读实例可以满足大量的数据库读取需求，增加应用的吞吐量，实现读取能力的弹性扩展，分担数据库压力。使用场景 数据库有少量写请求，但有大量读请求。总览 GDB创建只读实例时会利用云盘快照功能，发起最新的数据快照，数据与主实例一致，...
RDS(MySQL)
读取数据库数据%spark import java.sql.{Connection,DriverManager,PreparedStatement} import java.util.Properties import org.apache.spark.sql.types.{IntegerType,StringType,StructField,StructType} import org.apache.spark.sql.{...
MySQL
API种类 Datastream和SQL 是否支持更新或删除结果表数据 是 特色功能 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证不多读一条也不少读一条数据。即使发生故障，也能保证通过Exactly ...
PostgreSQL只读实例简介
在对数据库有少量写请求，但有大量读请求的应用场景下，单个实例可能无法承受读取压力，甚至对业务产生影响。为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，增加应用...
产品优势
数据库备份DBS 支持多种环境的数据库备份，通过专线接入、公网等接入技术，实现用户本地IDC数据库备份、ECS自建数据库的备份、其他云环境和RDS数据库备份，通过简单地配置实现数据库全量备份、增量备份以及数据恢复。低成本 DBS使用飞天...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
SQL Server只读实例简介
在对数据库有少量写请求，但有大量读请求的应用场景下，单个实例可能无法承受读取压力，甚至对业务产生影响。为了实现读取能力的弹性扩展，分担数据库压力，您可以通过创建一个或多个只读实例分散数据库读取压力，增加应用的吞吐量。RDS ...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
一键实时同步至Kafka
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
MySQL分库分表同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享...
MySQL分库分表同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享...
Kafka数据源
实时同步写入数据到Kafka时，写入的格式为内置的JSON格式，写入数据为包含数据库变更消息的数据、业务时间和DDL信息的所有数据，数据格式详情请参见 附录：消息格式。同步任务类型 写入Kafka value 的格式 源端字段类型 写入时的处理方式 ...
MySQL数据源
您可以在MySQL数据库通过如下语句查看当前MySQL数据库版本。SELECT version();准备工作2：配置账号权限 建议您提前规划并创建一个专用于DataWorks访问数据源的MySQL账号，操作如下。可选：创建账号。操作详情请参见 创建MySQL账号。配置...
SmartData常见问题
JindoFS Block模式的元数据的更新支持异步备份至阿里云Tablestore数据库上，在确保生产集群停止更新，所有修改同步至Tablestore后，可以停掉JindoFS集群，此时，所有数据在OSS和Tablestore上。重建集群时，恢复OSS和Tablestore上数据至重建...
PolarDB-X 2.0数据源
mbps":"12"/限流，控制同步的最高速率，防止对上游/下游数据库读取/写入压力过大。} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } PolarDB-X 2.0 Writer脚本参数 脚本参数名 描述 是否必选 默认值 datasource 数据源名称。该...
MariaDB数据源
mbps":"12"/限流，控制同步的最高速率，防止对上游/下游数据库读取/写入压力过大，此处1mbps=1MB/s。} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } MariaDB Writer脚本参数 脚本参数名 描述 是否必选 默认值 datasource 数据...
查询机制
SELECT 使用SELECT查询数据时，需要从磁盘中读取一个数据块到内存中，然后通过内存中数据块获取返回结果。INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成...
备份对数据库的影响
数据库备份DBS 对数据库执行备份时会造成一定影响，建议选择业务低峰期执行备份任务。备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程并行读取数据。在数据库所在服务器上...
背景信息以及准备工作
您还可以在DLA中创建 云数据库 Redis 版（简称Redis）的数据库连接（映射数据库），然后通过MySQL客户端或者MySQL命令行工具连接DLA，使用标准SQL语句操作Redis数据库数据。本文档将以DLA读取Redis中CSV和JSON两中类型的数据为例，介绍如何...
如何选择备份方式
数据库备份DBS 支持逻辑备份和物理备份两种备份方式，为数据库提供连续数据保护、低成本的备份服务，您可以在评估业务后选择最符合您需求的备份方式。逻辑备份与物理备份的区别 参照项 逻辑备份 物理备份 概念 数据库对象级备份，备份内容...
创建数据库用户
OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建数据库 的 OceanBase 数据源时填写 数据库用户名。OceanBase 集群实例类型的数据库用户创建方式及授权请参见 创建 ...
配置Teradata输入组件
使用限制 不支持读取Teradata数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。按照下图指引，进入 Teradata输入配置 对话框。序号 说明 ① 单击 组件库。② 单击 输入。③ 拖动 Teradata 组件至左侧的...
QlikView（2.0版）
本章节介绍如何通过QlikView连接 云原生数据仓库AnalyticDB MySQL版 2.0集群，并通过QlikView构建BI系统。...使用QlikView 在QlikView中读取到数据库数据后，用户可以利用QlikView进行更多数据操作。QlikView的使用请参见 QlikView。
配置Teradata输入组件
使用限制 不支持读取Teradata数据库的视图。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Teradata数据源。具体操作，请参见 创建Tablestore数据源。进行Teradata输入组件属性配置的账号，需具备该数据源的同步读权限。如果...
配置SAP Table输入组件
RFC_READ_TABLE是SAP系统自带的RFC函数，用于读取SAP数据库表的结构和数据。参数 描述 步骤名称 即SAP Table输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务场景修改。不超过64字符。数据源 可选取Dataphin中所有SAP Table...
配置SAP Table输入组件
RFC_READ_TABLE是SAP系统自带的RFC函数，用于读取SAP数据库表的结构和数据。参数 描述 步骤名称 即SAP Table输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务场景修改。不超过64字符。数据源 可选取Dataphin中所有SAP Table...
逻辑备份、物理备份与快照
常用的数据备份方式为逻辑备份、物理备份与快照：逻辑备份：数据库对象级备份，备份内容是表、索引、存储过程等数据库对象，常见工具为MySQL mysqldump、Oracle exp/imp等。物理备份：数据库文件级备份，备份内容是操作系统上数据库文件，...
通过自治服务解决MySQL实例CPU使用率过高的问题
本文将介绍如何使用数据库自治服务DAS（Database Autonomy Service）（原CloudDBA）来定位系统中的慢SQL和其它异常SQL语句，您可通过自治服务提供的建议优化这些SQL语句，降低实例的CPU使用率以提升系统效率。问题描述 在使用云数据库RDS ...
新建 OceanBase 数据源
该用户主要用于读取 OceanBase 数据库增量日志和数据库对象结构信息，请在业务集群 sys 租户下创建。密码 DRC 用户的密码。oblogproxy IP（可选）OceanBase 数据库增量日志代理服务，以服务的形式，提供实时增量项目介入和管理能力，方便...
lo-implementation
大对象的实现将大对象分解成很多“数据块”并且将这些数据块存储在数据库的行中。一个 B-tree 索引用来保证在进行随机访问读写时能够根据数据块号快速地搜索到正确的数据块。为一个大对象存储的数据块并不需要是连续的。例如，如果一个应用...
产品架构
对于异构数据库之间的迁移，DTS会解析源数据库的DDL代码，将代码转换成目标数据库的语法，然后在目标数据库中重新创建结构对象。全量数据迁移：在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到目标数据库。源数据库保持运行状态...
Postgres CDC（公测中）
Postgres CDC可用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读一条也不少读一条数据。即使发生故障，也能采用Exactly Once方式处理。本文为您介绍如何使用Postgres CDC连接器。背景信息 Postgres CDC连接器支持的信息...
- 产品推荐
- 这些文档可能帮助您