Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
新增和使用独享调度资源组
选择已经与目标数据库网络联通的交换机，若没有可用交换机，可单击 创建交换机 为独享资源组创建交换机。创建完成后这里配置为创建的交换机。安全组 安全组指定了独享资源实例需要允许或禁止哪些公网或内网的访问。您可根据业务需求选择已...
创建PolarDB-X数据源
通过创建PolarDB-X数据源能够实现Dataphin读取PolarDB-X的业务数据或向PolarDB-X写入数据。本文为您介绍如何创建PolarDB-X数据源。背景信息 PolarDB-X（原DRDS升级版）是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X...
新建 PolarDB-X 2.0 数据源
详情请参见 什么是云原生数据库 PolarDB 分布式版。前提条件 已准备 PolarDB-X 2.0 实例，详情请参见 创建实例。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据...
创建PolarDB-X数据源
通过创建PolarDB-X数据源能够实现Dataphin读取PolarDB-X的业务数据或向PolarDB-X写入数据。本文为您介绍如何创建PolarDB-X数据源。背景信息 PolarDB-X（原DRDS升级版）是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X...
数据服务
数据服务中的API分组的作用是什么，与API网关中的分组有什么关联？如何合理设置API分组？最多可以创建多少个API分组？什么情况下要开启API返回结果分页功能？生成API是否支持POST请求？生成API是否支持HTTPS协议？为什么数据服务无法连接...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
元数据采集的数据源有白名单访问控制时需要配置的白...
为保证您能正常使用数据地图的元数据采集和类目管理功能，您需要提前配置好白名单，将使用的DataWorks所在地域的IP网段添加至目标项目或数据库中，并为所使用的账号配置类目管理权限。本文为您介绍如何配置白名单及类目管理权限。背景信息 ...
柱状图
重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 和 BI分析器交互使用说明。...
条形图
重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 和 BI分析器交互使用说明。...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
透明数据加密概述
什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和解密。通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
网络连通与白名单配置
11.194.121.51,11.194.121.50,39.107.223.0/26,39.107.223.128/26,39.107.223.192/26,39.107.223.64/26 华东2（上海）金融云 140.205.46.128/25,140.205.48.0/25,140.205.48.128/25,140.205.49.0/25,140.205.49.128/25,11.192.156.0/25,11....
常见问题
云数据库Redis版与Redis是什么关系？云数据库Redis版是否存在CPU处理能力、带宽和连接数等限制？单个实例有多少个数据库？云数据库Redis版是否都有主从节点？云数据库Redis版能否配置从节点数量？云数据库Redis版是否开放了从节点？云数据...
PolarDB-X
PolarDB-X（原DRDS升级版）是由阿里巴巴自主研发的云原生分布式数据库，融合分布式SQL引擎DRDS与分布式自研存储X-DB，基于云原生一体化架构设计，可支撑千万级并发规模及百PB级海量存储。本文主要介绍如何通过DLA Serverless Spark访问云...
自建Oracle迁移至PolarDB-X
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用平滑地完成Oracle数据库的数据迁移工作。本文以PolarDB-X 2.0为例，介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle数据库迁移至...
PolarDB-X 1.0迁移至PolarDB-X 2.0
如为增量数据迁移任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量数据迁移和增量数据迁移任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量迁移完成后将Binlog保存时间设置为24小时以上），否则DTS可能因...
如何支持超大事务
然后开启事务，执行以下语句，即每个事务会修改x条记录，修改x字节数据：UPDATE `tb` SET c=“b”where id<x 每个事务执行一次该SQL，数据修改量为x字节，数据修改条数为x。考虑x=8 KB和8 MB的情况。测试结果 测试结论 当数据修改量在8 KB...
支持的数据库
AnalyticDB MySQL 版 2.0、3.0版本 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 从RDS同步到云原生数据仓库 AnalyticDB MySQL 版 自建PostgreSQL 9.5.x、9.6.x、10.x、11.x、...
PolarDB-X 1.0同步至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 1.0 同步至 阿里云流式数据服务DataHub。前提条件 已开通 DataHub 服务，并且已创建用作接收同步数据的Project。具体的操作请参见 快速入门、Project操作。...
文档更新动态（2022年）
更新说明 什么是Dataphin 添加派生指标和衍生指标 新建注册上挂标签 2022年07月19日 增加回收站功能 可以将删除的数据处理任务还原。新增说明 管理回收站的资源对象 2022年07月19日 实时研发新增支持Ververcia Flink引擎 支持Flink SQL流批...
新建 RocketMQ 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 RocketMQ 数据源。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已在 RocketMQ 实例中创建 Group。详情请参见 创建 ...
PolarDB-X 1.0同步至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 1.0 同步至 RDS MySQL，实现增量数据的实时同步。前提条件 已创建 PolarDB-X 1.0，如未创建请参见 创建实例 和 创建数据库。说明 PolarDB-X 1.0 的存储类型...
PolarDB-X 1.0迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将PolarDB-X 1.0迁移至RDS MySQL。前提条件 已创建源PolarDB-X 1.0实例。具体操作，请参见 创建实例。说明 PolarDB-X 1.0 的存储类型支持为RDS MySQL（包括私有定制RDS和...
漏斗图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB MySQL...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 1.0 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，实现增量数据的实时同步。前提条件 已创建 PolarDB-X 1.0，如未创建请参见 创建实例 和 创建数据库。说明...
2022年
什么是全球多活数据库集群 新增 PolarDB O引擎集群间的单向同步的场景中，新增支持增量同步DDL操作：CREATE TABLE、DROP TABLE ALTER TABLE（包括RENAME TABLE、ADD COLUMN、ADD COLUMN DEFAULT、ALTER COLUMN TYPE、DROP COLUMN、ADD ...
写入与查询
原因为AES_ENCRYPT(NCRYPT(varbinary x,varchar y)语句中x的数据类型需为 varbinary。SQL示例如下。SELECT CONVERT(AES_DECRYPT(AES_ENCRYPT(CAST('ABC123' AS VARBINARY),'key_string'),'key_string'),char(10));为什么会发生查询结果跳变...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
通过HTTP API写入数据
有很多方法可以向TSDB For InfluxDB®写入数据，包括通过命令行界面（command line interface）和客户端（client libraries）。在这一章中，我们将向您展示如何使用内嵌的HTTP API写入数据。说明 本章节中的示例使用了curl,一种通过URL来...
PolarDB-X 1.0间同步
前提条件 已创建源和目标实例 PolarDB-X 1.0，且已根据源 PolarDB-X 1.0 中待同步对象的数据结构，在目标 PolarDB-X 1.0 实例中创建相应的数据库和数据表。如未创建请参见 创建实例 和 创建数据库。说明 PolarDB-X 1.0 的存储类型支持为RDS...
从RDS PPAS迁移至PolarDB PostgreSQL版（兼容Oracle）...
8GB ppas.x8.medium.2 2核 16GB polar.o.x4.large 4核 16GB ppas.x4.large.2 4核 16GB polar.o.x4.large 4核 16GB ppas.x8.large.2 4核 32GB polar.o.x4.xlarge 8核 32GB ppas.x4.xlarge.2 8核 32GB polar.o.x4.xlarge 8核 32GB ppas.x8....
PolarDB-X 2.0同步至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至阿里云消息队列Kafka，实现增量数据的实时同步。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。目标Kafka实例的版本请参见 数据库...
PolarDB-X 1.0同步至PolarDB-X 2.0
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 1.0 同步至 PolarDB-X 2.0 实例。前提条件 源 PolarDB-X 1.0 的存储类型支持为RDS MySQL（包括私有定制RDS和单独购买的RDS），暂不支持为 PolarDB MySQL版。...
入仓解决方案
支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...
恢复数据
背景信息 关于 专属集群MyBase 的更多介绍，请参见 什么是云数据库专属集群MyBase。恢复MySQL、PostgreSQL数据 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在左侧导航栏中，选择 集群列表。在目标专属集群的 操作 列单击 ...
PolarDB-X 1.0同步至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将PolarDB-X 1.0同步至阿里云消息队列Kafka。前提条件 已创建源PolarDB-X 1.0实例。具体操作，请参见 创建实例。已创建Kafka实例，并已创建用于接收同步数据的Topic，请参见 ...
- 产品推荐
- 这些文档可能帮助您