从ECS上的自建MySQL同步至PolarDB MySQL版（金融云）
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。准备工作 为自建MySQL创建账号并设置binlog。说明 该账号需具备REPLICATION CLIENT、REPLICATION...
OpenAPI列表
会生成补数据实例运行：影响相关产出表数据。会进行任务运行：造成计算的费用以及存储的费用。CreatePhysicalNodeSupplement 创建物理节点补数据（物理节点），推荐使用CreateNodeSupplement。会进行数据回刷：影响历史数据 会进行节点的...
数据开发常见问题
Spark：Spark常见问题 外部表：外部表常见问题 安全管理相关：权限管理常见问题 安全配置常见问题 运维管理：Information Schema常见问题 小文件优化及作业诊断常见问题 其他运维常见问题 下载数据相关：如何下载超过1万条的表数据？...
识别规则及识别方式
说明 每次任务提交至开发环境或发布至生产环境时，根据输出表查询输入表并获取输入字段的血缘关系，按照规则配置生成自动继承结果。如果上游字段不同，但是继承结果对应的分类分级相同，则会更新继承结果的来源字段；如果生成新的分类分级...
识别规则及识别方式
说明 每次任务提交至开发环境或发布至生产环境时，根据输出表查询输入表并获取输入字段的血缘关系，按照规则配置生成自动继承结果。如果上游字段不同，但是继承结果对应的分类分级相同，则会更新继承结果的来源字段；如果生成新的分类分级...
图运维
图运维 图运维页面帮助用户查看当前图的回流信息，支持两种查看视角：图schema视角，并支持对图进行索引构建、数据写入操作 节点、关系视角，并查看对应的回流日志 图schema视角 以图schema视角查看全局图运维信息，对节点、关系右键可进行...
关系数据库全量入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用关系数据库全量入湖任务将RDS或...一库多表入湖 DLF支持关系数据库一库多表的入湖，目前需要在表路径中配置前缀匹配，例如test_db/order_*将测试库中订单相关表批量同步。
功能更新动态（2023年）
编辑器代码提效 新建离线物理表 数据源 针对 MySQL、PolarDB-x、PolarDB、AnalyticDB for MySQL、AnalyticDB for PostgreSQL、TiDB、GoldenDB、StarRocks、PostgreSQL、GreenPlum、SQL Server、Vertica、SAP Hana、DB2、OceanBase、...
文档更新动态（2023年）
更新说明 编辑器代码提效 新建离线物理表 数据源功能优化 针对 MySQL、PolarDB-x、PolarDB、AnalyticDB for MySQL、AnalyticDB for PostgreSQL、TiDB、GoldenDB、StarRocks、PostgreSQL、GreenPlum、SQL Server、Vertica、SAP Hana、DB2、...
新建及管理识别规则
测试仅用于判断单条识别规则是否能识别出敏感数据，实际执行会对多个符合条件的规则进行判断并按照优先级最终确定一个识别规则，因此测试打标结果可能和实际的规则打标结果不一致。手动触发识别规则 按照下图操作指引，进入 手动规则扫描 ...
DQL操作常见问题
假设项目中存在一张表iris，表数据如下。——————————————————————————————————————————+|Field|Type|Label|Comment|+————————————————————————————————————...
文档修订记录
复合指标 2023.7.13 新增功能 数据集成 实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。Kafka实时ETL同步至...
数据治理
数据质量监控 应用场景 从完整性、准确性、有效性、一致性、唯一性和及时性等多个维度对产出表数据进行校验，自动拦截问题任务，有效阻断脏数据向下游蔓延，避免非正常数据影响使用和业务决策。监控逻辑 实例（ds_mbr_use_info）产出一张表...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
重要 如果出错后单击恢复，数据传输将忽略该配置选项，继续迁移表数据，请谨慎操作。是否允许索引后置 您可以设置是否允许全量数据迁移完成后再创建索引，索引后置功能能够缩短全量迁移耗时。选择索引后置的注意事项，请参见表格下方的说明...
列存索引
在创建列存索引时，若宽表数据的主键字段不能直接作为列存索引的普通分区表达式，可以在普通分区表达式中包含计算逻辑，示例如下。对宽表所有字段创建列存索引，将列存索引数据按时间戳字段 ts 按天分区：CREATE INDEX my_ts_idx ...
常见问题
支持，关系数据库之间的数据同步支持的DML操作为INSERT、UPDATE、DELETE，支持的DDL操作为CREATE、DROP、ALTER、RENAME、TRUNCATE。说明 不同场景下支持的DML或DDL操作有所区别，请在 同步方案概览 中选择符合业务场景的链路，在具体链路...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
重要 如果出错后单击恢复，数据传输将忽略该配置选项，继续迁移表数据，请谨慎操作。是否允许索引后置 您可以设置是否允许全量数据迁移完成后再创建索引，索引后置功能能够缩短全量迁移耗时。选择索引后置的注意事项，请参见表格下方的说明...
新功能发布记录
存储空间缩容 套餐规格缩容 增删节点 库表回收站 回收站主要用于存储用户删除的数据库和表等信息，用户可通过回收站恢复库表数据。进入回收站的库表仍然占据着物理空间，可设置自动清理周期或者手动进行清除。集群实例回收站 租户回收站 ...
查询治理
数据库自治服务DAS（Database Autonomy Service）通过离线数据分析技术，在每天凌晨1点将全部实例在昨天产生的慢SQL进行统计分析和自动打标，帮助您对慢SQL进行自动分类和划分治理优先级，同时提供治理建议和数据导出功能。前提条件 目标...
C3P0 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 C3P0 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 c3p0-mysql-jdbc 示例工程 前提条件 您已安装 OceanBase 数据库...
数据库
object 正等待获得非关系数据库对象上的锁。userlock 正等待获得用户锁。advisory 正等待获得咨询用户锁。BufferPin BufferPin 正等待在缓冲区上加 pin。Activity ArchiverMain 正在归档进程的主循环中等待。AutoVacuumMain 正在autovacuum...
数据库
object 正等待获得非关系数据库对象上的锁。userlock 正等待获得用户锁。advisory 正等待获得咨询用户锁。BufferPin BufferPin 正等待在缓冲区上加 pin。Activity ArchiverMain 正在归档进程的主循环中等待。AutoVacuumMain 正在autovacuum...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
基本折线图（v3.0及以上版本）
关闭开关，可以使用自动更新请求数据。开关默认为关闭状态。自动更新请求 选中后可以设置动态轮询，还可以手动输入轮询的时间频次。取消选中后则不会自动更新，需要手动刷新页面，或通过蓝图编辑器和回调ID事件来触发请求更新数据。数据源 ...
从ECS上的自建SQL Server同步至云原生数据仓库...
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为云原生数据仓库AnalyticDB ...
从ECS上的自建SQL Server同步至云原生数据仓库...
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为云原生数据仓库AnalyticDB ...
区域翻牌器（v3.0及以上版本）
关闭开关，可以使用自动更新请求数据。开关默认为关闭状态。自动更新请求 选中后可以设置动态轮询，还可以手动输入轮询的时间频次。取消选中后则不会自动更新，需要手动刷新页面，或通过蓝图编辑器和回调ID事件来触发请求更新数据。数据源 ...
库表同步
表一致性修复校验：对 表一致性修复 工单做相应的限制或设置审批流程。您可以在每个检测点中使用安全规则模板库中提供的规则，也可以自定义新增规则。具体操作，请参见 新增规则。因子和动作 因子 因子是系统内置变量，可用来获取安全规则...
开发PyODPS 2任务
若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码处通过手动设置DataWorks调度运行的相关参数解决。查看数据血缘，详情请参见 查看血缘信息；参数设置，详情请参见 设置运行参数hints...
开发PyODPS 3任务
若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码处通过手动设置DataWorks调度运行的相关参数解决。查看数据血缘，详情请参见 查看血缘信息；参数设置，详情请参见 设置运行参数hints...
开发PyODPS 3任务
若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码处通过手动设置DataWorks调度运行的相关参数解决。查看数据血缘，详情请参见 查看血缘信息；参数设置，详情请参见 设置运行参数hints...
ANALYZE
如果被分析的表有一个或者更多子女，ANALYZE 将会收集两次统计信息：一次只对父表的行收集，第二次则在父表及其所有子女表的行上收集。在规划需要遍历整个继承树的查询时需要第二个统计信息集。不过，在决定是否触发表上的自动分析时，自动...
表结构发布流程化
保障数据结构的规范性 安全规则 的研发规范包含新建表、修改表字段、修改表索引等多方面的近40条规范，方便研发同学自助设计满足企业研发规范的表结构，可避免因不满足规范的结构发布上线而导致的生产故障。同时，该功能可节省运维人员因...
旭日图
图表样式 旭日图适合用于展示不同层级的数据，能在通过饼图表示占比关系的基础上，增加表达了数据的层级和归属关系，能清晰的表达具有父子层次结构类型的数据。旭日图不适用于数据分类过多、有负值和有零值的数据展示。配置面板 搜索配置：...
旭日图
图表样式 旭日图适合用于展示不同层级的数据，能在通过饼图表示占比关系的基础上，增加表达了数据的层级和归属关系，能清晰的表达具有父子层次结构类型的数据。旭日图不适用于数据分类过多、有负值和有零值的数据展示。样式面板 搜索配置：...
加工数据
2.配置调度属性 通过以下配置实现调度场景下，每日00:15待上游 ods_raw_log_d 节点将存储于OSS的user_log.txt数据同步至MaxCompute的ods_raw_log_d表后，可触发当前 dwd_log_info_di 节点对ods_raw_log_d表数据进行加工，加工结果写入dwd_...
加工数据
2.配置调度属性 通过以下配置实现调度场景下，每日00:15待上游 ods_raw_log_d 节点将存储于OSS的user_log.txt数据同步至MaxCompute的ods_raw_log_d表后，可触发当前 dwd_log_info_di 节点对ods_raw_log_d表数据进行加工，加工结果写入dwd_...
项目管理（新版）
需要注意项目删除将导致如下后果：立即删除后，项目内所有表（数据）将立即被删除，并且永久无法恢复。所有向该MaxCompute项目提交的任务因项目不存在都将运行失败。如果MaxCompute项目已经绑定DataWorks工作空间，删除MaxCompute项目后...
API概览
本产品（云数据库 PolarDB/2017-08-01）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
调度依赖配置指引
基于表血缘选择调度依赖方式的步骤如下：确认表的血缘关系 为保障任务调度产出的表数据符合预期，您需明确上下游表当天产出的业务数据，确保下游表当天获取的数据为上游表当天的产出数据。若为小时、分钟周期调度任务，则需明确每个小时、...
- 产品推荐
- 这些文档可能帮助您