典型场景
典型场景 数据仓库服务 您可以通过数据传输服务（DTS）或数据集成服务（DataX），将云数据库（例如RDS、PolarDB）或自建数据库批量同步到 云原生数据仓库AnalyticDB PostgreSQL版。云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行...
2020年
从RDS MySQL同步至PolarDB-X 从PolarDB MySQL同步至PolarDB-X 在自建Oracle增量迁移至PolarDB O引擎的场景下，支持对无主键表ROWID值的增量数据迁移，可用于对无主键表的数据去重和数据校验。从自建Oracle迁移至PolarDB O引擎集群（迁移...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端存在源端没有的数据的场景，并且校验性能会有一定程度降级。选择默认值 停止迁移：当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移...
配置区块接口
三维城市构建器项目场景编辑器中提供了区块接口设置的功能，可用于自定义设置项目的数据接口、事件和动作。本文介绍在项目中区块接口的设置及使用方法。您可以在三维城市构建器项目场景编辑器页面内，为项目配置 数据接口设置、事件设置 与...
配置区块接口
三维城市构建器项目场景编辑器中提供了区块接口设置的功能，可用于自定义设置项目的数据接口、事件和动作。本文介绍在项目中区块接口的设置及使用方法。您可以在三维城市构建器项目场景编辑器页面内，为项目配置 数据接口设置、事件设置 与...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
云产品集成
在 DataV 添加 OceanBase for MySQL 数据源的详细操作，请参见：什么是DataV数据可视化 配置数据库白名单 添加OceanBase for MySQL数据源 Quick BI 数据分析与展现 Quick BI 是一款全场景数据消费式的BI平台，秉承全场景消费数据，让业务...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
使用数据传输迁移数据
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库，以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例，介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前，...
Doris概述
Apache Doris是一个高性能、实时的分析型数据库，能够较好的满足报表分析、即席查询、数据湖联邦查询加速等使用场景。本文为您介绍Apache Doris。背景信息 关于更多Apache Doris信息，详情请参见 Doris介绍。使用场景 数据源经过各种数据...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端存在源端没有的数据的场景，并且校验性能会有一定程度降级。选择默认值 停止迁移：当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
数据水印
使用场景 用于数据的散布或分发过程中追溯源头。注意事项 建议导出数据超过200条时使用数据水印嵌入。使用水印提取功能时，需要保证文件中数据超过200条，否则可能会出现水印提取失败（未提取到水印）的情况。水印嵌入 水印嵌入是指将标识...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端存在源端没有的数据的场景，并且校验性能会有一定程度降级。选择默认值 停止迁移：当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移...
VPC双向访问
6.配置双向VPC访问白名单，以典型场景之一Kapacitor数据订阅服务为例，该场景下需要由InfluxDB®️向Kapacitor服务所在的云实例推送数据，那么需要将InfluxDB®️实例的IP配置到Kapacitor服务所在云实例的安全组规则中。进入Kapacitor服务...
批量操作数据迁移项目
批量跳过全量校验 数据传输支持处于已进入全量校验阶段，但全量校验还未执行成功的 运行中、已暂停、失败 状态的数据迁移项目进行 批量跳过全量校验 操作。在 迁移项目列表 页面，选择需要批量跳过全量校验的数据迁移项目。单击页面下方的 ...
服务端埋点验证
如何使用“埋点验证”模块确认“服务端埋点数据上报”的准确性。说明 文档说明：本文内容为使用QuickTracking 服务端埋点时，如何使用“埋点验证”模块确认“服务端埋点数据上报”的准确性。1 打开埋点验证 打开产品首页，点击顶部导航...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
账单管理
数据类型 说明 实时预估账单 展示了当天统计周期（00:00~23:00）内的验证量数据（单位：次）、预估的按量付费的账单费用（单位：元）。说明 该账单费用为根据后付费计算公式统计的估算价格，仅作参考。如果购买资源包，则直接抵扣验证量。...
智能验证集成方式
智能验证是阿里巴巴集团提供的一种验证码解决方案。对大部分正常用户来说，只需一次点击交互即可完成验证码操作。对于您的业务来说，智能验证采用先进的风险分析引擎，有效区分来自人类与机器人的访问行为并拦截机器风险，为您提供安全可靠...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据建模
在弱约束条件下，写入数据的表或者列不存在时，时序引擎会自动创建，并对已经存在的列进行数据类型校验。创建时序数据表 创建时序数据表之前，需要先根据业务场景构建数据模型，相关内容，请参见 数据模型 和 如何设计时序数据表。时序引擎...
设置逻辑表质量规则
质量结果触发动作 阻断生产场景：当打开开关时，数据开发场景中开启了该规则，且质量结果不满足期望值时，系统会阻断场景中的任务。关闭则仅记录质量结果，不影响任务执行。保存脏数据样例：打开开关后，将保存脏数据样例可在日志中进行...
版本发布说明
优化部分场景下数据迁移过程的校验速度。缺陷修复 修复XRPC下使用流式早停，小概率导致实例级连接池切库失败的问题。修复子查询大于等于三项关联项时，关联匹配错乱的问题。修复DDL操作可能导致CN统计信息不一致的问题。修复修改拆分区列...
配置匹配规则
说明 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多数据的场景，并且校验性能存在一定程度降级。如果表存在重命名映射，则优先重命名映射。例如，同时存在规则 a.b[0-3]和 a.b[3-5]=a.c，则表 a.b3 重命名为 a.c。执行 ...
查看并管理治理工作台
您可以在治理工作台查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。本文为您介绍如何查看并管理治理工作台。权限说明 ...
查看并管理治理工作台
您可以在治理工作台查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。本文为您介绍如何查看并管理治理工作台。权限说明 ...
Python
获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库连接参数验证登录数据库，...
应用场景
支付认证、身份校验、手机绑定、快捷登录等场景。短信通知 向手机号码发送通知类短信，支持通过变量替换实现个性短信定制。通常用于向注册用户下发系统相关信息，包括升级或维护、服务开通、价格调整、订单确认、物流动态、消费确认、支付...
查看表资产详情
已在数据标准模块中创建质量校验函数、数据字典和数据元。已在质量评估模块中创建质量检查计划任务。背景信息 将数据建模中创建的数据表进行编目及公开后，可在数据资产中心查看资产详情。操作步骤 登录 数据资源平台控制台。在页面左上角...
使用MaxCompute访问
说明 在验证文件引擎数据同步到MaxCompute中时，文件引擎上的测试数据是使用 验证MaxCompute数据同步至文件引擎 中由MaxCompute同步过去的数据，将该数据再同步到MaxCompute的另外一张表中。在MaxCompute中创建新的测试表。详情请参见 在...
查看表资产详情
已在数据标准模块中创建质量校验函数、数据字典和数据元。已在质量评估模块中创建质量检查计划任务。背景信息 将数据建模中创建的数据表进行编目及公开后，可在数据资产中心查看资产详情。操作步骤 登录企业数据智能平台。在页面左上角，...
LTS（原BDS）服务介绍
LTS（Lindorm Tunnel Service，原BDS）是面向云HBase业务场景特点深度定制的数据生态服务。支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向云HBase的...
文档修订记录
数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种一级脱敏场景，若该类场景生效的数据范围及用户范围无法满足您更细化的脱敏需求，则也可基于一级场景自定义二级脱敏场景使用。创建数据脱敏场景 2023.11.20 新增...
无痕验证集成方式
test:module.TEST_PASS,/测试无痕验证通过/test:module.NVC.TEST_BLOCK,/测试无痕验证失败/test:module.TEST_NC_PASS,/唤醒二次验证（滑动验证），且二次验证通过/test:module.TEST_NC_BLOCK,/唤醒二次验证（滑动验证），且二次验证失败.})...
查看并管理整改流程
重新校验：仅待处理、已忽略可重新校验，发起重新校验后，如果数据质量问题已经处理，可以重新执行校验规则，会按照执行后的校验状态修改治理项状态：校验不通过-未处理，校验通过-已处理。关联知识库文档：规则关联知识后，可在质量规则和...
查看并管理整改流程
重新校验：仅待处理、已忽略可重新校验，发起重新校验后，如果数据质量问题已经处理，可以重新执行校验规则，会按照执行后的校验状态修改治理项状态：校验不通过-未处理，校验通过-已处理。关联知识库文档：规则关联知识后，可在质量规则和...
产品简介
大数据解决方案POC 基于计算平台的产品组合，全托管或指导客户完成针对特定数据集和业务场景的功能验证、性能验证，并产出POC报告。大数据搬站迁云方案咨询 为客户提供原大数据系统上云迁移方案咨询服务，包括云上大数据搬站架构规划、设计...
- 产品推荐
- 这些文档可能帮助您