数据建模
示例 创建一个名为DB5的数据库，设置冷热存储分界线为30天，即30天之前的数据会被转移到冷存储。CREATE DATABASE DB5 WITH(cold_boundary=30);对于已经创建的数据库，可以通过修改数据库参数 cold_boundary 的方式设置冷热存储分界线。...
迁移评估概述
应用场景 用户的数据库系统迁移至 OceanBase 数据库的整个生命周期中，迁移评估为数据迁移之前需要进行的操作。您可以通过迁移评估进行源端的数据库画像，了解目前的数据库拓扑情况和应用拓扑情况，以及数据库的整体负载，以便制定适当的...
性能测试
测试结果 本次性能测试的结果如下：时空轨迹数据的写入耗时 Lindorm Ganos引擎继承了Lindorm宽表引擎高效的数据写入能力，写入耗时约为开源GeoMesa（HBase）的1/2，约为云数据库MongoDB分片集群的1/5。以时空轨迹数据为7.6 GB为例，写入...
同步 OceanBase 数据库的数据至 DataHub
oms_database_name STRING 源端为数据库时，变更库名。oms_sequence STRING 数据至同步进程内存中的时间戳，由时间+5 位递增数字组成。如果发生时钟回退的情况，会导致数据不一致。oms_record_type STRING 变更类型，包括 UPDATE、INSERT ...
查看数据迁移项目的详情
启动数据迁移项目后，您可以在数据迁移项目的详情页面查看相应项目的基本信息、项目执行的进度和状态等信息。进入详情页面 您可以在数据迁移项目的详情页面，查看计划的迁移环节、各个环节的进度和状态，帮助您了解数据库迁移的整体进度，...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
下表为数据迁移项目在运行过程中，如果进行 DDL 操作，可能会遇到的风险及解决方式。操作 风险 解决方式 CREATE TABLE（且该表需要同步）如果该表存在目标端是分区表，源和目标端的索引不一致，需要进行 ETL 等情况，可能影响数据迁移性能...
目标数据库连接性检查
修复方法：如果目标数据库为MySQL，您可以在目标数据库中执行以下命令为数据迁移使用的数据库账号重新授权。GRANT ALL ON*.*TO 'username'@''%' IDENTIFIED BY 'password';说明 将 username 和 password 替换为数据迁移任务中填写的数据库...
源库连接性检查
修复方法 如果源数据库为自建MySQL，您可以在源数据库中执行以下命令为数据迁移使用的数据库账号重新授权。GRANT ALL ON*.*TO 'username'@'%';说明 将 username 替换为数据迁移任务中填写的数据库账号。如果源数据库为SQL Server，关闭防火...
新建 TiDB 数据源
建议您为数据迁移项目创建一个专属的数据库用户，该用户必须具备相关的数据操作权限。详情请参见 创建 TiDB 数据库用户。如果您需要订阅 TiDB 增量日志，请准备 Kafka 数据源和 Kafka Topic。并且，请根据 TiDB 官方文档，提前创建 TiDB ...
新建 OceanBase 数据源
建议您为数据迁移或同步项目创建单独的数据库用户。详情请参见 创建 OceanBase MySQL 集群实例用户及授权 或 创建 OceanBase Oracle 集群实例用户及授权。密码 OceanBase 数据库用户的密码。备注（可选）数据源的备注信息。oceanbase_inner...
编辑数据源
添加过滤器 您可以为数据源添加一个过滤器，使数据的展示更加清晰明了。详情请参见 组件过滤器使用说明。清除 数据过滤器，可隐藏过滤器功能。自动更新 可以通过自动更新功能自动更新数据，并且可以手动输入更新的时间间隔。清除 自动更新...
数据同步方案概览
数据同步功能帮助您实现...源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）的同步方案 源为数据管理DMS逻辑库的同步方案
添加 Oracle 数据源的白名单
实例类型为 数据库网关 时，选择目标 网关名称 和 数据库实例 后，单击复制图标，复制数据库实例对应的 VPC ID。进入云服务器 ECS 控制台的 安全组 页面，在 创建安全组 右侧的下拉列表中选择 专有网络 ID，粘贴 VPC ID 筛选安全组。单击...
通过样本库识别
DataWorks支持将您提供的样本文件生成样本库，后续可以将样本库配置为数据识别规则用来识别数据。当需要识别的目标数据包含样本库中的数据时，则会命中该识别规则。该功能通常用于识别可以使用枚举值罗列的数据，例如，员工姓名、用户地址...
应用场景
数据泄露检测与防护 通过智能化检测模型分析企业内外账号对敏感文件的访问行为，实现对敏感数据访问的异常检测，同时为数据安全管理团队提供相关告警。数据脱敏 支持通过灵活多样的内置或自定义脱敏算法，支持生产类敏感数据脱敏到开发测试...
购买流程
数据订阅配置费类型 如果您创建的任务 商品类型 为 数据传输服务DTS（预付费），且 订阅实例类型 为 MySQL，则您需要选择数据订阅配置费类型。选择为 原价配置费（免数据流量费），只收取配置费，免收数据流量费。说明 数据流量是指客户端...
管理数据
步骤二：为数据域添加资产 数据安全中心支持系统默认的数据域和用户自定义的数据域，未添加至任何数据域的资产都属于默认数据域。一个资产只能划分至一个数据域。参考以下步骤为数据域添加资产。在左侧数据域列表，单击要添加资产的数据域...
创建AnalyticDB for PostgreSQL数据源
说明 同一个AnalyticDB for PostgreSQL实例可在多个DataWorks工作空间中被创建为数据源。使用限制 仅当AnalyticDB for PostgreSQL实例和DataWorks工作空间属于同地域、同一阿里云账号时，基于该实例创建的数据源才可在DataWorks的数据开发...
购买数据同步项目
功能 功能默认为 数据同步。源端地域 请选择源端数据库所在地域。源端类型 请选择源端数据库的类型。目前源端支持 OceanBase 数据库（MySQL 和 Oracle 租户）、PostgreSQL 数据库。目标端地域 根据您选择的源端地域，展示支持的目标端地域...
购买数据迁移项目
功能 功能默认为 数据迁移。源端地域 请选择源端数据库所在地域。源端类型 请选择源端数据库的类型。目前源端支持 OceanBase 数据库（MySQL 和 Oracle 租户）、MySQL、Oracle、PostgreSQL、TiDB、PolarDB-X 1.0 和 PolarDB-X 2.0 数据库。...
添加 MySQL 数据源的白名单
该白名单 IP 地址为 数据传输>添加数据源 对话框中显示的 OceanBase 数据传输服务器的 IP 地址。重要 多个 IP 地址使用英文逗号（,）分隔，且逗号前后不允许有空格。单个实例最多添加 1000 个 IP 地址或 IP 段。如果 IP 地址较多，建议将...
准备数据源和计算源
同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据...
创建AnalyticDB for MySQL3.0数据源
说明 同一个AnalyticDB for MySQL3.0实例可在多个DataWorks工作空间中被创建为数据源。使用限制 仅当AnalyticDB for MySQL3.0实例和DataWorks工作空间同地域、同账号时，基于该实例创建的数据源才可在DataWorks的数据开发（DataStudio）...
创建数据库用户
您在使用数据传输的数据迁移和数据同步功能前，请先在源端和目标端数据库中，为数据迁移或同步任务创建专用的数据库用户。OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建...
创建MaxCompute数据源
若选择的MaxCompute项目与DataWorks工作空间不在同一个阿里云主账号下，则将MaxCompute项目添加为数据源后，该数据源不支持绑定为工作空间的计算引擎，即不支持在数据开发（DataStudio）、运维中心使用，仅用于数据集成模块进行数据同步。...
创建ClickHouse数据源
根据使用场景不同，资源组分为数据集成（用于数据同步）、数据开发（用于任务调度）、数据服务（用于数据服务任务）三种类型。各类资源组的详细介绍，请参见 DataWorks资源组概述。您需根据数据源后续的用途，在 连接配置 区域对应资源组...
配置SQLServer数据源
选择 资源组连通性 类型为 数据集成。在资源组列表，单击相应资源组后的 测试连通性。数据同步时，一个任务只能使用一种资源组。您需要测试每个资源组的连通性，以保证同步任务使用的数据集成资源组能够与数据源连通，否则将无法正常执行...
通过DTS实现数据库的垂直拆分
配置源和目标实例的数据迁移任务，迁移对象选择为数据库B，配置案例请参见 DTS数据迁移方案概览。说明 配置数据迁移任务时，您必须选中 结构数据迁移、全量数据迁移、增量数据迁移。等待数据迁移任务的进度变更为增量迁移，并显示为无延迟...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
云产品集成
大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
创建Hologres数据源
说明 同一个Hologres实例可在多个DataWorks工作空间中被创建为数据源。使用限制 仅当Hologres实例和DataWorks工作空间同地域、属于同一阿里云主账号，且数据源未开启SSL认证时，基于该实例创建的Hologres数据源才可被绑定为计算引擎，即...
如何选择备份方式
数据库备份DBS 支持逻辑备份和物理备份两种备份方式，为数据库提供连续数据保护、低成本的备份服务，您可以在评估业务后选择最符合您需求的备份方式。逻辑备份与物理备份的区别 参照项 逻辑备份 物理备份 概念 数据库对象级备份，备份内容...
数据集成概述
功能概述 说明 如果您是在2020年4月份之后购买的Dataphin，则数据同步能力已升级为数据集成。Dataphin升级了数据集成的能力，旨在为您构建简单高效、安全可靠的数据同步平台：支持通过整库迁移（快速生成批量同步任务）和一键生成目标表...
API概览
分区 分区 CreatePartition 新增元数据表的分区 为数据湖的元数据表，新增一个分区。DeletePartition 删除元数据表分区 删除数据湖元数据表的指定分区。DeletePartitionColumnStatistics 删除元数据表分区统计信息 回收数据湖元数据表分区...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
数据集成调度策略说明
配置方法 您需要在配置数据集成任务的设置 迁移类型及列表 环节中，为数据集成任务配置调度策略。说明 相关配置案例，请参见 配置RDS MySQL间的数据集成任务。调度策略说明 调度策略 说明 适用场景 多副本模式 DTS根据调度周期，自动地将源...
创建自建数据库用户及授权
建议您为数据迁移项目创建专属的数据库用户并赋予必要的权限。登录 MySQL 数据库。使用 CREATE USER 语句创建一个新用户。CREATE USER '<user_name>'@'<host_name>' IDENTIFIED BY '<user_password>';参数 描述 user_name 待创建的用户。...
盲区会车
创建流任务，使用 count 函数及 geomHint 函数过滤数据，判断编号为10的车辆进入指定的盲区时，盲区中是否有其他车辆。重要 请将示例程序中的参数值替换为实际的值，您可以在Lindorm实例的 数据库连接 中查看参数值，详情请参见 查看连接...
- 产品推荐
- 这些文档可能帮助您