功能更新动态（2024年）
创建数据表质量规则 创建全域数据表质量规则 创建数据源质量规则 创建实时元表规则 创建指标质量规则 批量上传质量规则 数据安全 识别规则新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以...
基于OSS外表的单表多文件查询
查询数据的过程中，常见的报错信息及报错原因请参见下表：说明 如果在查询数据的过程中，没有报错信息但有警告信息时，您需要通过 SHOW WARNINGS;命令查看报错信息。报错信息 报错原因 解决方案 OSS error:No corresponding data file on ...
使用COPY或UNLOAD命令导入或导出数据到OSS
COPY 语法 COPY[]FROM<data_source>ACCESS_KEY_ID '<access_key_id>' SECRET_ACCESS_KEY '<secret_access_key>'[[FORMAT][AS]][MANIFEST][option '<value>'[.]]参数 参数 是否必填 说明 table_name 是 需要导入数据的本地表名，必须是已经...
文档更新动态（2024年）
更新说明 创建数据表质量规则 创建全域数据表质量规则 创建数据源质量规则 创建实时元表规则 创建指标质量规则 批量上传质量规则 资产安全-敏感数据识别 识别规则新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障...
导入发布包
自动识别结果 针对来源环境和目标环境生效的都是自动识别记录，且来源环境的自动识别结果和目标环境的自动识别结果冲突时的处理策略，支持 追加、覆盖 或 覆盖并锁定。追加：将来源环境的自动识别结果追加到目标环境中，作为一条识别记录，...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
导入发布包
自动识别结果 针对来源环境和目标环境生效的都是自动识别记录，且来源环境的自动识别结果和目标环境的自动识别结果冲突时的处理策略，支持 追加、覆盖 或 覆盖并锁定。追加：将来源环境的自动识别结果追加到目标环境中，作为一条识别记录，...
文档更新动态（2022年之前）
2021年1月19日 华北2（北京）、华南1（深圳）、华东2（上海）、华东1（杭州）通用补数据实例 2020年11月 时间 特性名称 类别 描述 使用范围 产品文档 2020-11-17 支持安装资产安全策略 功能拓展 新增安装资产安全策略，安装后即可使用数据...
审批数据表
本文介绍如何审批已被申请的数据表资产。前提条件 已申请数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 数据表。使用工作组管理员账号登录。操作步骤 登录 数据资源平台控制台。在页面右上角，单击 图标，选择 系统...
一键克隆RDS MySQL至PolarDB MySQL版
本章节介绍了一键克隆RDS MySQL至 PolarDB MySQL版 的方案简介、两种克隆方式及其优势和对比、克隆前提条件、使用限制、收费规则等。注意事项 通过一键克隆方式迁移到 PolarDB 集群，源RDS实例的增量数据不会同步到 PolarDB 集群。说明 ...
全文检索
全文检索（Full Text Search）指数据库将自然语言文本转换为可被查询数据的能力。云原生数据仓库AnalyticDB PostgreSQL版 使用PostgreSQL内核，提供完善的全文检索功能。本文介绍 AnalyticDB PostgreSQL版 如何实现“一站式全文检索”业务...
使用阿里云Flink（流式数据传输）
实时计算Flink版内置插件支持通过批量数据通道写入MaxCompute，受到批量数据通道并发数及存储文件数影响，内置版本插件会有性能瓶颈。MaxCompute提供了使用流式数据通道的Flink插件，支持使用Flink在高并发、高QPS场景下写入MaxCompute。...
Flume插件
a1.sinks.k1.serializer.fieldnames=id,name,gender,salary,my_time,decimal a1.sinks.k1.serializer.charset=UTF-8 a1.sinks.k1.datahub.retryTimes=5 a1.sinks.k1.datahub.retryInterval=5 a1.sinks.k1.datahub.batchSize=100 a1.sinks.k...
通过OpenAPI创建、修改、删除离线同步任务
本文为您介绍如何使用OpenAPI创建、修改、删除数据集成同步任务，同步来源端数据至去向端。前提条件 已创建Maven项目，详情请参见 创建Maven项目。已创建业务流程，详情请参见 创建周期业务流程。已创建同步任务需要的数据源，详情请参见 ...
恢复MySQL逻辑备份
说明 本例中备份集将恢复到新建实例中，若您选择 使用已有实例，您还需配置其他参数，参数说明请参见 数据库配置表。类别 配置 说明 无 恢复任务名称 DBS会自动生成一个任务名称，建议配置具有业务意义的名称（无唯一性要求），便于后续...
LogHub（SLS）实时ETL同步至Hologres
保存 建表结构 或 选择已有表时，会自动按照 同名映射 原则生成上游列与Hologres表列之间的映射，可根据需要进行调整秒支持一个游列映射到多个Hologres表列，不允许多个上游列映射到一个Hologres表列，当上游列未配置到Hologres表列的映射...
增加或删除已运行任务的同步表
同步数据至Kafka解决方案为您提供了一键增加及删除同步表功能，方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。本文为您介绍如何增加或删除已运行任务的同步表。前提条件 已创建并运行同步数据至Kafka解决方案的任务，...
DescribeColumns-查询数据资产表中列的数据
rm-bp17t1htja573l5i8*RiskLevelName string 数据资产表中列数据的风险等级名称。取值：N/A：未识别到敏感数据。S1：1 级敏感数据。S2：2 级敏感数据。S3：3 级敏感数据。S4：4 级敏感数据。S2 OdpsRiskLevelName string 资产的风险等级...
MySQL一键实时同步至MaxCompute
当 表建立方式 选择 使用已有表 时，MaxComputeBase 表名 列显示自动创建的表名称。您也可以在下拉列表中选择需要使用的表名称。当 表建立方式 选择 自动建表 时，显示自动创建的表名称。您可以单击表名称，查看和修改建表语句。本案例选择...
MySQL一键实时同步至MaxCompute
当 表建立方式 选择 使用已有表 时，MaxComputeBase 表名 列显示自动创建的表名称。您也可以在下拉列表中选择需要使用的表名称。当 表建立方式 选择 自动建表 时，显示自动创建的表名称。您可以单击表名称，查看和修改建表语句。本案例选择...
设置透明数据加密TDE
透明数据加密TDE（Transparent Data Encryption）可对数据文件执行实时I/O加密和解密，数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密。TDE不会增加数据文件的大小，开发人员无需更改任何应用程序，即可使用TDE功能。前提条件 仅 ...
概述
本教程将以集群实例为例，带您体验云数据库 OceanBase 的低存储成本和实时分析能力。更多特性，详情参见 OceanBase 数据库概述。特性介绍 低存储成本 数据压缩是降低海量数据存储空间的关键手段。OceanBase 通过 LSM-Tree 的存储架构和自...
Kafka实时ETL同步至Hologres
保存 建表结构 或者选择 使用已有表 时，系统会自动按照 同名映射 原则生成上游列与Hologres表列之间的映射，您可根据需要进行调整，支持一个上游列映射到多个Hologres表列，不允许多个上游列映射到一个Hologres表列，当上游列未配置到...
DescribeColumnsV2-查询数据资产表中列的数据V2
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
2021年
自动增量排序会定期巡检表的数据状态，对新增无序数据进行排序，并与已有有序数据进行增量归并。自动增量排序仅对设置了排序键的AO行存表和AOCS列存表生效。自动增量排序 闲置连接自动关闭 为避免查询完成后连接未断开导致大量闲置（idle）...
导入数据
使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：数据库类型 关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL版、其他来源MySQL。SQL Server：RDS SQL Server、...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
如使用已有实例，下方数据库信息将自动填入，您无需重复输入。如不使用已有实例，您需要输入下方的数据库信息。数据库类型 选择 DB2 LUW。接入方式 根据源库的部署位置进行选择，本文以 ECS自建数据库 为例介绍配置流程。说明 当源实例为自...
新建数据探查任务
说明 当部分项目或板块下开启自动探查的数据表范围变更，并且删除数据表之前已经开启了数据探查配置，移除数据表后将自动关闭所有相关数据表的自动探查，正在探查中和已生成的任务不受影响。后续说明 探查任务运行结束后，您可查看不同字段...
新建数据探查任务
说明 当部分项目或板块下开启自动探查的数据表范围变更，并且删除数据表之前已经开启了数据探查配置，移除数据表后将自动关闭所有相关数据表的自动探查，正在探查中和已生成的任务不受影响。后续说明 探查任务运行结束后，您可查看不同字段...
PolarDB-X 1.0同步至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 1.0 同步至 阿里云流式数据服务DataHub。前提条件 已开通 DataHub 服务，并且已创建用作接收同步数据的Project。具体的操作请参见 快速入门、Project操作。...
我的数据
本文将为您介绍如何查看数据以及管理相应数据的权限。背景信息 数据地图的部分数据是离线（T+1）更新的，会存在数据延迟的情况，建议您以SQL查询的结果为准。进入我的数据 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据...
PolarDB-X 1.0同步至PolarDB-X 2.0
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 1.0 同步至 PolarDB-X 2.0 实例。前提条件 源 PolarDB-X 1.0 的存储类型支持为RDS MySQL（包括私有定制RDS和单独购买的RDS），暂不支持为 PolarDB MySQL版。...
逻辑表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
自动增量排序
自动增量排序会定期巡检表的数据状态，对新增无序数据进行排序，并与已有有序数据进行增量归并。自动增量排序功能默认全局开启，无需使用自动增量排序的表可以关闭该功能，具体操作方法，请参见 开启或关闭表级别自动增量排序。如果您需要...
逻辑表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
CDH/EMR/亚信/FI/CDP物理表和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
PolarDB-X 1.0同步至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将PolarDB-X 1.0同步至阿里云消息队列Kafka。前提条件 已创建源PolarDB-X 1.0实例。具体操作，请参见 创建实例。已创建Kafka实例，并已创建用于接收同步数据的Topic，请参见 ...
从自建MySQL迁移至MyBase MySQL
前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建目标数据库实例。具体操作，请参见 创建MyBase MySQL实例。实例的存储空间须大于自建MySQL数据库占用的存储空间。如果您的MySQL数据库部署在本地，那么您需要将DTS...
PolarDB MySQL版同步至自建Oracle
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群同步至自建Oracle。前提条件 自建Oracle的可用存储空间需大于 PolarDB MySQL版 集群占用的存储空间。若自建Oracle为RAC结构，需通过VPC接入阿里云...
RDS MySQL迁移至Tablestore
RDS MySQL实例 MySQL自建数据库：有公网IP的自建数据库 ECS上的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 说明 本文以RDS MySQL实例为源数据库介绍配置...
- 产品推荐
- 这些文档可能帮助您