新建及管理数据标准
数据标准是为业务、技术和管理提供服务和支持，数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据...
新建及管理数据标准
数据标准是为业务、技术和管理提供服务和支持，数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据...
RDS术语
本文介绍云数据库RDS中的相关名词和术语。A 安全组 安全组是一种虚拟防火墙，用于控制安全组中的ECS实例的出入流量。在RDS白名单中添加安全组后，该安全组中的ECS实例就可以访问RDS实例。更多信息，请参见 设置安全组。按量付费 后付费，即...
创建Oracle数据源
背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin进行数据开发时，您需要先完成Oracle数据源的创建。更多Oracle信息，请参见 Oracle官网。权限说明 仅支持具备新建数据源...
离线同步数据质量排查
以下介绍最常见的关系型数据库的写出模式（不同数据源类型写出模式不同）：insert into 将数据使用insert into的SQL语句写出至目标端，如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），则来源数据会作为...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
RDS术语
本文介绍云数据库RDS中的相关名词和术语。A AliSQL 阿里云深度定制的独立MySQL分支，除了社区版的所有功能外，AliSQL提供了类似于MySQL企业版的诸多功能，如企业级备份恢复、线程池、并行查询等，并且AliSQL还提供兼容Oracle的能力，如...
管理数据
在数据域目录节点（即没有资产信息的行）可以设置是否删除该数据域，在有资产信息的行设置是否移出该资产。删除数据域或移出资产后，被删除的数据域下的资产或被移出的资产将属于默认数据域。取值：0：不删除、不移出。1：删除、移出。在 ...
RDS术语
本文介绍云数据库RDS中的相关名词和术语。A AliSQL 阿里云深度定制的独立MySQL分支，除了社区版的所有功能外，AliSQL提供了类似于MySQL企业版的诸多功能，如企业级备份恢复、线程池、并行查询等，并且AliSQL还提供兼容Oracle的能力，如...
从MaxCompute迁移至RDS MySQL
开通MaxCompute 创建项目空间 设置阿里云产品访问MaxCompute白名单 注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
客户案例
基于金融云计算平台以及 OceanBase 的海量存储，网商银行拥有处理高并发金融交易、海量大数据和弹性扩容的能力，可以利用互联网和大数据的优势，给更多小微企业提供金融服务。唐家才 网商银行 CTO“网商银行选择 OceanBase 三地五中心部署...
应用场景
图数据库GDB针对高度互联数据的存储和查询场景进行设计，并在内核层面进行了大量优化，非常适合营收增长、金融风控、商品推荐、社交推荐、循环担保检测、异常指标监控和违规团伙挖掘等场景。营收增长 图数据库GDB提供智能搜索推荐一体化...
创建GoldenDB数据源
在 新建数据源 对话框的 关系型数据库 区域，选择Golden DB。如果您最近使用过Golden DB，也可以在 最近使用 区域选择Golden DB。同时，您也可以在搜索框中，输入Golden DB的关键词，快速筛选。在 新建GoldenDB数据源 对话框中，配置连接...
从RDS MySQL同步至Tablestore
警告 此场景属于异构数据库间的数据同步，DTS在执行结构初始化时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 结构初始化涉及的数据类型映射关系。全量数据初始化 DTS将源库中待同步对象的存量数据，全部...
RDS MySQL迁移至ClickHouse集群
目标库对象名称大小写策略 您可以配置目标实例中迁移对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择与源库、目标库默认策略保持一致。更多信息，请参见 目标库对象名称大小写策略。源库对象 在 源库...
自建Oracle迁移至PolarDB-X
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
创建ClickHouse数据源
在 新建数据源 对话框的 关系型数据库 区域，选择 ClickHouse。如果您最近使用过ClickHouse，也可以在 最近使用 区域选择ClickHouse。同时，您也可以在搜索框中，输入ClickHouse的关键词，快速筛选。在 新建ClickHouse数据源 对话框中，...
创建GoldenDB数据源
在 新建数据源 对话框的 关系型数据库 区域，选择Golden DB。如果您最近使用过Golden DB，也可以在 最近使用 区域选择Golden DB。同时，您也可以在搜索框中，输入Golden DB的关键词，快速筛选。在 新建GoldenDB数据源 对话框中，配置连接...
创建同步任务
选择数据来源和数据去向后，需指定源端和目标端列的映射关系，配置字段映射关系后，任务将根据字段映射关系，将源端字段写入目标端对应类型的字段中。此处需配置源端表字段和目标表字段为一一对应关系。配置通道控制。参数 描述 任务期望...
概述
数据探索的算子分为三大类：脚本算子：由程序语言编写，通常不具备可解释性，例如 一个Jar包、一个算法镜像等。连接器：关联现实世界中的某种资源，例如 读取MaxCompute表 等。抽象算子：使用了表达式规范和关系描述符的可解释算子。表达式...
仪表盘
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
基于Delta lake的一站式数据湖构建与分析实战
选择“关系数据库实时入湖”，按照下图的信息填写数据源、目标数据湖、任务配置等信息。并保存。c.配置数据源，选择刚才新建的“dlf_demo”连接，使用表路径“dlf_demo/employees”，选择新建DTS订阅，填写名称。d.回到任务管理页面，点击...
从自建TiDB全量迁移至RDS MySQL
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
创建PolarDB数据源
在 新建数据源 对话框的 关系型数据库 区域，选择 PolarDB。如果您最近使用过PolarDB，也可以在 最近使用 区域选择PolarDB。同时，您也可以在搜索框中，输入PolarDB的关键词，快速筛选。在 新建PolarDB数据源 对话框中，配置连接数据源参数...
运行及排错
右键单击实例，您可以查看该实例的依赖关系和详细信息，并进行终止运行、重跑等具体操作。说明 测试运行是手动触发节点，只要到定时的时间，立即运行，自动忽略实例的上游依赖关系。根据前文所述的实例生成规则，配置为每周二凌晨2点运行的...
拓展组件
数据 输入含有地理信息的json代码。柱状图组件 柱状图以三维柱体表达点要素，通过柱体高度映射数量关系，颜色表征属性信息。该图元的主要特征：可在数据中指定单个柱体高度（height）、颜色（color）。柱体侧面有高亮动画。支持单个要素的...
数据服务概述
数据服务优势 统一接口标准：提供统一的数据接口标准和服务元信息，规范接口开发，减少下游应用对接工作量，提升数据接入效率低。数据安全与合规保障：减少明细、敏感数据在应用侧的存储和暴露。使用统一平台数据安全管控策略，通过API申请...
什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
持久内存型
购买方式 创建Tair实例 背景信息 由于内存的价格相对昂贵且容量具备较大的局限性，限制了在某些场景中的规模化使用。阿里云于2018年正式开始投入持久化内存的研究和落地，成功应用于当年双11的电商商品核心集群中，大幅降低了成本，是中国...
如何处理Redis集群数据倾斜
常见于在KKV（Key-key-value）类型的数据结构中，例如Hash、List、Set、Zset等，存放过多或过大的field，从而导致单个Key过大，产生实例数据倾斜。更多关于大Key的信息，请参见 发现并处理Redis的大Key和热Key。避免使用大Key。对大Key进行...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
基本概念
该方式的优点在于第0层为原始数据分辨率，保持了数据原始的数据信息，而且数据分块速度快，图像更新方便，查询效率高。但缺点是不同栅格数据没有统一的数据分块方式，不便于进行叠加分析。Ganos Raster 默认使用local方式对数据进行分块并...
修饰词
导入并确认数据信息。在 数据导入 页签上传并预览数据文件。您可选择仅预览DataWorks中已存在的同名字段，根据需要进行同名字段的删除、修改等处理。说明 导入模式 及 导入状态 根据所选导入类型确定。导入模式：当DataWorks中已存在导入...
使用DataWorks同步数据
背景信息 您可以通过DataWorks，将支持的各种数据源数据离线同步至 云数据库ClickHouse。离线同步支持的数据源类型，具体请参见 支持的数据源与读写插件。前提条件 已创建工作空间，引擎服务选择为MaxCompute。如何创建，请参见 创建工作...
解决方案
根据数据血缘关系和不同的创建方式，自动选择关联的数据资产，保证解决方案的完整性。同时，通过自动检测待生成的解决方案中是否存在异常（如表一致性、数据质量异常等），保证解决方案的一致性和可用性。对于需要在多项目部署的解决方案，...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
- 产品推荐
- 这些文档可能帮助您