连接集群
您可以使用DMS实现易用的数据库管理，在线进行 云数据库ClickHouse 库、表创建及在线数据查询，让数据更安全、管理更高效、数据价值更清晰。前提条件 已完成快速入门的如下步骤。新建集群 创建账号 设置白名单 说明 新建 云数据库...
DMS数据可视化
您可以使用DMS实现易用的数据库管理，在线进行库、表创建及在线数据查询，让数据更安全、管理更高效、数据价值更清晰。前提条件 已创建 云数据库 SelectDB 版 实例。具体操作，请参见 创建实例。已重置实例admin密码。具体操作，请参见 ...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
什么是数据库网关
使用云产品访问网关数据库时，需通过用户临时AK和网关ID进行权限验证，防止越权访问网关下的数据库信息。简单易用 无需大量的网络配置和路由配置，仅需要简单几步，就可以将本地数据库接入阿里云。低成本 提供免费的数据库接入服务。无需...
EMR Doctor常见问题
采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集数据，并且您可以根据参数调整采集频率等。TPC-DS部分测试的数据如下表所示。SQL及使用引擎 使用EMR Doctor采集时间（10次平均）不使用EMR Doctor采集时间...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
全景查看表
说明 如需查看Hologres数据源下的表，请先在数据地图中采集Hologres元数据。具体操作，请参见 元数据采集。当前仅华北2（北京）、华东2（上海）、华东1（杭州）和华南1（深圳）地域的数据治理中心支持Hologres数据源。进入表360页面 登录 ...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
数据资产管理
本文介绍如何通过DMS的数据资产管理功能对 云原生数据仓库AnalyticDB MySQL版 集群中的元数据、数据血缘、数据质量进行统一管理。背景信息 AnalyticDB MySQL版 中包含了大量对内对外极具价值或核心的数据（这里不仅指数字，还包含业务逻辑...
产品概述
TSDB 具备秒级写入百万级时序数据的性能，提供高压缩比低成本存储、预降采样、插值、多维聚合计算、可视化查询结果等功能，解决由设备采集点数量巨大、数据采集频率高造成的存储成本高、写入和查询分析效率低的问题。TSDB是一个分布式时间...
什么是DataWorks
产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。...
数据库评估概览
数据库采集完成后，单击 下一步查看源库画像，单击 新建画像 上传采集的数据包进行数据库分析。具体操作，请参见 数据库画像。在 源库画像 页签，选中目标画像，单击 下一步查看目标库选型建议，查看目标库兼容情况和推荐类型。具体操作，...
受众与核心能力
数据地图（公共云）/数据管理（专有云）：提供强大的数据搜索、数据类目、数据血缘等能力。数据资产管理（仅专有云）：统一管理整个平台的数据表、API等各类数据资产。数据安全：数据脱敏、权限控制等能力。应用开发（仅公共云）：基于Web...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
通过迁移评估采集器采集数据库对象
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
流式数据通道概述
流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-per-second）场景下的性能瓶颈。本文为您介绍如何使用流式数据通道服务。功能介绍 MaxCompute流式数据通道服务已商业化且不计费，您可以...
MaxCompute近实时增全量一体化架构介绍
数据自动治理优化 存在的问题 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，尤其是桶数量较大的情况，从而引发存储访问压力大、成本高，数据读写I/O效率低下等问题。如果Update和...
技术发展趋势
IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值的时代已经来临，并逐渐取代了从模拟数据向数字化转变的时期；产生、使用和管理对生活产生...
离线同步能力说明
复杂网络环境下的数据同步 离线同步支持云数据库，本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。您可以根据数据库所在网络环境，选择合适的网络解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据...
管理数据目录
说明 数据目录页面为您展示了创建集群时您选择的DLF数据目录下的数据库和表。单击 添加数据目录。在 添加数据目录 对话框中，您可以选择已有的DLF数据目录，单击 确定。如果您想添加新的DLF数据目录，可以单击 创建数据目录，跳转至数据湖...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
如何支持超大事务
如果想支持更大的事务，比如在一个事务中插入更多的数据，请把数据表划分到更多的分片上。场景二 在该场景下，执行SQL语句数量较少，每条语句携带数据量较小，事务修改数据量较大。执行SQL语句数量 1 每条语句携带的数据量 约256 KB 数据...
新建完整性能评估任务
目前迁移评估支持 RDS_MySQL、PolarDB-X 1.0、PolarDB-X 2.0、TiDB 和 POLARMYSQL 等源端非 OceanBase 数据库的数据源到 OB_MySQL 的回放，同时支持 OceanBase 数据库相同模式下的升级回放，即支持 OB_MySQL 到 OB_MySQL，OB_Oracle 到 OB_...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
添加RDS for PostgreSQL数据源
实例 ID VPC下数据库实例的ID，可在 RDS管理控制台 的实例基本信息页面获取。说明 通常您可以直接在数据库产品的控制台查看数据库实例的VPC实例ID。但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络...
添加RDS for PostgreSQL数据源
实例 ID VPC下数据库实例的ID，可在 RDS管理控制台 的实例基本信息页面获取。说明 通常您可以直接在数据库产品的控制台查看数据库实例的VPC实例ID。但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络...
添加RDS PostgreSQL数据库
VPC 实例ID VPC下数据库实例的ID，可在 RDS管理控制台 的实例基本信息页面获取。域名 连接数据库的地址。重要 该地址是DataV-Atlas服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用内网环境下的阿里云RDS ...
通过脚本模式配置离线同步任务
方式二：双击业务流程名称，将 数据集成 目录下的 离线同步 节点直接拖拽至右侧业务流程编辑面板。根据界面提示创建离线同步节点。步骤二：配置同步网络链接 选择离线同步任务的数据来源和数据去向，以及用于执行同步任务的资源组，并测试...
添加PolarDB for Oracle数据源
实例ID VPC下数据库实例的ID，可在 PolarDB 控制台 的实例基本信息页面获取。域名 连接数据库的内网地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用内网环境下的阿里云PolarDB for...
添加PolarDB for MySQL数据源
实例ID VPC下数据库实例的ID，可在 PolarDB 控制台 的实例基本信息页面获取。域名 连接数据库的内网地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用内网环境下的阿里云PolarDB for...
添加PolarDB for Oracle数据源
实例ID VPC下数据库实例的ID，可在 PolarDB 控制台 的实例基本信息页面获取。域名 连接数据库的内网地址。注意 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用内网环境下的阿里云PolarDB for...
添加PolarDB for MySQL数据源
实例ID VPC下数据库实例的ID，可在 PolarDB 控制台 的实例基本信息页面获取。域名 连接数据库的内网地址。注意 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用内网环境下的阿里云PolarDB for...
添加PolarDB for PostgreSQL数据源
实例ID VPC下数据库实例的ID，可在 PolarDB 控制台 的实例基本信息页面获取。域名 连接数据库的内网地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用内网环境下的阿里云PolarDB for...
添加RDS for SQLServer数据源
实例 ID VPC下数据库实例的ID，可在 RDS管理控制台 的实例基本信息页面获取。说明 通常您可以直接在数据库产品的控制台查看数据库实例的VPC实例ID。但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络...
添加RDS for SQLServer数据源
实例 ID VPC下数据库实例的ID，可在 RDS管理控制台 的实例基本信息页面获取。说明 通常您可以直接在数据库产品的控制台查看数据库实例的VPC实例ID。但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络...
添加RDS for MySQL数据源
实例ID VPC下数据库实例的ID，可在 RDS管理控制台 的实例基本信息页面获取。说明 通常您可以直接在数据库产品的控制台查看数据库实例的VPC实例ID。但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要...
添加PolarDB PostgreSQL数据库
VPC 实例ID VPC下数据库实例的ID，可在 PolarDB 控制台 的实例基本信息页面获取。域名 连接数据库的内网地址。重要 该地址是DataV-Atlas服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用内网环境下的阿里云...
添加RDS for MySQL数据源
实例ID VPC下数据库实例的ID，可在 RDS管理控制台 的实例基本信息页面获取。说明 通常您可以直接在数据库产品的控制台查看数据库实例的VPC实例ID。但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要...
- 产品推荐
- 这些文档可能帮助您