测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
创建项目空间
数据管理DMS数仓开发通过项目空间、业务场景和任务流三级目录讲行项目管理，同时支持数仓分层管理，有利于清晰地管理某一情景下的数据仓库管理需求，充分满足各类复杂的数仓开发和管理需求。项目空间是数仓开发、管理和运维的基本单位，...
使用DMS和DG管理本地或他云数据库
针对以上问题，数据管理DMS提供了通过数据库网关录入本地机房或第三方云数据库的功能，无需开放数据库的公网地址即可完成连接，并对数据传输进行安全加密。了解更多数据库网关的信息，请参见 数据库网关简介。操作步骤 登录 数据管理DMS 5....
表详情
当您需要全面了解并高效地使用表数据，您可在 数据管理DMS 的SQL窗口查看表的详细信息，包含表所属库、字段、索引、行数等技术元数据，类目、表描述等业务元数据，以及表权限、表Owner等管理元数据。背景信息 DMS在表详情中引入表的元数据...
新功能发布记录
本文介绍 数据管理DMS 的产品功能动态及相关文档。功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用...
创建Teradata数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
云数据库录入
本文介绍如何将阿里云数据库录入至数据管理DMS中。前提条件 支持录入的云数据库类型，请参见 支持的云数据库。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。已在云数据库的白名单中添加DMS的服务器访问地址。详细...
数据管理服务协议
《数据管理服务协议》是阿里云计算有限公司（以下简称“阿里云”）与您就数据管理服务的相关事项所订立的有效合约。《数据管理服务协议》以下或简称“本服务协议”、“服务协议”或“本协议”。背景信息 在接受本协议之前，请您仔细阅读...
创建Teradata数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建IBM DB2数据源
背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先完成IBM DB2数据源的创建。更多IBM DB2信息，请参见 IBM DB2官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块...
产品概述
他们希望应用服务只提供数据管理和分析的能力，不能接触私人明文数据。例如：企业使用第三方服务管理其商业数据时，需要应对商业秘密被服务商获取的潜在威胁。个人识别数据（PII）、基因等隐私数据在被第三方管理过程中，要满足全程加密的...
产品概述
他们希望应用服务只提供数据管理和分析的能力，不能接触私人明文数据。例如：企业使用第三方服务管理其商业数据时，需要应对商业秘密被服务商获取的潜在威胁。个人识别数据（PII）、基因等隐私数据在被第三方管理过程中，要满足全程加密的...
流量诊断
本文介绍如何通过集群管理系统查看表流量信息和表异常流量检测结果。背景信息 在实际使用数据库的过程中，会存在文件数过多导致请求时延变长的情况。同时，流量分布不均匀的问题导致部分节点负载过高并出现热点，进一步造成系统卡顿，影响...
创建MySQL数据源
依次单击 数据源管理->数据源->新建数据源。在 新建数据源 对话框的 关系型数据库 区域，选择 MySQL。如果您最近使用过MySQL，也可以在 最近使用 区域选择MySQL。同时，您也可以在搜索框中，输入MySQL的关键词，快速筛选。在 新建MySQL数据...
产品概述
他们希望应用服务只提供数据管理和分析的能力，不能接触私人明文数据。例如：企业使用第三方服务管理其商业数据时，需要应对商业秘密被服务商获取的潜在威胁。个人识别数据（PII）、基因等隐私数据在被第三方管理过程中，要满足全程加密的...
准备工作
说明 为了方便区分，本示例中将模拟开发环境的RDS MySQL实例命名为 POC_dev，将模拟生产环境RDS MySQL实例命名为 POC_prod。在 POC_dev 实例中创建 poc_dev 库，在 POC_prod 实例中创建 poc_prod 库。具体操作，请参见 创建数据库和账号。...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
客户案例
相较之前客户基于python开源的airflow任务管理系统来说，DataWorks拥有以下优势：任务管理一目了然，任务出错定位以及即时跳转到相关任务代码修复。数据源一次性管理，不需要重复劳动，可被多种数据服务需求使用游戏业务拥有上百个数据源。...
质量评估
质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...
功能简介
质量评估报告 支持根据系统数据质量监测运行结果以天的维度自动生成系统整体质量监控报告。支持根据数据唯一性、准确性、规范性、一致性、时效性和完整性进行多维度评估分析。物理表监控明细 支持以物理表为维度，查看物理表在数据开发-...
功能简介
质量评估报告 支持根据系统数据质量监测运行结果以天的维度自动生成系统整体质量监控报告。支持根据数据唯一性、准确性、规范性、一致性、时效性和完整性进行多维度评估分析。物理表监控明细 支持以物理表为维度，查看物理表在数据开发-...
基本概念
DMS 数据管理（Data Management Service，简称DMS）是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。更多信息，请参见 什么是数据管理DMS。DTS 数据传输服务...
从零开始完成无锁结构变更
数据管理DMS的无锁结构变更功能可以较好地规避因锁表而导致的业务阻塞，以及数据库原生OnlineDDL带来的主备延迟问题。本文以云数据库RDS MySQL举例，引导您快速使用DMS完成无锁结构变更。新增实例并开启无锁结构变更 登录 数据管理DMS 5.0...
行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
什么是数据库自治服务DAS
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
测试数据构建
测试数据构建 中的模板库提供的模板如下：设置测试库免批 禁用测试数据构建功能 生产库禁止使用测试数据构建 修改默认审批模板 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 安全与规范>安全规则。选择目标数据库实例的规则集名称，单击...
C100售前支持相关问题
数据库安全监控报警：实时监测数据库SQL注入、漏洞攻击、暴力破解及高危语句执行等危险行为并告警，帮助及时感知、排除数据库风险。智能机器学习：通过机器学习建立用户正常访问行为模型，量身定制形成用户合规画像，依照画像智能、精准...
创建IBM DB2数据源
背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先完成IBM DB2数据源的创建。更多IBM DB2信息，请参见 IBM DB2官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块...
授权DMS访问云资源
授权DMS访问云资源是指授予数据管理DMS访问提供数据服务的云产品的权限。授权DMS访问云资源后，在DMS中可以访问RDS、MaxCompute、OSS等云服务的资源，并对这些云资源进行查询、变更等操作。前提条件 您使用的是阿里云账号（主账号）或是...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
DataWorks On EMR使用说明
模块 说明 相关文档 数据地图 DataWorks数据地图提供了企业级数据管理平台，能够基于统一元数据的底层建设，提供数据对象的管理和盘点的能力，以及数据对象的快速查找和深度理解的能力。数据地图概述 安全中心 数据保护伞 审批中心 安全...
A100使用指南
用户指南访问入口 功能模块 操作指南链接 管理数据库审计实例 启用数据库审计实例 配置数据库审计实例 管理数据库审计实例的标签 管理数据库 登录数据库审计系统 添加数据库实例 部署Agent程序 查看SQL语句存储空间用量 开启系统管理员和...
创建Hudi数据源
依次单击 数据源管理->数据源->新建数据源。在 新建数据源 对话框的 大数据存储 区域，选择 Hudi。如果您最近使用过Hudi，也可以在最近使用区域选择Hudi。同时，您也可以在搜索框中，输入Hudi的关键词，快速搜索。在 新建Hudi数据源 对话框...
功能概述
他们希望应用服务只提供数据管理和处理的能力，不能接触私人明文数据。例如：企业使用第三方服务管理其商业数据时，需要应对商业秘密被服务商获取的潜在威胁。个人识别数据（PII）、基因等隐私数据在被第三方管理过程中，要满足全程加密的...
创建数据源
概述 您可以通过以下方式创建 OceanBase 开发者中心（OceanBase Developer Center，ODC）数据源：ODC 首页中创建数据源：进入 ODC 首页后，单击 新建数据源 按钮创建数据源。公有云实例中创建数据源：公有云的实例中，单击 登录数据库，...
数据导出
修改默认审批模板 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 安全与规范>安全规则。单击目标规则集行 操作 列下的 编辑。在 详情 页左侧的导航栏中，单击 数据导出。检测点选择 基础配置项。单击 数据导出默认审批模板 规则名行 操作 列...
创建Hudi数据源
依次单击 数据源管理->数据源->新建数据源。在 新建数据源 对话框的 大数据存储 区域，选择 Hudi。如果您最近使用过Hudi，也可以在最近使用区域选择Hudi。同时，您也可以在搜索框中，输入Hudi的关键词，快速搜索。在 新建Hudi数据源 对话框...
简介
传感网与实时GIS 在环保、气象、水利、航海航空监测等领域，需要通过各种传感器获取天、空、地、海不同地理现象、事件、要素的全生命周期多尺度监测指标，比如污染监测、水位监测、降雨量监测、航标监测等。栅格化GIS应用及航天航空遥感...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
规划工作空间
数据接入层（STG）：按应用系统划分，例如“stg_营销系统”、“stg_生产管理系统”等。任务节点：只有数据集成任务。数据表：只有原始数据，生命周期短。空间成员：各应用系统的DBA。资源倾斜：数据集成资源组、存储空间。数据清洗层（ODS...
- 产品推荐
- 这些文档可能帮助您