导出数据
数据水印：是指将标识信息通过一定方式嵌入到数据中，该水印信息数据使用者难以察觉。说明 建议导出的数据超过200条时使用数据水印嵌入。未开通敏感数据保护的数据库实例，不可使用数据水印。文件水印：是指将标识信息通过一定方式嵌入到...
概述
系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表结构，基于目标数据仓库进行数据分析，不影响数据源端的线上业务运行。方案优势 T+1全量同步一键建仓...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
他云/自建数据库录入
本文介绍如何将他云/自建数据库录入至数据管理DMS中。前提条件 支持录入的他云/自建数据库类型，请参见 支持的他云/自建数据库。已在他云/自建数据库的白名单中添加DMS的服务器访问地址。详细信息，请参见 添加DMS IP地址。目标数据库实例...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
敏感数据保护
数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级标准。Dataphin的数据分类，支持多级的数据分类层级管理，同时支持内置识别特征和识别方式，便于后续自动进行...
敏感数据保护
数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级标准。Dataphin的数据分类，支持多级的数据分类层级管理，同时支持内置识别特征和识别方式，便于后续自动进行...
云数据库录入
本文介绍如何将阿里云数据库录入至数据管理DMS中。前提条件 支持录入的云数据库类型，请参见 支持的云数据库。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。已在云数据库的白名单中添加DMS的服务器访问地址。详细...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
什么是数据资源平台
平台通过将业务数据沉淀为智能数据或智能算子，以可视化拖拉拽和简单图形化条件设定进行模型编排，支持离线、在线、实时全场景，采用简化建模过程、提高模型运行效能、融合智能化算法等方式帮助用户将数据与业务结合起来，不断积累和沉淀...
数据归档至用户OSS
校验：归档数据与原库数据进行比对，展示差异信息与归档信息。校验时间随数据量增长。运行方式 选择运行方式，当前支持：单次执行：工单审核通过后，仅单次运行归档任务。周期调度：工单审核通过后，可根据部署的周期调度执行归档任务。...
设置数据源的账号与密码
且不同的数据库引擎需要不同的权限来进行数据库备份或恢复操作，例如进行MongoDB数据库备份操作需要拥有 Read 权限，进行恢复操作需要拥有 ReadWrite 权限。您可查看 账号权限说明 文档，确认待备份数据库的账号所需要的权限。操作步骤 ...
查看指标资产详情
关联信息 单击 关联信息，展示与指标有关联数据表和API关联信息。在 数据表 页面，展示数据的名称、字段等信息，同时，单击数据表名称可跳转至数据表资产页面。在 API 页面，展示API名称和返回参数等信息，同时，单击API名称可跳转至API...
查看指标资产详情
关联信息 单击 关联信息，展示与指标有关联数据表和API关联信息。在 数据表 页面，展示数据的名称、字段等信息，同时，单击数据表名称可跳转至数据表资产页面。在 API 页面，展示API名称和返回参数等信息，同时，单击API名称可跳转至API...
添加数据
背景信息 空间数据支持添加的 数据类型与格式有：数据类型 数据格式 矢量 Shapefile GeoJSON CSV GDB PostGIS 栅格 GeoTIFF Images NetCDF 倾斜摄影 OSGB S3M 3DTiles BIM RVT DGN IFC 点云 LAS PCD 三维模型 OBJ 3DS glTF FBX 栅格瓦片 ...
管理全局待发布对象
②列表区 为您展示数据源的名称、数据源类型、发布状态/完成时间、负责人、数据源模式、变更类型、环境变更（从上一次导入后，当前目标环境是否有过变更）、同名同类型（当前环境中是否包含与来源环境同名同类型的数据源...
产品架构
数据管理DMS的产品架构分为三层：数据源、数据运营与管理和商业应用。数据源 关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、Oracle、达梦DamengDB等。...
数据上传
说明 若待上传数据与目标表字段不存在映射关系，则该数据将会被置灰，且不会被上传。待上传数据与目标表字段不能存在重复映射关系。字段名称和字段类型不能为空，否则数据无法上传。预览数据并设置目标表字段（上传数据至新建表）可通过 ...
文档修订记录
使用Copilot+增强分析实现一站式智能数据查询与可视化 2023年10月更新记录 时间 特性 类别 描述 产品文档 2023.10.30 新增功能 数据建模API DataWorks支持调用QueryPublicModelEngine接口查询单个指标所依赖模型的相关信息、查询复合指标。...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
敏感数据掩码
配置敏感数据掩码可以防止审计到的日志信息中包含敏感数据信息，使用掩码可以防止敏感信息在查询审计日志时泄露。本文介绍如何对审计到的客户敏感数据（例如：身份证号、银行卡号等）添加掩码“*”后再呈现。登录云盾数据库审计系统。具体...
采集数据
新建两个离线同步节点 ods_raw_log_d、ods_user_info_d，用于后续同步MySQL用户数据与OSS网站访问日志数据，再新建虚拟节点 WorkShop_Start 统一管理该业务流程。本阶段仅涉及数据采集业务流程，不涉及具体同步任务配置。1、新建业务流程 ...
产品优势
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle...
常见问题
如果目标端的数据逐出策略（maxmemory-policy）配置为 noeviction 以外的值，可能导致目标端的数据与源端不一致。关于数据逐出策略详情，请参见 Redis数据逐出策略介绍。增量数据迁移时Binlog相关的预检查项失败，如何处理？检查源库Binlog...
Redis备份上云
说明 备份部分库表，支持单表、单库及多库，您可单击页面左下角的 全选中 选中现有所有库，各个数据库支持备份的对象不同，更多信息请参见 支持的数据库引擎与功能。备份任务默认不支持后续新创建的数据库，如需备份该库，您可在备份计划...
自建数据库异地备份
说明 备份部分库表，支持单表、单库及多库，您可单击页面左下角的 全选中 选中现有所有库，各个数据库支持备份的对象不同，更多信息请参见 支持的数据库引擎与功能。备份任务默认不支持后续新创建的数据库，如需备份该库，您可在备份计划...
ECS自建数据库的灾备与安全
数据库备份DBS支持MySQL、SQL Server、PostgreSQL等阿里云数据库，以及ECS上的自建数据库、线下数据库、其他云数据库进行备份恢复操作。本文以ECS MySQL为例，介绍如何通过DBS实现ECS数据库的灾备与安全，满足实时备份、快速恢复、异地灾备...
Oracle逻辑备份
说明 备份部分库表，支持单表、单库及多库，您可单击页面左下角的 全选中 选中现有所有库，各个数据库支持备份的对象不同，更多信息请参见 支持的数据库引擎与功能。备份任务默认不支持后续新创建的数据库，如需备份该库，您可在备份计划...
采集数据
新建两个离线同步节点 ods_raw_log_d、ods_user_info_d，用于后续同步MySQL用户数据与OSS网站访问日志数据，再新建虚拟节点 workshop_start 统一管理该业务流程。本阶段仅涉及数据采集业务流程，不涉及具体同步任务配置。1、新建业务流程 ...
Redis逻辑备份
说明 备份部分库表，支持单表、单库及多库，您可单击页面左下角的 全选中 选中现有所有库，各个数据库支持备份的对象不同，更多信息请参见 支持的数据库引擎与功能。备份任务默认不支持后续新创建的数据库，如需备份该库，您可在备份计划...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
OceanBase 数据库支持版本
本页面为您介绍云数据库 OceanBase 支持的数据库版本，您可跳转至 OceanBase 官网查看对应版本的数据库信息。数据库版本 当前支持的 OceanBase 数据库版本：V4.2.1、V3.2.4 和 V3.2.3。OceanBase 数据库企业版 V4.2.1 OceanBase 数据库企业...
SQL Server逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID，配置方法请参见 通过数据库网关DG备份本地或第三方云的私网数据库到云...
ADAM概览
实时收集待迁移应用的数据库访问返回数据和性能数据，与原应用进行对比，保证迁移后的应用在功能和性能上可以与原应用一致。应用静态改造：通过静态SQL代码扫描方式，定位应用对数据库对象的访问点，自动识别应用中因为数据库迁移需要改变...
MongoDB逻辑备份
数据库所在位置 需要备份的数据库所在位置，支持类型如下：有公网IP:Port的自建数据库 ECS上的自建数据库 云数据库MongoDB 通过专线/VPN网关/智能网关接入的自建数据库 无公网IP:Port的自建数据库（通过数据库网关DG接入）说明 当您选择云...
RDS MySQL或自建MySQL逻辑备份
更多信息，请参见 支持的数据库引擎与功能。备份任务默认不支持后续新创建的数据库，如需备份该库，您可在备份计划配置中添加该库便于后续备份。具体操作，请参见 修改备份对象。在 配置备份时间 页面，配置备份时间等信息，并单击页面右下...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
01新建模型目录
背景信息 STG：全称STAGE，结构与源数据保持一致的增量数据，主要用于汇聚业务系统源头数据。ODS：全称Operational Data Store，贴源层，主要负责采集业务系统并保存一定期限内的相关业务数据。DWD：全称Data Warehouse Detail，明细数据层...
实验介绍
数据加工 使用 DataWorks数据开发（DataStudio）模块，将日志数据通过函数正则等方式拆解为可分析字段，并与用户信息表加工汇总产出基本的用户画像数据，并提交调度系统，结合DataWorks调度参数实现周期性数据清洗操作。学习如下内容：如何...
- 产品推荐
- 这些文档可能帮助您