批量新增离线数据同步任务
本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加离线数据同步任务...
批量新增离线数据同步任务
本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加离线数据同步任务...
配置敏感数据分类分级
进入数据分类分级 进入数据保护伞，详情请参见 进入数据保护伞。单击左侧导航栏的 规则配置>数据分类分级，进入数据分类分级配置页面。配置数据分类分级 数据保护伞为您提供了内置的分类分级模板，该模板包含4类分级和4大类分类，您可直接...
数据治理
数据保护伞 数据保护伞为什么有时候查询脱敏有时候查询不脱敏 为什么数据地图数据总览页存储量和存储趋势图相差较大？存储量是实时的数据，存储趋势图（折线图）是某一时刻的快照，如果您现在的计算量很少（产生的临时表比较少）的话，两个...
数据脱敏能力概述
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。...
计费项
说明 您可以随时关闭实例的敏感数据保护功能，或退订按量付费的敏感数据保护商品以节省开支。具体操作，请参见 关闭敏感数据保护 和 退款说明。Copilot体验版 仅支持按月购买。60元/月 付费实例在Copilot体验期（截至2024年04月15日）内可...
数据传输与迁移概述
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
查看离线同步实例详情
离线同步实例是由离线数据同步时发起的任务实例，运维监控支持查看离线同步任务实例的详情，包括实例属性、运行日志。本文主要介绍查看离线同步实例的详情。前提条件 已上线离线同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
命令行工具、DMS
已配置数据保护规则，并授予用户访问全密态数据库权限。具体操作请参见 配置数据保护规则。操作步骤 本文以abc.test表为例，对a列已加密保护，对b列没有加密保护，通过命令行工具和DMS查询数据库，用户在a列只能看到密文，在b列可以看到...
新增离线数据同步任务
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
新增离线数据同步任务
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
退款说明
如果您不需要使用 数据管理DMS 新版的稳定变更模式、安全协同模式和敏感数据保护付费服务，请根据本文操作进行退订。注意事项 退订包年包月或按量付费的敏感数据保护服务，不会清理实例上已有的数据分类分级信息（含配置的脱敏规则）。说明...
查看数据风险（新版）
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。...
配置用户组
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。...
购买指引
产品版本 入门版 标准版 高级版 版本选择建议 小型数据团队 中小型数据团队 中型数据团队 功能规格 数据同步 离线数据同步 离线数据同步 实时数据同步 配置化数据同步 离线数据同步 实时数据同步 配置化数据同步 多引擎数据计算任务编排 ...
数据加工过程卡点校验
您可以通过培训等方式，将离线数据的诉求、离线数据的加工过程、数据产品的应用方式告知在线业务开发人员，使其了解数据的重要性、价值及风险。确保在线开发人员在完成业务目标时，也要考虑数据的目标，做到业务端和数据端一致。离线系统卡...
查看敏感数据血缘（公测）
背景信息 数据血缘为您提供如下功能：可视化血缘图谱 数据保护伞基于敏感字段之间的血缘关系，绘制成敏感数据血缘可视化图谱，帮助您清晰的了解数据的来龙去脉。提升数据识别效率 敏感数据自动识别任务可基于敏感字段血缘关系，将其中敏感...
备份集查询功能概览
搭建离线数据仓库：您可以将DBS备份数据作为数据湖存储，搭建离线数据仓库，实现湖仓一体，挖掘数据价值。应对审计需求：全量备份数据保存在DBS中，若有临时审计需求，可以快速过滤出需要的数据进行审计分析。快速定位数据：库-表-分区的新...
管理敏感数据
OceanBase Oracle DB2 达梦数据库 Lindorm：Lindorm_CQL、Lindorm_SQL OpenGauss 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA（Data Lake Analytics）ClickHouse MaxCompute Hologres Hive 实例已开通敏感数据保护功能。...
概述
数据保护功能详情请参见 数据保护机制。MaxCompute 2.0数据类型版本支持较多数据类型，例如TINYINT、SMALLINT、DATETIME、TIMESTAMP、ARRAY、MAP和STRUCT等。您如果需要使用这些新类型，在执行SQL之前需要执行以下语句，打开MaxCompute 2.0...
创建指标映射标签
Dataphin标签支持将离线数据集输出指标直接定义成为标签。本文将指导您如何通过指标映射方式创建离线标签。前提条件 通过指标映射创建离线标签前需创建对应的离线数据集。更多信息，请参见 离线数据集概述。操作步骤 在Dataphin首页，单击...
开发管控：管理者
通过操作审计查询行为事件日志 数据脱敏及泄露数据溯源 为防止重要文件泄露，您可通过数据保护伞的脱敏配置，对重要数据设置脱敏规则，并依据数据水印功能对泄露数据进行溯源。说明 仅 空间管理员 或 安全管理员 角色的用户，以及拥有 ...
某手游开发公司在离线一体分析方案
方案亮点：PB级数据量、同时支持在线和离线数据分析。业务挑战 通过对游戏服的用户行为日志进行收集、存储和分析，计算玩家留存率、LTV、ARPU、充值总金额等。游戏运营变化快，需要灵活的Schema。在线用户基数大，日志数据规模大，需要高...
API概览
本产品（大数据开发治理平台 DataWorks/2020-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
进入数据质量概览（旧版）
模块 描述 我的订阅 为您展示当前登录用户名下订阅的表，所产生的离线数据和流式数据的报警、阻塞数量，以及订阅的总数。全部数据 为您展示当前工作空间下离线数据和流式数据的全部数据情况。报警趋势图 为您展示 近7天、近30天 和 近半年 ...
操作审计
详情请参考文档：数据保护伞数据脱敏管理：数据脱敏管理 MaxCompute表权限的权限审计 您可以进入安全中心，在数据访问控制，权限审计处，查看表都有谁有具体的什么权限，以及申请的权限有效期，并支持回收表权限。权限审计 表数据，节点...
管理敏感数据
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
通过样本库识别
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞。单击 立即体验，进入数据保护伞。在左侧导航栏，单击 规则配置>敏感数据识别，进入 敏感数据识别 页面。单击 数据样本管理，进入 数据样本管理 页面。单击 新增样本，配置样本库...
PolarDB的高级脱敏
功能介绍 为进一步提高 PolarDB MySQL版 引擎的数据安全、数据脱敏等方面的安全能力，阿里云将 PolarDB MySQL版 集群代理（Proxy）的脱敏功能与 DMS 的敏感数据保护功能集成，当 DMS 识别到敏感数据后，会根据脱敏规则自动对数据进行脱敏，...
数据同步
创建离线同步任务，具体步骤如下：将鼠标移动到左侧导航栏中的 离线数据同步 上，单击 图标。单击 新增任务。输入 任务名称，本次快速入门教程的示例名称为 信用卡客户数据上云_d。在 数据源配置 区域，数据源 选择 ADB for Postgre>adbpg_...
调整字段安全级别
前提条件 实例已开启敏感数据保护功能。具体操作，请参见 开通敏感数据保护。设置敏感等级的影响 设置敏感等级后，对使用数据的影响：SQL窗口中查询数据时，对无权限的中敏感、高敏感字段显示为星号（*）或者按自定义的方式显示。查询、...
最佳实践
配置规则 基于选定的被保护数据，按照数据保护规则格式，编辑规则内容，并通过SQL UDF下发规则。更多规则格式介绍请参见 数据保护规则简介。SELECT encdb_rule_op('add','[{"name":"rule-for-contact-name","enabled":true,"meta":{...
通过自定义模型识别
创建模型 进入 数据保护伞。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞。单击 立即体验，进入数据保护伞。...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
产品优势
云原生 依托云原生优势，为云上数据源提供一体化数据保护和防御机制。支持防护常见的结构化数据、非结构化数据和大数据产品，例如对象存储OSS、云数据库RDS、MaxCompute等。智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据...
通过DMS管理MongoDB数据库
背景信息 DMS提供如下几个角色：管理员：除 系统管理 菜单中的 数据保护伞 之外的所有入口对此角色可见。说明 其中 用户管理、访问IP白名单 功能仅此角色可见。如果您是管理员用户，需要通过 登录实例 管理您的MongoDB数据库。安全管理员：...
- 产品推荐
- 这些文档可能帮助您