功能特性
审计配置 审计规则 支持对数据库日志、OSS日志以及MaxComputer日志进行安全审计，内置异常操作、数据泄露、SQL注入、漏洞攻击4大类共计超过900种高危操作规则，支持管理员自定义规则及风险等级。审计规则 审计告警 支持对低、中、高危操作...
DMS数据管理预案助力业务大促
开启数据水印功能 您可以在DMS中开启 防泄露数字水印 功能，系统将在整个控制台中同时提供水印，保障您的数据信息安全，防止截图等数据泄露事件。具体操作，请参见 防泄露数字水印。敏感数据管控 有效识别敏感数据的分布，进行细粒度权限...
设置透明数据加密TDE
开启TDE可以防止备份泄露导致数据泄露，备份文件是加密的，无法用于恢复到本地，如果要恢复数据到本地，需要先解密数据。更多信息，请参见本文的 解密操作 章节。相关文档 如果您还需要对实例访问链路进行加密，可以开启SSL链路加密，具体...
Flink_SQL任务开发方式
重要 原生DDL+DML开发方式因为需要在代码中编写明文的用户名和密码，导致数据不安全，可能造成数据泄露，请谨慎使用。使用示例 若您需要在Flink_SQL任务中使用原生DDL+DML开发方式，您可以参考以下示例代码进行创建。以下示例代码实现了...
DataWorks产品安全能力介绍
泄露数据溯源：支持提取数据泄露文件中数据的水印信息，帮助管理员定位泄露数据的责任人。说明 仅DataWorks企业版支持对泄露数据进行溯源。通用防护措施 企业/部门间权限隔离：支持企业间租户隔离、团队间空间隔离。增强身份鉴别：支持 多...
新建及管理动态脱敏规则
写开发表：对来源表敏感数据的查询结果进行脱敏后再写入开发表中，防止生产环境的敏感数据泄露，特殊情况下，个人账号写Basic表则视为写开发表。数据查询：针对不参与生产环境调度的数据查询（如任务的一次性运行、即席查询、分析查询），...
新建及管理动态脱敏规则
写开发表：对来源表敏感数据的查询结果进行脱敏后再写入开发表中，防止生产环境的敏感数据泄露，特殊情况下，个人账号写Basic表则视为写开发表。数据查询：针对不参与生产环境调度的数据查询（如任务的一次性运行、即席查询、分析查询），...
设置透明数据加密
开启TDE可以防止备份泄露导致数据泄露，备份文件是加密的，无法用于恢复到本地，如果要恢复数据到本地，需要先解密数据。相关文档 关于密钥的相关操作请参见 密钥管理服务。设置全局加密时，如何修改 rds_default_table_encryption 参数，...
产品优势
域账号自动管理：提供域账号及权限的全自动化管理能力，有效避免企业员工流转时，账号清理不及时导致的潜在数据泄露风险。合规审计：支持企业上市合规审计、常规内审等功能，全方位支持员工权限和数据库变更、访问的流水审计。更多信息，请...
平台安全诊断
数据下载控制 说明 建议严格控制无关人员直接下载数据（MaxCompute Tunnel方式）到本地，避免非预期的数据泄露事故。MaxCompute项目 下载权限控制依托于MaxCompute 2.0权限模型与Download权限。此安全检测项为您扫描哪些MaxCompute工作空间...
创建数据脱敏规则
参数 说明 数据水印 数据水印可提供数据溯源能力，发生数据泄露后，可帮您定位到可能的泄露源。您可根据需求选择是否开启 数据水印。说明 仅DataWork企业版及以上版本支持使用数据水印功能。脱敏特征值 不同脱敏特征值的脱敏策略规则不同，...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
数据下载配置
区域 描述 ① 列表区 为您展示 项目、数据下载范围、是否开启 样例数据审批、样例数据审批模板、是否开启 完整数据审批、完整数据审批模板 信息。② 操作区 您可以对项目执行 编辑 和 删除 操作。编辑：您可编辑审批配置的信息，详情请参见...
数据下载配置
区域 描述 ① 列表区 为您展示 项目、数据下载范围、是否开启 样例数据审批、样例数据审批模板、是否开启 完整数据审批、完整数据审批模板 信息。② 操作区 您可以对项目执行 编辑 和 删除 操作。编辑：您可编辑审批配置的信息，详情请参见...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并...敏感数据溯源 通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。
数据地图概述
说明 此操作可能存在敏感数据泄露的风险，请谨慎评估后再开启。所在工作空间的项目owner或者工作空间管理员可进行该操作。此权限仅控制数据地图中表详情页面的 数据预览 功能。隐藏表 表隐藏后，搜索表时将无法搜索到该表。支持对所有人...
配置数据识别规则
说明 对CDH引擎中数据进行识别和脱敏时，您需要通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别，抽样采集的数据不会存储至DataWorks中，没有数据泄漏风险。详情请参见：CDH Hive数据...
调试实时任务
上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据自动填充至 元数据采样 区域。手动输入数据 适用于采集的数据比较少，...
调试实时任务
上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据自动填充至 元数据采样 区域。手动输入数据 适用于采集的数据比较少，...
功能更新动态（2022年之前）
规避了审批者误操作，导致的数据泄露与安全问题。2020年9月17日 华东2（上海）、华南1（深圳）和华北2（北京）创建项目 编辑项目 Dev-Prod开发模式中，新增同时为Dev和Prod项目添加成员的功能。管理项目空间的权限和计算源 离线计算任务 ...
通过数据同步功能同步Kafka至湖仓版（推荐）
说明 当数据源下存在数据同步或数据迁移任务时，此数据源无法直接删除，需先在 数据同步 页面，单击目标同步任务 操作 列的 删除，删除数据同步或数据迁移任务。JSON解析层级和Schema字段推断示例 解析层级指按相应层数解析出JSON中的字段...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
文档更新动态（2022年之前）
规避了审批者误操作，导致的数据泄露与安全问题。通用功能 创建项目 2020-09-17 编辑项目 功能拓展 Dev-Prod开发模式中，新增同时为Dev和Prod项目添加成员的功能。通用功能 管理项目空间的权限和计算源 2020-09-17 离线计算任务 功能拓展 ...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
采集数据
本文为您介绍如何新建HttpFile和MySQL数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好...
数据查询
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。操作步骤 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 快速入门 工作组。在左侧导航栏，单击 图标。单击 物理表查询，...
数据服务
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。已根据快速入门教程完成数据开发操作，具体信息请参见 数据开发。操作步骤 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 ...
数据同步
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。前提条件 已根据快速入门教程...
数据资产管理
数据资产管理通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。前提...
数据标准建模
将数据字典和质量校验函数以及逻辑表物理化到数据库，帮助您在数据标准的约束下构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据。前提条件 已根据快速入门教程完成加载样...
通过自定义模型识别
单击完成训练的模型 操作 列的 图标，即可查看通过该模型提取的样本特征对样例数据识别的准确率。建议当准确率为100%时，再投入上线使用该模型。说明 如果模型训练的评估结果准确率达不到100%，则投入上线使用识别的数据可能会有较大误差。...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
常见问题
企业出现重大敏感数据泄露事件时，需要进行全面的事件还原和追责处理，但是由于数据访问者较多，泄密途径不确定，导致定责模糊。数据水印将标记信息嵌入原始数据，在不影响数据使用的前提下，生成水印和添加数据标记，可对泄露数据溯源，...
互联网、电商行业离线大数据分析
应用场景 电商网站数据看板。全国、全球业务的态势分析。互联网、金融行业的风险数据监控。方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以...
查询并下载数据
样例数据下载：样例数据下载的格式和数据运行记录由数据下载审批设置决定。更多信息，请参见 数据下载配置。说明 若规范设置中已开启下载审批，您需提交 数据下载申请 后才可进行下载。审批通过后，您可查看审批任务、当前运行结果或在运行...
查询并下载数据
样例数据下载：样例数据下载的格式和数据运行记录由数据下载审批设置决定。更多信息，请参见 数据下载配置。说明 若规范设置中已开启下载审批，您需提交 数据下载申请 后才可进行下载。审批通过后，您可查看审批任务、当前运行结果或在运行...
概述
在需要将部分数据与第三方分享时，用户希望在不泄漏自身密钥的前提下完成加密数据的分享，同时满足合规要求。注意事项 加密规则在主地址上不生效，您需要使用集群地址或自定义集群地址。当前只支持普通的 COM_QUERY ，不支持 ...
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
- 产品推荐
- 这些文档可能帮助您