敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
实时消费Kafka数据
0表示Streaming Server遇到第一次错误数据时就会停止数据写入。目前该参数未启用，填0即可。字段映射 源字段 Kafka消息中的Value字段名，需要按照在Value中出现的顺序指定所有的字段名。目标字段 云原生数据仓库AnalyticDB PostgreSQL版 ...
ExecDatamask-对数据进行动态脱敏
在 数据安全中心控制台 上创建模板后会生成模板 ID，您可以在 数据脱敏>脱敏模板页面获取 脱敏模板 ID。若脱敏模板匹配类型是 字段名称，则取 Data 中的 dataHeaderList 进行匹配。若脱敏模板匹配类型是 敏感类型，则取 Data 中的 ruleList...
计算引擎审批策略
您可以自定义MaxCompute引擎的表、资源、...设置审批策略优先级 如同时存在MaxCompute项目维度审批策略和数据保护伞分级分类维度审批策略，则可能导致同一数据范围被两个审批流程所覆盖，此时您可以在计算引擎审批策略设置页码选择优先级。
支持识别的OSS文件类型
本文介绍数据安全中心（DSC）支持识别的OSS文件类型。序号 文件类型 序号 文件类型 1 C、C++源代码 85 Tokyo Cabinet数据库文件 2 Lua源代码 86 X3D(Extensible 3D)Model XML文件 3 Javascript源代码 87 XML文档 4 VRML虚拟现实建模语言...
AddInstance-录入数据库实例
金融线-生产 EnableSellSitd string 否 是否需要为该实例开启敏感数据保护功能。Y：开启。NULL 或其它：不开启。Y DataLinkName string 否 输入跨库查询 datalink 名称。说明 如果 UseDsql 取值为 1，此值必填。DBLink 名称只能使用小写...
云数据库录入
说明 在第一次录入云数据库时，DMS系统会同步云数据库侧的名称。后续不再进行同步，您可以通过编辑实例来维护实例名称。具体操作，请参见 编辑实例。开启DBLink 选择是否开启DBLink，详情请参见 逻辑数仓。无锁结构变更 选择是否开启无锁...
云数据库录入
说明 在第一次录入云数据库时，DMS系统会同步云数据库侧的名称。后续不再进行同步，您可以通过编辑实例来维护实例名称。具体操作，请参见 编辑实例。开启DBLink 选择是否开启DBLink，详情请参见 逻辑数仓。无锁结构变更 选择是否开启无锁...
调整字段安全级别
前提条件 实例已开启敏感数据保护功能。具体操作，请参见 开通敏感数据保护。设置敏感等级的影响 设置敏感等级后，对使用数据的影响：SQL窗口中查询数据时，对无权限的中敏感、高敏感字段显示为星号（*）或者按自定义的方式显示。查询、...
敏感数据审计
数据管理DMS提供的敏感数据审计功能，记录了敏感数据在DMS中的使用情况，可以解决敏感数据异常使用和数据泄露的溯源问题。功能介绍 审计覆盖的功能模块：SQL窗口中的查询与变更、数据结果集导出、数据库导出和普通数据变更。功能入口：安全...
管理敏感数据
实例已开通敏感数据保护功能。具体操作，请参见 开通敏感数据保护。调整字段的安全级别 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 安全与规范>敏感数据管理>敏感数据资产。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 ...
Quick BI连接MaxCompute
如果您是第一次添加该数据源，需要等待1~5分钟完成数据同步。步骤二：使用Quick BI查询及分析数据 在Quick BI操作界面，您可以基于新创建的数据连接，查询MaxCompute项目数据及分析数据。您可以执行如下操作，操作详细指导，请参见 管理...
Slowly Changing Dimension
执行以下命令，查询第一次批量写入的数据。select id,body from target where dt='2021-01-01';重要 查询数据时，可以使用正常的SQL语法。查询数据时，必须指定gscdColumn字段作为查询条件，并且必须为=表达式，例如 dt='2021-01-01'。执行...
概述
请勿绕过数据库代理Proxy（SecureGW）直接连接访问原生MySQL Kernel，否则您的数据库集群将丧失敏感数据保护能力。此外，为防止恶意访问，建议您开启日志审计等功能，通过日志等管理手段进行事后审计追责。使用方法 详情请参见 管理加密...
接入数据库
在使用 数据安全中心DSC（Data Security Center）检测云产品（包括OSS、RDS、PolarDB等）中存在的敏感数据或审计数据库活动前，您需要先将数据库接入DSC。本文介绍如何将数据库接入DSC。背景信息 DSC 支持的数据库类型详情，请参见 支持的...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
新建及管理动态脱敏规则
说明 默认脱敏策略即默认的敏感数据保护策略，可统一为没有单独的脱敏规则的敏感数据提供安全保护。仅支持安全管理员配置默认脱敏规则。单击 确定，完成默认脱敏策略创建。查看动态脱敏规则 您可查看动态脱敏的规则介绍，并可对动态脱敏...
新建及管理动态脱敏规则
说明 默认脱敏策略即默认的敏感数据保护策略，可统一为没有单独的脱敏规则的敏感数据提供安全保护。仅支持安全管理员配置默认脱敏规则。单击 确定，完成默认脱敏策略创建。查看动态脱敏规则 您可查看动态脱敏的规则介绍，并可对动态脱敏...
DescribeRules-查询识别规则的列表
调用本接口查询敏感数据识别规则的列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
开发管控：管理者
创建数据脱敏规则 敏感数据溯源 MaxCompute表权限审计 在 安全中心>数据访问控制 的 权限审计，查看拥有表权限的人员列表、权限详情及权限有效期，您可根据需要判断是否回收表权限。MaxCompute数据访问权限控制 恢复数据 操作 说明 相关...
DescribeOssObjects-查询OSS的存储对象列表
说明 如果根据 OSS 存储对象命中的敏感数据识别规则的 ID 查询 DSC 连接授权的 OSS 的存储对象列表，敏感数据识别规则 ID 可调用 DescribeRules 接口获取。1222 InstanceId string 否 OSS 对象所属资产实例 ID。说明 如果根据 OSS 对象所属...
ModifyRuleStatus-修改识别规则的检测功能状态
调用本接口开启或关闭敏感数据识别规则的检测功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限...
DescribeDataObjectColumnDetailV2-查询数据对象列...
name Categories array 敏感数据所数据的行业分类列表。string 敏感数据所数据的行业分类，多个通过逗号分隔。general sensitive information ModelTags object[]数据标签列表。Id long 数据标签名称对应的 ID。取值：101：个人敏感信息 ...
UPSERT
时序引擎：使用UPSERT语句写入数据时，连续两次写入的PRIMARY KEY相同，则第二次写入的数据将直接覆盖第一次写入的数据。使用UPSERT语句连续两次写入相同PRIMARY KEY数据的示例，请参见 写入相同PRIMARY KEY的数据。语法 upsert_statement:...
导出数据
未开通敏感数据保护的数据库实例，不可使用数据水印。文件水印：是指将标识信息通过一定方式嵌入到文件中，该水印信息数据使用者可以直接看到。在弹出的 生成工单成功 对话框中，单击 查看工单。在工单详情页 预检查 区域，确认 影响行数 ...
自定义钉钉机器人告警通知
数据安全中心DSC（Data Security Center）支持通过钉钉机器人在钉钉群实时发送异常审计告警和泄漏风险告警通知，以便于您及时处理异常问题，保障业务正常运行。本文介绍如何设置钉钉群接收告警通知。背景信息 您一次只能为一个钉钉群添加告...
DescribeDataObjects-查询数据对象列表
1687676649830 SensitiveCount integer 敏感数据数量 1 ObjectType string 数据对象类型。text type Path string 数据对象的路径。rm-1234.db_test RegionName string 地域名称。cn-hangzhou Categories array 敏感数据所数据的行业分类...
DescribeDataObjectColumnDetail-查询数据对象列详情
name Categories array 敏感数据所数据的行业分类列表。string 敏感数据所数据的行业分类，多个通过逗号分隔。general sensitive information ModelTags object[]数据标签列表。Id long 数据标签名称对应的 ID。取值：101：个人敏感信息 ...
概述
静态脱敏 将生产库的全量数据导入至一个镜像数据库中，同时在导数据的过程中对敏感数据进行加密或脱敏。应用程序访问的不是真正的生产库而是镜像库，因此脱敏过程完全不会影响正常业务对生产库的使用。需要在数据导入的工具中开发一套修改...
通过样本库识别
在左侧导航栏，单击 规则配置>敏感数据识别，进入 敏感数据识别 页面。单击 数据样本管理，进入 数据样本管理 页面。单击 新增样本，配置样本库名称并上传样本文件。说明 DataWorks仅支持上传大小不超过500KB，UTF-8 格式的 TXT 文本文件做...
CreateRule-创建自定义的敏感数据识别规则
调用CreateRule创建自定义的敏感数据识别规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
参考：渐进式计算
渐进式计算（Progressive Computing）是处于传统的流计算和批处理之间的一种计算...在第二天查询 时间列 范围为[20200802,20200808]的数据时，首先会单独计算 20200808 列的数据，再和第一次运行生成7个中间表的数据整合起来得到最终结果。
数据去重
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
数据保护伞概述
数据保护伞是一款数据安全管理产品，为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...
全局级模块权限控制
说明 当前阿里云主账号下所有RAM用户默认为DataWorks租户成员，安全管理员 安全中心、审批中心、数据保护伞 安全中心所有权限 审批中心的自定义审批策略权限 数据保护伞所有权限 合规管理员 安全中心 安全中心的数据跨境风险检测权限、数据...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入...示例文件 SQL附件示例 CSV文件示例（第1行为属性）CSV文件示例（第1行为数据）Excel附件示例（第一行为属性）Excel附件示例（第一行为数据）JSON附件示例
操作审计
详情请参考文档：数据保护伞数据脱敏管理：数据脱敏管理 MaxCompute表权限的权限审计 您可以进入安全中心，在数据访问控制，权限审计处，查看表都有谁有具体的什么权限，以及申请的权限有效期，并支持回收表权限。权限审计 表数据，节点...
购买流程
数据传输服务DTS（Data Transmission Service）支持先配置再购买和先购买再配置两种创建任务方式。若您需要随用随配，建议您选择先配置再购买的方式；若您需要先锁定财务预算而不需要配置任务，建议您选择先购买再配置的方式。本文介绍数据...
配置HDFS输出组件
不导出：则文件的第一行为数据。输入字段 展示从输入表中读取的字段。输出字段 展示目标表的字段。同时您也可以通过 批量添加 和 新建输出字段 的方式手动添加输出字段。映射关系 映射关系用于将源表的输入字段和目标表的输出字段映射起来...
- 产品推荐
- 这些文档可能帮助您