文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
亿海蓝-航运大数据的可视化案例
原始数据使用DLA Ganos进行高效预处理，降低数据提取和结果数据再落地时间。数据抽取结果存储到Ganos on Lindorm中，Lindorm的低延迟、高性能、高吞吐查询能力保障业务能流畅显示。整体系统架构方案如下图所示：航运数据可视化分析系统架构...
区域热力层（v1.x版本）
数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以直接使用。地市级：以提取浙江省范围内所有地级市边界数据为例，...
区域热力层
数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据，区域adcode可以查阅 省市区adcode与经纬度映射表，提取方法如下。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以...
Readable Protobuf
SHOW columns FROM table_name 示例 以表 t1 为例，介绍如何使用Readable Protobuf功能，以及如何使用可视化函数 PROTO_TO_JSON(blob_field)提取数据并用来创建索引或虚拟列等。创建表 t1，建表语句如下：CREATE TABLE t1(c1 INT,c2 BLOB);...
区域热力层（v2.x版本）
数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据，区域adcode可以查阅 省市区adcode与经纬度映射表，提取方法如下。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以...
区域热力层（v4.x版本）
数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据，区域adcode可以查阅 省市区adcode与经纬度映射表，提取方法如下。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以...
区域热力层（v3.x版本）
数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据，区域adcode可以查阅 省市区adcode与经纬度映射表，提取方法如下。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以...
概述
数据解密 在数据解密过程中，基础版Spark全密态计算引擎会从应用配置中获取用户主密钥（MEK），再从文件的元数据中提取数据密钥（DEK）。数据密钥（DEK）会使用用户主密钥（MEK）解密，若用户主密钥（MEK）由应用程序管理，则在本地解密。...
数据保护伞概述
敏感数据概况 敏感数据访问及导出情况 查看敏感数据血缘（公测）手动修正数据 数据水印溯源 若存在数据被泄露情况，可通过提取数据泄露文件中水印信息，帮助您定位到可能会泄露目标数据的责任人。敏感数据溯源 使用限制 版本限制 仅支持...
基本概念
Oracle CDC：实时数据同步模式，对源表进行INSERT、UPDATE或DELETE等操作的同时可以提取数据，变化的数据被保存在数据库的变化表中，通过订阅变化数据的方式实现数据的秒级同步。MySQL Binlog：实时数据同步模式，通过同步并解析记录所有...
DataWorks产品安全能力介绍
泄露数据溯源：支持提取数据泄露文件中数据的水印信息，帮助管理员定位泄露数据的责任人。说明 仅DataWorks企业版支持对泄露数据进行溯源。通用防护措施 企业/部门间权限隔离：支持企业间租户隔离、团队间空间隔离。增强身份鉴别：支持 多...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并...敏感数据溯源 通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。
MongoDB 6.0新特性概览
通过将多个操作符组合到聚合管道中，用户可以构建出足够复杂的数据处理管道以提取数据并进行分析。MongoDB 6.0在原有聚合功能的基础上，推出了如下新特性以及优化项：分片集群实例支持$lookup 和$graphLookup。改进$lookup 对JOINS的支持。...
逻辑数仓
查询逻辑视图时，逻辑视图从源端提取数据，在DMS计算引擎中进行加工（如：Join、聚合、过滤、计算等），然后展示数据，把复杂SQL保存为视图，再执行对视图的查询，可简化手动输入复杂SQL的流程，同时视图支持嵌套定义，能够达到SQL的复用...
RestAPI（HTTP形式）数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } 脚本模式配置说明如下：Restapi插件发出http(s)请求后，会获得请求响应body（body是一个json），dataPath用来配置从body中提取数据的json path路径。举2个示例如下：以接口返回...
应用场景
云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。
快速体验
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
AUTO模式核心特性及典型场景
具体操作步骤如下：执行以下语句，将特定的热点数据提取到一个单独的分区。ALTER TABLEGROUP#tgName EXTRACT to PARTITION#hotPartitionName BY HOT VALUE(#keyVal)执行以下语句，将这个单独的分区调度到指定的物理资源。ALTER TABLEGROUP#...
功能发布记录（2022年）
支持有权限的用户通过SQL语句进行业务数据提取。支持对SQL查询结果进行二次加工及可视化图表展现。2022.11.15 全部地域 所有DataWorks用户 SQL查询 DataWorks数据服务支持解析高级SQL中的请求参数和返回参数 在数据服务中，新增如下功能：...
备份和恢复数据
云虚拟主机支持备份和恢复站点数据（即数据库数据和网站数据）。在网站迁移场景下，或者更改主机机房或主机操作系统前，请您及时备份站点数据，避免您的数据库数据或网站数据丢失。如果您的数据库或网站数据出现异常时，您还可以通过提前...
主机间（不同账号）迁移网站
单击 网站备份 页签，找到最新的系统自动备份的网站数据，然后单击对应 操作 列的 提取。您可以自行创建网站备份任务，也可以直接使用系统自动备份，具体操作，请参见 备份和恢复数据。本文以使用系统自动备份为例。在弹出的对话框中，单击...
配置学区地图轮播列表交互
说明 由于 轮播列表 组件中的数据中包含了所有的地理信息，所以当前转换器需要提取的数据都可以直接从上游的 轮播列表 组件抛出的数据中获取。使用同样的方式配置 地图父组件定位缩放 的 串行数据处理 节点。当前处理方法的示例代码如下。...
读API
说明 从返回值中提取的数据必须是数组类型。以下是返回值和映射关系配置的示例：{"code":"SUCCESS","data":{"pageSize":20,"pageNum":1,"list":[/需要提取的数组 {"name":{"firstName":"Alice","lastName":"Brown"},"age":22,"email":...
我是普通用户
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
我是安全管理员
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
产品概述
可视化的数据资产：系统化构建业务数据资产大图，从数据视角还原业务系统、提取业务数据，快速感知业务关键环节及数据。数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。...
我是DBA
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
我是管理员
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
SQL查询概述
应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持下载数据，以满足数据分析和报表生成的需求。数据可视化：通过SQL查询可以对计算源中提取的业务数据以图表的形式展示，可有效的帮助...
SQL查询概述
应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持下载数据，以满足数据分析和报表生成的需求。数据可视化：通过SQL查询可以对计算源中提取的业务数据以图表的形式展示，可有效的帮助...
什么是Dataphin
可视化的数据资产：系统化构建业务数据资产大图，从数据视角还原业务系统、提取业务数据，快速感知业务关键环节及数据。数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
将MySQL数据迁移到Redis
这种从源端数据库提取数据，转换格式后传入异构数据库中的方式也适用于其它异构数据库之间的数据迁移。前提条件 已创建作为源端的RDS MySQL实例且其中已存在可供迁移的表数据。已创建作为目的端的云数据库Redis版实例。已创建Linux系统的...
数据脱敏
当数据出现泄露时，管理员可以在获取到泄露的数据后，通过提取水印，将数据中的备注信息提取出来，就可以定位到泄漏数据的是员工A。水印使用限制详情，请参见 水印使用限制。设置敏感数据要移动的目标位置，测试 写入权限，并单击 下一步。...
功能优势
通过Web App调用分析型数据库MySQL版的自定义函数生成向量特征，分析型数据库MySQL版后台通过调用特征提取服务从OSS读取非结构化数据，提取特征，并把特征向量保存在分析型数据库MySQL版中。所有这些操作只需要一条SQL便可轻松完成，SQL...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
- 产品推荐
- 这些文档可能帮助您