通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
亿海蓝-航运大数据的可视化案例
原始数据使用DLA Ganos进行高效预处理，降低数据提取和结果数据再落地时间。数据抽取结果存储到Ganos on Lindorm中，Lindorm的低延迟、高性能、高吞吐查询能力保障业务能流畅显示。整体系统架构方案如下图所示：航运数据可视化分析系统架构...
应用场景
云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。
区域热力层
数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据，区域adcode可以查阅 省市区adcode与经纬度映射表，提取方法如下。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以...
区域热力层（v1.x版本）
数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以直接使用。地市级：以提取浙江省范围内所有地级市边界数据为例，...
AUTO模式核心特性及典型场景
具体操作步骤如下：执行以下语句，将特定的热点数据提取到一个单独的分区。ALTER TABLEGROUP#tgName EXTRACT to PARTITION#hotPartitionName BY HOT VALUE(#keyVal)执行以下语句，将这个单独的分区调度到指定的物理资源。ALTER TABLEGROUP#...
快速体验
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
区域热力层（v2.x版本）
数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据，区域adcode可以查阅 省市区adcode与经纬度映射表，提取方法如下。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以...
区域热力层（v4.x版本）
数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据，区域adcode可以查阅 省市区adcode与经纬度映射表，提取方法如下。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以...
区域热力层（v3.x版本）
数据提取。使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，最低可以提取区县级边界数据，区域adcode可以查阅 省市区adcode与经纬度映射表，提取方法如下。省级：区域热力层默认显示为全国范围内，各个省和直辖市区域热力层数据，可以...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
功能发布记录（2022年）
支持有权限的用户通过SQL语句进行业务数据提取。支持对SQL查询结果进行二次加工及可视化图表展现。2022.11.15 全部地域 所有DataWorks用户 SQL查询 DataWorks数据服务支持解析高级SQL中的请求参数和返回参数 在数据服务中，新增如下功能：...
Readable Protobuf
提取的数据内容如下：+-+|json_extract(PROTO_TO_JSON(c2),'$.people[0].name')|+-+|"VisualProto"|+-+提取 c2 列的数据来创建索引，示例如下：CREATE INDEX i_email ON t1((cast(JSON_UNQUOTE(json_extract(PROTO_TO_JSON(c2),'$.people[0...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
DataWorks产品安全能力介绍
泄露数据溯源：支持提取数据泄露文件中数据的水印信息，帮助管理员定位泄露数据的责任人。说明 仅DataWorks企业版支持对泄露数据进行溯源。通用防护措施 企业/部门间权限隔离：支持企业间租户隔离、团队间空间隔离。增强身份鉴别：支持 多...
MongoDB 6.0新特性概览
通过将多个操作符组合到聚合管道中，用户可以构建出足够复杂的数据处理管道以提取数据并进行分析。MongoDB 6.0在原有聚合功能的基础上，推出了如下新特性以及优化项：分片集群实例支持$lookup 和$graphLookup。改进$lookup 对JOINS的支持。...
概述
数据解密 在数据解密过程中，高性能版Spark全密态计算引擎会从应用配置中提取用户主密钥（MEK），再从文件的元数据中提取密钥加密密钥（KEK）以及数据密钥（DEK）。密钥加密密钥（KEK）会使用户主密钥（MEK）进行解密，若用户主密钥（MEK）...
数据保护伞概述
敏感数据概况 敏感数据访问及导出情况 查看敏感数据血缘（公测）手动修正数据 数据水印溯源 若存在数据被泄露情况，可通过提取数据泄露文件中水印信息，帮助您定位到可能会泄露目标数据的责任人。敏感数据溯源 使用限制 版本限制 仅支持...
基本概念
Oracle CDC：实时数据同步模式，对源表进行INSERT、UPDATE或DELETE等操作的同时可以提取数据，变化的数据被保存在数据库的变化表中，通过订阅变化数据的方式实现数据的秒级同步。MySQL Binlog：实时数据同步模式，通过同步并解析记录所有...
逻辑数仓
查询逻辑视图时，逻辑视图从源端提取数据，在DMS计算引擎中进行加工（如：Join、聚合、过滤、计算等），然后展示数据，把复杂SQL保存为视图，再执行对视图的查询，可简化手动输入复杂SQL的流程，同时视图支持嵌套定义，能够达到SQL的复用...
RestAPI（HTTP形式）数据源
RestAPI数据源为您提供读取和写入RestAPI双向通道的功能，本文为您介绍DataWorks的RestAPI数据同步的能力支持情况。使用限制 目前该数据源仅支持 独享数据集成资源组。目前不支持设置超时参数，当前DataWorks内置的请求超时时间是60s,如果...
PostgreSQL数据源
订阅者从他们订阅的发布中提取数据。表的逻辑复制通常从对发布者数据库上的数据进行快照并将其复制到订阅者开始。完成后，发布者上的更改会实时发送给订阅者。创建账号。操作详情请参见 创建账号和数据库。配置权限。检查账号是否有 ...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
什么是云原生数据湖分析
数据源 Serverless Presto Serverless Spark OSS 支持 支持 RDS 支持 支持 PolarDB 支持 支持 Lindorm 待支持 支持 Hbase 待支持 支持 MongoDB 支持 待支持 Tablestore 支持 支持 AnalyticDB MySQL 2.0 支持 支持 AnalyticDB MySQL 3.0 ...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
将MySQL数据迁移到Redis
这种从源端数据库提取数据，转换格式后传入异构数据库中的方式也适用于其它异构数据库之间的数据迁移。前提条件 已创建作为源端的RDS MySQL实例且其中已存在可供迁移的表数据。已创建作为目的端的云数据库Redis版实例。已创建Linux系统的...
功能优势
通过Web App调用分析型数据库MySQL版的自定义函数生成向量特征，分析型数据库MySQL版后台通过调用特征提取服务从OSS读取非结构化数据，提取特征，并把特征向量保存在分析型数据库MySQL版中。所有这些操作只需要一条SQL便可轻松完成，SQL...
SQL查询概述
应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持下载数据，以满足数据分析和报表生成的需求。数据可视化：通过SQL查询可以对计算源中提取的业务数据以图表的形式展示，可有效的帮助...
SQL查询概述
应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持下载数据，以满足数据分析和报表生成的需求。数据可视化：通过SQL查询可以对计算源中提取的业务数据以图表的形式展示，可有效的帮助...
数据脱敏
当数据出现泄露时，管理员可以在获取到泄露的数据后，通过提取水印，将数据中的备注信息提取出来，就可以定位到泄漏数据的是员工A。水印使用限制详情，请参见 水印使用限制。设置敏感数据要移动的目标位置，测试 写入权限，并单击 下一步。...
我是普通用户
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
无感数据集成（Zero-ETL）
为了解决这些问题，阿里云瑶池数据库提供了无感集成（Zero-ETL）功能，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统（OLTP）的数据自动进行提取、转换清洗和加载到数据仓库（OLAP），从而一站式完成数据...
备份和恢复数据
云虚拟主机支持备份和恢复站点数据（即数据库数据和网站数据）。在网站迁移场景下，或者更改主机机房或主机操作系统前，请您及时备份站点数据，避免您的数据库数据或网站数据丢失。如果您的数据库或网站数据出现异常时，您还可以通过提前...
我是安全管理员
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
配置学区地图轮播列表交互
说明 由于 轮播列表 组件中的数据中包含了所有的地理信息，所以当前转换器需要提取的数据都可以直接从上游的 轮播列表 组件抛出的数据中获取。使用同样的方式配置 地图父组件定位缩放 的 串行数据处理 节点。当前处理方法的示例代码如下。...
无感集成（Zero-ETL）
为了解决这些问题，阿里云瑶池数据库提供了无感集成（Zero-ETL）功能，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统（OLTP）的数据自动进行提取、转换清洗和加载到数据仓库（OLAP），从而一站式完成数据...
我是DBA
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
我是管理员
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
- 产品推荐
- 这些文档可能帮助您