系统管理
本文为您介绍如何在系统管理中配置SQL查询、数据上传任务所使用的资源组。使用限制 仅支持阿里云主账号访问系统管理页面。系统管理中的配置仅在本租户的当前地域生效，并且您需确保SQL查询、数据上传任务使用的数据源和资源组网络连通。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
生态集成
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
数据查询
Lindorm宽表引擎在集群管理系统中提供了SQL查询入口，您可以使用SQL语法来查询Lindorm宽表数据。本节介绍通过集群管理系统查询宽表数据。前提条件 已登录目标实例的集群管理系统，具体操作请参见 登录集群管理系统。使用限制 为确保数据...
数据脱敏能力概述
DataWorks为您提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等一级脱敏场景，您可直接使用。若该类场景指定生效的数据范围及用户范围无法满足您更细化的脱敏需求，则...
表管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面，您可单击 及 ...
PostgreSQL节点
背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），具备强大的数据模型、高度可扩展性和稳定性，拥有丰富的核心功能。详情请参见 PostgreSQL。前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程...
文档修订记录
数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种一级脱敏场景，若该类场景生效的数据范围及用户范围无法满足您更细化的脱敏需求，则也可基于一级场景自定义二级脱敏场景使用。创建数据脱敏场景 2023.11.20 新增...
什么是数据资源平台
数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据开发、数据标签体系构建，基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据...
大数据安全治理的难点
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
产品简介
服务内容 服务大类 服务类型 服务内容 大数据专家咨询服务 大数据技术架构方案咨询 为客户提供构建和优化大数据体系的技术架构方案咨询服务，覆盖离线/实时数仓体系建设管理、数仓建模管理，数据开发管理，数据安全管理、数据质量管理、...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数计算...
创建Teradata数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建Teradata数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
数据地图：统一管理，跟踪血缘
DataWorks的数据地图功能可以帮助您实现对数据的统一管理和血缘的跟踪。数据地图 以数据搜索为基础，提供表使用说明、数据类目、数据血缘、字段血缘等工具，帮助数据表的使用者和拥有者更好地管理数据、协作开发。
受众与核心能力
数据地图（公共云）/数据管理（专有云）：提供强大的数据搜索、数据类目、数据血缘等能力。数据资产管理（仅专有云）：统一管理整个平台的数据表、API等各类数据资产。数据安全：数据脱敏、权限控制等能力。应用开发（仅公共云）：基于Web...
DataWorks新版数据源公告
已绑定的计算引擎：已绑定的计算引擎迁移至 数据开发>数据源 管理。编辑计算引擎：不再支持直接编辑计算引擎，如需编辑可直接通过编辑数据源来实现。解绑计算引擎：空间管理员可直接解绑计算引擎，不会导致引用的数据源被删除。引擎合并入...
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
DataWorks On EMR使用说明
数据建模 数据开发 数据开发（DataStudio）是一站式大数据开发平台，支持在线开发EMR数据处理任务。它集成了强大的任务调度能力，能够支持千万级的任务混合编排和调度。此外，还提供了一套任务发布的管控流程，保障任务产出的稳定性。节点...
什么是DataWorks
中国国际大数据产业博览会十佳大数据案例 中国信通院：数据集成工具、数据管理工具、数据开发平台、数据脱敏工具、数据分类分级等评测 学习路径 您可以通过DataWorks文档首页的 学习路径，快速了解DataWorks的相关概念、基础操作及进阶操作...
功能简介
数据开发 提供一站式计算节点开发能力，一体化管理数据加工流程的开发、部署、调试等环节。数据开发支持复用数据加工工作流编排、加工逻辑，大幅提升数据开发效率。统一服务 提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
云产品集成
在实时计算 Flink 版中使用 OceanBase 连接器的详细操作，请参见：什么是阿里云实时计算Flink版 在实时计算 Flink 版中使用 OceanBase 连接器 数据库管理 DMS 数据管理 DMS（Data Management）是一款支撑数据全生命周期的一站式数据管理...
客户案例
相较之前客户基于python开源的airflow任务管理系统来说，DataWorks拥有以下优势：任务管理一目了然，任务出错定位以及即时跳转到相关任务代码修复。数据源一次性管理，不需要重复劳动，可被多种数据服务需求使用游戏业务拥有上百个数据源。...
基本概念
DMS 数据管理（Data Management Service，简称DMS）是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。更多信息，请参见 什么是数据管理DMS。DTS 数据传输服务...
消息通知管理
数据管理DMS 默认全面开启多种工单类型、任务流的不同状态消息通知功能，支持自定义接收对象，可实现消息通知的按需、有效触达。本文档将向您介绍如何管理消息通知。前提条件 您的用户角色为管理员或DBA，关于用户角色信息，请参见 系统...
什么是MaxCompute
数据生态支持 MaxCompute与阿里云DataWorks深度结合，可通过DataWorks实现一站式数据开发分析治理，同时也支持其他多种数据开发分析场景：数据湖 数据集成 数据治理 三方引擎的数据开发 数据可视化分析 TopConsole（管理控制台）提供...
概览
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
数仓规划概述
物理空间：基于开发协作管理需求划分物理项目，包括项目管理、数据源管理等模块。基础研发版和智能研发版支持的功能不同：基础研发版：规划 包括 项目 和 源 两大模块。模块之间存在依赖关系，项目的计算存储资源配置基于 计算源，项目空间...
数据源管理概述
您可以通过自定义标签方式将数据源进行按需归类，有效管理数据源。说明 同步任务不支持生产开发双环境，同步任务中的数据源读写均为生产数据源。数据源管理入口 在Dataphin首页，单击顶部菜单栏 管理中心。在 管理中心 页面，单击 数据源...
规划工作空间
数据接入层（STG）：按应用系统划分，例如“stg_营销系统”、“stg_生产管理系统”等。任务节点：只有数据集成任务。数据表：只有原始数据，生命周期短。空间成员：各应用系统的DBA。资源倾斜：数据集成资源组、存储空间。数据清洗层（ODS...
数据源管理概述
生产与开发数据源：Dataphin添加数据源时支持添加生产数据源和开发数据源。Basic项目及Dev-Prod项目的Prod环境，读写生产数据源；Dev-Prod项目的Dev环境，读写开发数据源。数据源标签：对于同类型或同业务的数据源。您可以通过自定义标签...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
- 产品推荐
- 这些文档可能帮助您