资产安全概述
场景2：开发环境数仓建设 敏感数据从生产环境写入开发环境过程中，您可以使用资产安全内置的敏感数据识别规则和脱敏规则，自动实现敏感数据的脱敏，确保敏感数据始终保留在高权限的生产环境，不会泄露到开发环境。场景3：脱敏白名单的灵活...
资产安全概述
场景2：开发环境数仓建设 敏感数据从生产环境写入开发环境过程中，您可以使用资产安全内置的敏感数据识别规则和脱敏规则，自动实现敏感数据的脱敏，确保敏感数据始终保留在高权限的生产环境，不会泄露到开发环境。场景3：脱敏白名单的灵活...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
创建Hologres数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint Hologres实例的...
常见问题
多云成本运营接入各家厂商需要的权限是什么？详情见 云账号接入。云厂商 权限要求 阿里云 多云成本运营服务关联角色AliyunServiceRoleForACMP，详见 多云成本运营服务关联角色 华为云 IAM ReadOnlyAccess Tenant Guest 腾讯云 ...
新建AnalyticDB for MySQL 3.0数据源
更多信息，请参见 云原生数据仓库AnalyticDB MySQL版-什么是云原生数据仓库AnalyticDB MySQL版。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源...
创建PolarDB-X数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
创建PolarDB数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
查询概述
通常情况下，SelectDB会自动优化查询规划和执行过程，达到开箱即用状态，直接体验到高性能的数据分析性能服务。对于部分场景有更高性能需求的用户，请参见 查询加速 章节相关内容。湖仓一体 SelectDB提供多源数据目录功能（Multi-Catalog或...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
创建业务流程
创建业务流程 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建业务流程。在 新建业务流程 对话框中，输入 业务名称 和 ...
数据分析概述
如果使用维表功能，运营人员只需要在数据分析创建一张维表，可视化地修改数据并保存，即可自动同步数据至MaxCompute生产表，提高工作效率。权限说明 2022年6月1日起，DataWorks仅支持拥有 数据分析师 角色权限的用户使用数据分析产品。如果...
数据科学计算概述
背景信息 Python作为目前机器学习、AI模型开发的主流编程语言，提供了如NumPy、SciPy、Scikit-Learn、Matplotlib等丰富的科学计算、可视化库，用于数据科学和数据分析。同时支持TensorFlow、PyTorch、XGBoost、LightGBM等丰富的训练框架。...
数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
数据开发：开发者
背景信息 DataWorks的数据开发（DataStudio）面向各引擎（MaxCompute、Hologres、EMR、CDH等）提供可视化开发界面，包括智能代码开发、数据清洗加工、规范化任务开发与发布等，保证数据开发的高效与稳定。更多数据开发模块的使用，详情请...
安全中心
数据管理和安全中心是什么关系？为什么在申请时，有时可以选择字段，有时不可以选择？提交申请后，需要谁进行审批？为什么提交了一个申请，在我的申请中却看到两个申请单？为什么有的字段只申请1个月权限，审批完成后查看变为永久？为什么...
概述
如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行数据开发，详情请参见 什么是EMR Workflow。如果您在2022年2月21日21点前使用过数据开发功能，需要继续在EMR上使用数据开发功能，建议您尽快迁移到EMR ...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
什么是多云成本运营
多云成本运营 是一款为上云用户提供的多云统一纳管与全成本分析管理的阿里云FinOps产品，帮助用户简单管云用云。本产品提供一键式多云接入能力，统一资源视图可视化，支持按统一组织、应用或管理单元进行多云管理，100%自动化分账并提供...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
概述
实时运营监控 通过DMS数据工厂把业务数据实时同步到ADB或RDS分析库，再基于分析库之上构建可视化，可实时观察运营状态，衔接各个环节流程，对比检测异常情况，处理关键环节问题。提供透视驱动与图表驱动两种图表配置模式，满足不同的应用...
管理内置数据集
您可以在创建集群时自动加载内置数据集，或通过控制台手动加载内置数据集。本文介绍如何加载和删除内置数据集。注意事项 仅 湖仓版（3.0）集群支持加载内置数据集。数据库普通账号没有ADB_SampleData_TPCH数据库的权限，无法加载、使用和...
逻辑数仓
数据管理DMS提供的逻辑数仓具有强大的数据源管理能力，可以实现将企业的异构数据源进行逻辑聚合，形成物理分散、逻辑统一的虚拟数仓，然后快速地提供数据分析和访问服务，满足业务人员、BI分析师、运营人员等各种角色的需求。背景信息 企业...
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
Serverless 实例概述
其核心优势体现在如下几个方面：以应用为中心，无需关注数据库基础架构 以应用为核心导向，绕过底层基础架构的管理和运营环节，包括部署和升级过程，使开发人员只需要聚焦于核心代码的开发。不仅能有效缩短开发周期，也能为企业减少基础...
Transaction Table2.0概述
增全量数据存储和处理一体化架构 上图所示即为MaxCompute高效支持上述综合业务场景的全新架构，支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，...
数据开发常见问题
本文为您介绍数据开发相关的常见问题。任务开发常见问题 引擎基于DataWorks操作的常见问题 表相关 如何可视化新建表？为什么EMR通过DataWorks可视化建表失败报错：call emr exception？如何对生产表添加字段？如何将本地数据上传到...
配置数据脱敏
数据脱敏可以对实时同步的单表数据进行脱敏，然后存储到指定的数据库位置。前提条件 配置数据脱敏节点前，您需要先配置好相应的输入节点，详情请参见 实时同步支持的数据源。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧...
建模空间
当您所需要管理多个DataWorks工作空间且需要复用一套数仓规划时，面对跨多个工作空间的复杂数据体系，可以通过设计空间来共享一套数据建模工具，针对整个数据体系进行统一的数仓规划、维度建模及指标定义等工作。本文为您介绍DataWorks建模...
数据可视化概览
背景信息 DMS为您提供了数据库数据管理的能力，同时通过SQL Console控制台为您提供以表格形式查询数据的方式，但对于需要通过分析数据去发现业务特性，比如分析趋势、增长对比等场景，单纯的表格无法满足需求，需要把数据可视化才可以支撑...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
- 产品推荐
- 这些文档可能帮助您