大数据安全治理的难点
同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理难点。数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有...
大数据AI公共数据集分析
教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...
Github实时数据同步与分析
操作难度 易 所需时间 55分钟 使用的阿里云产品 实时数仓Hologres 云原生大数据计算服务 MaxCompute 专有网络VPC 大数据开发治理平台 DataWorks DataV数据可视化 所需费用 0元 阿里云提供一定额度的资源包供您免费体验，开通后会使用计算...
采集数据
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标 将MySQL存储的用户基本信息及OSS存储的网站访问日志数据，通过数据集成服务同步至...
通过函数计算节点实现GitHub实时数据分析与结果发送
开通 大数据开发治理平台DataWorks 并创建工作空间（本实践以使用标准模式工作空间为例，简单模式的操作类似）。操作详情请参见 开通DataWorks服务、创建工作空间。开通 云原生大数据计算服务MaxCompute，并创建MaxCompute项目。操作详情请...
数据治理能力解读
以下为您系列讲解阿里云数据治理能力解读。数据治理的产品介绍 主要产品：DataWorks 课程时长：25分钟 DataWorks数据治理能力的最佳实践 主要产品：DataWorks、MaxCompute 课程时长：19分钟
数据开发功能索引
数据治理：数据地图、数据质量、安全中心、数据保护伞、数据治理中心。数据分析：数据分析。数据服务：数据服务。机器学习：人工智能平台PAI。更多：发布中心 审批中心、DataWorks（首页）、迁移助手、全局成员管理。返回DataWorks控制台。...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据脱敏能力概述
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。...
数据质量概述
功能介绍 数据质量支持对常见大数据存储（MaxCompute、E-MapReduce Hive、Hologres等）进行质量校验。从完整性、准确性、有效性、一致性、唯一性和及时性等多个维度，配置质量监控规则。并可以将质量监控规则与调度节点进行关联，当任务...
敏感数据访问及导出情况
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据集成审批策略
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据治理中心，在下拉框中选择对应工作空间后单击 进入数据治理中心。单击左上角的 图标，选择 全部产品>数据治理>审批中心，进入审批中心页面。进入审批中心页面后，...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
数据服务审批策略
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据治理中心，在下拉框中选择对应工作空间后单击 进入数据治理中心。单击左上角的 图标，选择 全部产品>数据治理>审批中心，进入审批中心页面。进入审批中心页面后，...
敏感数据概况
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。单击左侧导航栏的 数据发现，进入数据发现页面。数据发现页面从工作空间、分级等不同的维度，为您提供可视化的数据资产展示。您可以在该页面查看...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
全景视角
阿里云DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角，高效的进行数据治理工作。背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角...
开发管控：管理者
开放平台扩展程序 扩展程序概述 测试应用扩展程序 流程管控展示 数据治理检查项 数据治理中心概述 配置治理项 数据建模：数据建模系统管理 说明 标准模式工作空间的发布操作默认为同空间发布，若您存在跨空间、跨云发布场景，则可选择使用...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
DataHub通过数据集成批量导入数据
本文以Stream同步数据至DataHub的脚本模式为例，为您介绍如何通过数据集成导入离线DataHub数据。前提条件 准备阿里云账号，并创建账号的访问密钥。详情请参见 开通DataWorks服务。开通MaxCompute，自动产生一个默认的MaxCompute数据源，并...
查看数据风险（新版）
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
进入数据质量概览（新版）
单击左上角的 图标，选择 全部产品>数据治理>数据质量，默认进入 概览 页面。使用说明 概览页面为您统计当前工作空间的资产质量情况。您可以在概览页面右上角，根据您的需求可以选择统计 今日、昨日、前日 或指定时间内的资产质量情况。...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
创建数据脱敏场景
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。...
数据使用诊断
进入数据使用诊断 登录 DataWorks控制台，单击左侧导航栏的 数据治理>安全中心，在右侧页面中单击 进入安全中心。单击顶部菜单栏的 数据使用安全，进入 数据使用诊断 页面。查看诊断结果 数据使用诊断 根据诊断相关安全问题的最佳实践，为...
Amazon Redshift数据源
Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍Amazon Redshift数据同步能力支持情况。支持的Amazon Redshift版本 Amazon Redshift使用的驱动...
我的数据
进入我的数据 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。在左侧菜单栏，单击 我的数据，默认进入 我的数据>我拥有的数据 页面。查看我的数据 您可以查看当前账号拥有...
数据质量入门
单击左上角的 图标，选择 全部产品>数据治理>数据质量。操作流程 步骤一：配置分区表达式 通过分区表达式匹配数据质量规则需校验的目标表的分区。步骤二：创建质量规则 根据业务需求，创建校验表数据的质量规则。步骤三：试跑质量规则 运行...
数据治理能力解读
以下为您系列讲解阿里云数据治理能力解读。课程视频列表 课程简介 课程内容：数据治理的产品介绍。主要产品：DataWorks 课程时长：25分钟 课程内容：DataWorks数据治理能力的最佳实践。主要产品：DataWorks、MaxCompute 课程时长：19分钟
查看数据风险（旧版）
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。...
创建数据脱敏规则
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。...
数据保护伞入门
单击左上角的 图标，选择 全部产品>数据治理>数据保护伞。单击 立即体验，即可进入数据保护伞首页。您可根据下文操作流程进行相关功能配置。操作流程 步骤一：配置数据分类分级 用于对您当前的数据按照数据价值、内容敏感程度、影响和分发...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
数据保护伞概述
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。
- 产品推荐
- 这些文档可能帮助您