什么是DataWorks
典型客户 国家电网大数据中心：通过DataWorks实现总部+27家省（市）公司PB级数据的统一管理，通过全链路数据中台的治理与监测运营体系，加快电网整体数字化转型升级。世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型...
支持的地域
概念 地域指数据中心所在的地理区域，通常按照数据中心所在的城市划分。例如，华东2（上海）地域表示数据中心所在的城市是中国-上海。如何选择地域 重要 您在创建或者购买阿里云资源时需要选择部署地域，资源创建或购买成功后不能更换地域...
大数据安全治理的难点
使用大数据系统的常见人员包括开发、运营、分析师，甚至销售及HR都会来查询自己所需的数据。如此多类型的用户，授权、管理难度加大，什么样的人员需要授予什么样的权限？如果他们离职、换部门了怎么办？这其中很有可能出现 权限蠕变、过度...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
实验介绍
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
支持的云服务
AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）是海量数据实时高并发在线分析（Realtime OLAP）云计算服务，与MaxCompute结合应用于大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘，产出高质量...
快速体验
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
什么是数据资源平台
数据探索：数据探索面向行业客户/业务人员，提供工具内容一体化的业务模型构建平台，实现低代码、可视化构建全场景专家模型，重塑大数据服务创新模式。平台通过将业务数据沉淀为智能数据或智能算子，以可视化拖拉拽和简单图形化条件设定...
查询和修改数据复制方式
本文介绍如何查询和修改RDS PostgreSQL实例的数据复制方式，提高云数据库性能或可用性。前提条件 实例为PostgreSQL高可用系列（云盘）。如需修改 数据复制方式 为 半同步，则需要实例内核版本为20220228及以上版本。如何升级内核小版本，请...
解决方案与客户案例
流量有效隔离 异地多活本质上是提供了一种自顶向下的流量隔离能力，业务具备在数据中心级别完全隔离的能力，各个数据中心承载的流量大小可灵活调配，在最小隔离数据中心内（例如承载1%流量），业务可灵活进行风险可控的技术演进，例如基础...
JindoData概述
JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、JindoFSx存储加速系统（原JindoFS Cache模式），JindoSDK大数据万能SDK和全面兼容的生态工具（JindoFuse、JindoDistCp）以及插件支持。JindoData...
解决方案与客户案例
流量有效隔离：异地多活本质上是提供了一种自顶向下的流量隔离能力，业务具备在数据中心级别完全隔离的能力，各个数据中心承载的流量大小可灵活调配，在最小隔离数据中心内（例如承载1%流量），业务可灵活进行风险可控的技术演进，例如基础...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
概述
DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您提供面向数据安全生命周期全过程的安全能力，同时在符合安全规范要求的前提下，提供各类安全诊断的最佳实践。其核心功能如下：数据权限管理 安全中心为您提供精细化的数据权限...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
RAM用户使用DSC授权
RAM用户访问或管理数据安全中心控制台前，需要完成授权操作。本文介绍如何授予RAM用户管理或访问数据安全中心控制台的权限。前提条件 已创建RAM用户。具体操作，请参见 创建RAM用户。为RAM用户授权 使用阿里云账号（主账号）或具有管理权限...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
构建数据仓库
方案优势：阿里巴巴大数据最佳实践，高性能、低成本、Serverless服务，免运维、全托管模式，让企业的大数据研发人员更聚焦在业务数据的开发、生产、治理。产品组合：MaxCompute+Flink+DataWorks。场景说明 用户数据来源丰富，包括来自云端...
流程简介
数据探索主要包括首页、数据中心、算子中心、模型中心、任务中心等功能。本文介绍了数据探索的业务操作基本流程。数据探索的业务流程如下图所示。数据探索的流程说明如下表所示。流程 说明 首页 提供新手引导及用户登录、模型情况的运行...
DataWorks模块使用说明
使用流程概览：参考文档：数据开发概述 子模块：运维中心 功能说明：运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出时间不可...
系统流程
通过系统流程图，便于直观的了解到数据资产中心展示的各资产信息以及资产来源等。本文介绍数据资产中心主要系统流程。流程图及说明 任务项 说明 概览 展示数据资产的全局及增量指标信息。更多信息，请参见 概览信息。资产目录 展示在运营...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
概述
说明 关于AUTO模式数据库与DRDS模式数据库的介绍，请参见 AUTO模式数据库与DRDS模式数据库。原理 在 PolarDB-X 中，如果创建表时通过 AUTO_INCREMENT 指定了自增列，为了保证自增列的全局唯一性，则自动为该表创建并关联一个Sequence对象，...
操作流程
公开资产 将编目后的数据资产公开到数据资产中心。以表资产为例，具体操作，请参见 表资产公开与隐藏。查看公开资产总览 通过查看资产分析，可以了解资产总览，掌握公开资产的指标看板、数据指标数趋势分析和运营分析的情况。具体操作，请...
操作流程
公开资产 将编目后的数据资产公开到数据资产中心。以表资产为例，具体操作，请参见 表资产公开与隐藏。查看公开资产总览 通过查看资产分析，可以了解资产总览，掌握公开资产的指标看板、数据指标数趋势分析和运营分析的情况。具体操作，请...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
数据分析：即时快速分析
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...
DataWorks On EMR使用说明
管理节点：批量操作 流程管控：流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出时间不可控、海量任务监控...
应用场景
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
DataWorks On CDP/CDH使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
CREATE DATABASE
DEFAULT_SINGLE（版本要求：PolarDB-X 5.4.17-16921956及以上）指定AUTO模式数据库是否使用单表自动打散至各个DN节点的分布策略，该选项仅对AUTO模式数据库有效，对DRDS模式数据库无效。参数取值如下：当DEFAULT_SINGLE='on' 时，AUTO模式...
创建数据库
本文介绍如何在 PolarDB-X 实例...模式 可选择 AUTO模式 或 DRDS模式，两种模式的详细介绍请参见 AUTO模式数据库与DRDS模式数据库。备注说明 备注该数据库的相关信息，便于后续数据库管理。该参数为非必填项，最多支持256个字符。单击 确定。
创建数据板块
创建Dev-Prod模式数据板块，请参见 创建Dev-Prod模式数据板块。Basic模式 生成独立的Basic数据板块，数据生产过程稳定且便捷。如果您关注数据研发效率，研发人员职能边界模糊，计算存储预算有限制，推荐 此模式。创建Basic模式数据板块，请...
周期任务补数据
补数据模式 当前，运维中心补数据功能支持对当前任务和对当前任务及下游任务进行补数据，详细说明如下：补当前任务：即当前任务，用于对当前任务进行补数据操作。适用于以下场景：对当前节点进行数据回刷，而无需更新下游节点数据。当前...
周期任务补数据
补数据模式 当前，运维中心补数据功能支持对当前任务和对当前任务及下游任务进行补数据，详细说明如下：补当前任务：即当前任务，用于对当前任务进行补数据操作。适用于以下场景：对当前节点进行数据回刷，而无需更新下游节点数据。当前...
创建数据板块
创建Dev-Prod模式数据板块，请参见 创建Dev-Prod模式数据板块。Basic模式 生成独立的Basic数据板块，数据生产过程稳定且便捷。如果您关注数据研发效率，研发人员职能边界模糊，计算存储预算有限制，推荐 此模式。创建Basic模式数据板块，请...
- 产品推荐
- 这些文档可能帮助您