大数据控制-大数据控制文档介绍内容-阿里云

使用ARMS应用监控数据指标绘制自定义的Grafana大盘

步骤一：集成应用监控数据源登录 ARMS控制台。在 Grafana服务>工作区管理页面单击工作区ID。在工作区信息页面的云服务集成区域单击 ARMS应用监控服务，然后在对应地域的实例右侧单击集成。在弹出的对话框中单击确认。同步完成后，...

为什么控制台上的消费位点要比数据范围最大值还要大

因为订阅通道的数据范围更新频率为1分钟，而消费位点的更新频率为10秒。所以如果实时消费的话，消费位点的值可能比订阅通道数据范围的最大值要大。

MaxCompute数据访问权限控制

DataWorks的数据访问控制，为您提供了访问MaxCompute引擎数据时的权限管控能力，包括权限申请、权限审批、权限审计，还支持您查看权限申请记录、权限审批记录。本文为您介绍MaxCompute数据访问权限管控。前提条件已了解 MaxCompute数据...

权限说明

数据湖构建（DLF）产品的权限体系主要分为RAM权限以及DLF数据权限控制两大类，如果您要访问DLF的页面或数据，一般都需要通过这两层权限校验，才可以正确的访问到数据资源。RAM 权限：主要控制DLF所有OpenAPI的访问权限，决定RAM用户是否...

操作权限控制

权限控制：管理者可以使用EMR集群内的Ranger组件对每个用户进行权限管控，最终实现不同阿里云主账号、任务责任人或RAM用户在DataWorks上运行EMR任务时，拥有对应不同的数据权限。使用其他引擎时的权限问题当前工作空间使用的其他引擎时，...

MaxCompute数据权限控制详情

关于数据权限申请详情请参见 MaxCompute数据访问权限控制。简单模式工作空间下，RAM用户（子账号）默认拥有项目所有权限，无法做到数据权限管控。预设角色权限基本情况 DataWorks空间级预设角色默认可以访问开发环境引擎项目权限，但无法...

计算成本控制

由于MaxCompute的查询响应是分钟级，不适合直接用于前端查询，计算出的结果数据同步到外部存储中保存，对于大部分用户来说，关系型数据库是最优先的选择。轻度计算推荐使用MaxCompute，重度计算（即直接出最终结果。前端展示时，不做任何...

Label权限控制

LabelSecurity默认权限控制策略在对表或列数据、用户或角色设置标签之后，基于标签的默认权限控制策略如下：No-ReadUp：不允许用户访问敏感等级大于用户访问许可等级的数据。如果实际业务涉及此场景，需要执行显式授权操作。更多显式授权...

Policy权限控制

MaxCompute的Policy权限控制方案提供了更加复杂和灵活的权限设置，适合需要细粒度控制的大型企业和复杂场景。相比ACL权限控制增加黑名单方式，即可以实现允许或禁止角色对指定对象执行指定操作，将角色绑定至用户后，用户权限即可生效。...

产品简介

大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...

DataWorks产品安全能力介绍

数据列级别多级审批：基于底层大数据引擎的访问控制列表与数据分级分类，DataWorks支持按项目与数据分级分类，定义数据列的权限申请及审批策略。说明仅DataWorks企业版支持您根据业务需要自定义审批流程。数据质量规则：支持管理员配置...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

ACL权限控制

如果表的列设置了敏感等级，可通过 Label权限控制功能，通过敏感等级标签对访问敏感数据的权限进行控制。privilegeproperties conditions 否从请求消息来源及访问方式等维度进行权限控制。格式为"<var_name><Operation>常量"and...

SQL概述

本文介绍了 PolarDB-X 支持的SQL语法类型。阿里云分布式数据库 PolarDB-X 是一款分布式关系数据库，高度兼容MySQL语法，但由于...数据控制语句DAL（Data Access Language）：相关运维指令。可以配合这些运维指令，协助DBA操作和优化数据库。

大数据安全治理的难点

存储众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库本场景推荐的架构如下。适用行业：全行业...

客户案例

价值体现从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...

数据标准

数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。

云产品集成

常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现前提条件已获取 OceanBase 数据库的基本连接信息，详细步骤请参见获取连接参数。大数据开发治理平台 ...

实验介绍

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

概述

高性能版引入Parquet模块化加密格式，用户可以使用自有密钥加解密数据，从而完全掌控数据控制权。关于密钥的详细信息，请参见密钥介绍。高性能版的加密密钥由应用程序管理，密钥在计算过程中由默认应用程序中的InMemoryKMS类保管，并在...

数据迁移

本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见基于MaxCompute的大数据BI分析。

数据集成

数据源支持情况数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...

系统配置

内容识别用于控制数据保护伞是否对数据库中的表数据进行抽样和扫描。若关闭内容识别，敏感数据识别中基于内容的识别规则将不生效，但基于字段名称、字段注释的识别规则依然生效。识别范围引擎类型：MaxCompute Hologres E-MapReduce 用于...

数据地图概述

此权限仅控制数据地图中表详情页面的数据预览功能。隐藏表表隐藏后，搜索表时将无法搜索到该表。支持对所有人隐藏或者仅对表所在工作空间下用户可见。详情请参见我的数据。单表隐藏您可以选择表状态为隐藏：所有人都不可以通过搜索来...

行级别权限控制

MaxCompute支持列级别的权限控制，但不支持行级别的权限控制，本文结合案例为您介绍如何实现行级别权限控制。业务场景假设Project A中的表table_order是所有商家的订单交易信息表。该表可以开放给商家查看，但要求每个商家只能查看自己...

查看与减少数据备份

查看备份大小备份大小=全量数据备份的大小+增量数据备份的大小登录 DBS控制台。单击左侧导航栏中的备份计划，然后在上方选择目标地域。单击目标备份计划名称，进入备份任务配置页面。在付费信息区域，查看全量备份数据量和增量备份...

RDS SQL Server空间不足问题

这种方式是控制数据空间增长的有效手段，但是对数据库对象结构及相关应用逻辑的设计有一定要求，需要应用设计和开发人员的参与配合。压缩数据 SQL Server 2016及以上版本实例，或2016以下的企业版实例，内置数据压缩功能，您可以在单个表、...

离线同步并发和限流之间的关系

此连接数即用来控制数据来源端支持的最大JDBC连接数，避免大量任务同时启动打满数据库连接池，影响数据库的稳定性。请根据数据库资源的实际情况合理配置，默认为15。如果您发现任务长时间处于Submit状态，一般是因为数据源最大连接数限制...

冷数据归档常见问题

归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...

折线图

标记描边折线图内数据点的标记的描边样式，包括标记描边线的线型、粗细值和线的颜色，可单击图标控制数据点标记描边样式的显隐。固定系列顺序可根据 colorField 字段的顺序来规定分类展示顺序。单击右侧的或图标，添加或删除一个系列...

区域图

标记描边区域图内数据点的标记的描边样式，包括标记描边线的线型、粗细值和线的颜色，可单击图标控制数据点标记描边样式的显隐。折线标签折线的标签样式，单击图标，控制折线标签配置项的显隐。标签字段：标签的内容需要和数据面板中...

折线图

标记描边折线图内数据点的标记的描边样式，包括标记描边线的线型、粗细值和线的颜色，可单击图标控制数据点标记描边样式的显隐。固定系列顺序此处可以设置 colorField 字段的顺序来规定分类展示顺序。单击右侧的或图标，添加或删除...

区域图

标记描边区域图内数据点的标记的描边样式，包括标记描边线的线型、粗细值和线的颜色，可单击图标控制数据点标记描边样式的显隐。折线标注折线的标注样式，单击图标，控制折线标注配置项的显隐。标注字段：标注的内容需要和数据面板中...

用户权限控制

本文汇总介绍用户权限控制的相关问题。为什么子账号进入DataWorks控制台后看不到具体项目？如何将子账号加入到具体工作空间下？如何授权子账号创建DataWorks工作空间的权限？主账号如何给子账号添加Aliyundataworksfullaccess权限？如何...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能，将云消息队列 Kafka 版集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...

升级数据库大版本

支持升级的数据库大版本云数据库 MongoDB 版控制台可以直接升级数据库大版本，但不同产品架构、不同版本的实例支持升级的版本不同，具体情况如下：产品架构规格类型实例的数据库大版本可升级到的数据库大版本单节点架构通用型云盘版...

大数据 控制

新品推荐

大数据控制