基于混合负载的查询优化
Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
查看调度资源大盘
数据统计范围 关于调度资源大盘的数据统计频率和数据统计范围说明如下：数据统计频率：每分钟统计1次。针对分配资源，取当前时间点的快照值；针对消耗资源，取过去1分钟内的峰值（即分钟内峰值）。每次页面刷新触发页面数据更新。数据统计...
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...
支持资源组的云服务
访问控制 资源ID basicaccelerator：基础性实例 资源ID bandwidthpackage：带宽包 资源ID 大数据开发治理平台DataWorks dide 是 是 project：工作空间 资源ID 统一转组API：MoveResources VMware服务 acvs 是 是 privatecloud：专属VMware...
资源监控
说明 调度资源大盘的资源监控数据来源于Prometheus，请确保您后台部署的Prometheus监控服务处于正常状态，否则监控数据可能有误或无法展示。操作步骤 使用元仓账号或系统管理员账号进入元仓租户。在Dataphin首页，单击顶部菜单栏 管理中心...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
ActionTrail日志清洗
DLA提供ActionTrail日志自动清洗解决方案，可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表，同时自动对数据进行分区和压缩，方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...
跨境SaaS:深圳市易仓科技有限公司
在数据库架构演进过程中，也遇到诸多痛点：痛点1:单实例海量表，运维管理困难，数据库稳定性挑战大 痛点2:多租户共享一个数据库实例，数据量大，资源抢占 痛点3:租户版本升降、合并、打散时，租户数据迁移效率低 痛点4:传统主从数据库架构...
任务运行诊断
该场景，可通过 运行诊断>任务执行>数据集成 页签，查看任务等待数据集成资源时，哪些任务正在占用该资源，以及单个任务占用的资源量。说明 一个数据集成任务将占用一个调度资源，若任务长时间未运行成功，可能会阻塞其他任务运行。如果...
其他问题
为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...
云计算资源类型
云计算资源是 数据资源平台 中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准设计中...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
云计算资源类型
云计算资源是 数据资源平台 中数据建模使用的基础，通过了解数据建模支持的云计算资源类型，并在系统设置模块添加数据建模需要使用的云计算资源类型对应资源，以备在物理化逻辑表和设置对应资源的质量规则时使用。本文介绍数据建模中支持...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
云计算资源类型
云计算资源是 数据资源平台 中通用资源使用的基础，通过了解通用资源支持的云计算资源类型，并在系统设置模块添加通用资源需要使用的云计算资源类型对应资源，以备在新建函数资源、自定义函数并物理化以及新建数据基础库并物理化时使用。...
问题汇总
补数据 补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？...为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
云计算资源类型
云计算资源是 数据资源平台 资产管理的基础，了解运营支持的云计算资源类型，以备在系统设置模块添加对应资源。本文介绍运营模块支持的云计算资源类型。表资产 支持的云计算资源类型：MaxCompute、DataHub、Hive、RDS MySQL、PostgreSQL、...
关闭资源中心
关闭影响 关闭资源中心后，将无法在资源中心查看资源数据。具体如下：对于单个阿里云账号，关闭资源中心后，将无法查看当前账号中的资源数据。对于资源目录的管理账号和资源中心的委派管理员账号，关闭资源中心会同时关闭跨账号资源搜索...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
功能简介
数据预览 支持不同云计算资源数据的快速预览，可为开发人员和数据应用人员提供全面直观的数据呈现。支持MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL多种云计算资源进行物理表数据预览，可快速对各类数据资源下的物理表的...
2023年
MaxCompute服务不可用赔付案例说明 2023-07-25 新增MaxCompute停止服务规格转换操作指引 新说明 阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务，您需要将这些版本的计算资源转换为...
数据查询
数据预览 支持不同云计算资源数据的快速预览，可为开发人员和数据应用人员提供全面直观的数据呈现。支持MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、Hologres多种云计算资源进行物理表数据预览，可快速对各类数据资源下的...
功能简介
数据预览 支持不同云计算资源数据的快速预览，可为开发人员和数据应用人员提供全面直观的数据呈现。支持MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、Hologres 多种云计算资源进行物理表数据预览，可快速对各类数据资源下的...
购买及登录数据资源平台
使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件 已创建阿里云账号，具体操作，请参见 创建阿里云账号。背景信息 数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台 在数据...
查询物理表数据
数据查询提供通过SQL查询预览数据资源，为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
新建工作组
工作组是 数据资源平台 进行数据研发的基本单元，用于数据隔离的命名空间，通常为一个用户组、一个项目或一个应用。在使用 数据资源平台 时，可以通过创建工作组来隔离数据，对数据进行分域管理，以达到各工作组之间空间隔离的效果。本文...
05物理化逻辑表
通过物理化的方式，将创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理，本文介绍如何物理化逻辑表。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作...
操作流程
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 数据资源平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息...
新建调度任务
已创建云计算资源作为数据源，具体操作，请参见 新建计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在顶部菜单栏，单击 图标，选择目标工作组，单击 任务中心。在左侧导航栏，选择 离线任务>调度任务。...
查看空间元信息
当数据源为空间类型时，您可以查看空间数据元信息，包括几何类型、坐标参考、空间范围、单位、要素...在左侧导航栏，单击 图标，选择 数据资源列表 或 已授权资源列表 下数据源的数据表。在数据表页面的 空间元信息 页签，查看空间数据信息。
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 暂无数据 资源（Resource）开源大数据平台 E-MapReduce（EMR）不支持在RAM权限策略语句的 Resource 中指定资源ARN。如果要允许对 开源大数据平台 E-MapReduce（EMR）的访问权限，请在策略...
我的主页
在 我的主页 页面，您可以了解目前空间构建平台的功能、现有的时空基底数据、查看数据资源详情、上传数据、查看账号权限和近期打开项目的快速入口。用户指南：展示空间构建平台目前的功能，包括 空间数据管理、空间数据加工 和 时空基底...
我的主页
在 我的主页 页面，您可以了解目前空间构建平台的功能、现有的时空基底数据、查看数据资源详情、上传数据、查看账号权限和近期打开项目的快速入口。用户指南：展示空间构建平台目前的功能，包括 空间数据管理、空间数据加工 和 时空基底...
预览物理表数据
数据查询提供不同数据资源的预览，可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在...
物理化逻辑表
通过物理化逻辑表，可以将您在 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。本文介绍如何物理化逻辑表。前提条件 已生成待物理化逻辑表的DDL语句，具体操作，请...
续费
可避免未及时续费，而导致资源、数据被清空。进入 阿里云用户中心。在左侧导航栏，单击 订单管理>续费管理。在 手动续费 页签，选择需开通自动续费的实例，单击该实例 操作 列下的 开通自动续费。在 开通自动续费 页面，选择自动续费周期后...
- 产品推荐
- 这些文档可能帮助您