什么是数据资源平台
数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据开发、数据标签体系构建，基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据...
常见问题
MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的AccessKey，会对之前AccessKey创建的周期性...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
简介
遥感大数据管理与智能服务平台 场景：遥感影像数据入库、查询、分析和遥感AI智能服务。业务痛点：遥感影像数据体量大且增量快，存储扩展不灵活，成本高昂，管理复杂。传统静态切片方式管理显示速度快，但无法支撑分析场景和AI场景。多源...
风险识别规则
您可以直接使用DataWorks官方提供的扩展程序来对高危行为进行管控，也可以基于DataWorks开放平台自行开发、部署能够应对更加复杂场景的扩展程序作为风险识别规则，从而将自身企业内部风控平台能力延伸至云上DataWorks大数据平台。...
独享数据服务资源组
为保证用户创建并封装在数据服务中的API在被外部应用调用时，能达到高QPS以及满足可用性保障，企业需要使用独享数据服务资源以确保调用的高效和可靠。独享数据服务资源给用户提供了专属的计算资源和环境隔离，提升企业高并发接口处理效率，...
E-MapReduce支持倚天云服务器
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
Spark服务异常排查及处理
history目录下有大量的数据 在EMR控制台Spark服务配置页面的 spark-defaults.conf 页签，修改 spark.history.fs.cleaner.enabled 的参数值为true，然后重启History Server服务。您也可以手动清理HDFS服务/spark-history 目录下最老的一部分...
开通DataWorks服务
开通DataWorks服务后，在使用DataWorks的各项服务时，不同产品服务的功能模块（例如，任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API调用）会根据使用量和占用的资源量进行按量计费。详情请参见 ...
独享数据服务资源组计费说明：包年包月
DataWorks独享数据服务资源组仅支持 包年包月 的购买方式，当您需要购买独享数据服务资源组时，根据地域的不同，资源组的规格和计费标准可能会存在差异。说明 您可以使用 DataWorks独享资源组计算器 预估费用。性能指标 资源组规格 最大每...
开启日志投递
使用限制 本文操作仅适用于新版数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和数据湖（Hadoop）场景的集群。支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象...数据价值最大化，企业利润最大化 在最大程度上用好企业各类数据，使企业数据价值最大化，为企业提供更高效的数据服务。
附录：DataWorks访问其他引擎产品的服务关联角色
附录：数据地图服务关联角色 下文为您重点介绍MaxCompute引擎、EMR（新版数据湖）相关的角色详情。角色1：AliyunServiceRoleForDataworksEngine 角色名称：AliyunServiceRoleForDataworksEngine 角色用途：用于授权DataWorks访问MaxCompute...
迁移Function Studio代码至云效服务平台
本文为您介绍如何将Function Studio中的代码迁移至云效服务平台。背景信息 Function Studio用于进行MaxCompute函数的开发，此外，您也可通过以下方案开发MaxCompute函数。方案描述 补充说明 相关文档 方案一：通过Java或Python代码，并依托...
购买及登录数据资源平台
使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件 已创建阿里云账号，具体操作，请参见 创建阿里云账号。背景信息 数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台 在数据...
同步EMR Kafka数据至OSS-HDFS
背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好的满足大数据和AI领域丰富多样的数据湖计算场景，详细信息请参见 OSS-HDFS服务概述。...
ListDataServiceFolders
调用ListDataServiceFolders查询数据服务文件夹列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
ListDataServiceGroups
调用ListDataServiceGroups查询数据服务业务流程列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
产品服务等级协议
2.服务可用性 2.1 服务可用性计算公式 服务可用性以单个实例为维度，按照如下方式计算：服务可用性=（服务周期总分钟数-服务不可用分钟数）/服务周期总分钟数╳100%2.2 服务可用性承诺 数据资源平台服务可用性不低于99.95%，如数据资源平台...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
附录：DataWorks服务关联角色
您需要先授权DataWorks访问您的EventBridge资源才可基于EventBridge实现消息的订阅与消费，授权成功后会自动在RAM控制台增加一个服务关联角色AliyunServiceRoleForDataWorksOpenPlatform，此角色用于DataWorks开放平台的服务关联角色，...
MaxCompute湖仓一体概述
MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。本文介绍如何通过MaxCompute和异构数据...
使用MirrorMaker 2（Dedicated）跨集群同步数据
本文通过示例为您介绍如何通过EMR的集群脚本功能，快速部署使用MirrorMaker 2.0（MM2）服务同步数据。背景信息 本文的业务场景以EMR DataFlow集群作为目的集群，并且在目的集群中以Dedicated MirrorMaker集群的方式部署MM2，即EMR DataFlow...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
快速入门
本文介绍大数据专家服务的购买方式。价格 版本定价说明：点击查看价格。操作步骤 第一步：进入阿里云官网，打开 大数据专家服务 产品详情。第二步：点击大数据专家服务产品详情页中的“咨询购买”接入钉群与专家服务同学沟通场景需求。第三...
数据服务集群
DataServing是阿里云E-MapReduce提供的基于Apache HBase的数据服务集群类型。本文为您介绍数据服务集群支持的特性，适用场景以及技术架构。特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。...
ListDataServiceApplications
调用ListDataServiceApplications获取数据服务应用的基础信息列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 ...
服务关联角色
本文介绍Cloudera企业数据云平台服务关联角色AliyunServiceRoleForCDP以及如何删除该角色。背景信息 Cloudera企业数据云平台服务关联角色AliyunServiceRoleForCDP是Cloudera企业数据云平台在某些情况下，为了完成自身的某个功能，需要获取...
准备环境
为保证您可以顺利完成本次实验，请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号，详情请参见 注册阿里云账号。实名认证，详情请参见 个人实名认证 背景信息 本次...
RAM角色授权
本章节将为您介绍RAM角色授权的主要流程。如果您第一次进入CDP 管控台，首先进行RAM角色授权：说明 使用CDP企业数据云产品之前需要主账号...Cloudera企业数据云平台服务关联角色AliyunServiceRoleForCDP以及删除该角色请参见 服务关联角色。
服务编排功能介绍
数据服务的服务编排为您提供拖拽式、可视化的工作流编排能力。您可以按照业务逻辑，以串行、并行和分支等结构编排多个API及函数服务为工作流。前提条件 您需要购买DataWorks企业版及以上版本，才可以使用服务编排功能。详情请参见 ...
续费
在 续费 页面，请您仔细核对购买信息并阅读 阿里云产品服务协议（通用），确认无误后，勾选 数据资源平台服务协议。重要 系统仅支持按照已购买的配置进行续费。单击 立即购买。在支付页面，核对订单无误后，单击 支付，支付成功后即可完成...
监控
查看Zookeeper服务和ClickHouse服务的监控数据。在Dashboard中选择 ZOOKEEPER 服务。在Dashboard中选择 CLICKHOUSE 服务。ClickHouse的监控指标分为3组，分别来自ClickHouse的三个系统表metrics、events和asynchronous_metrics。查看节点...
数据资源平台服务关联角色
本文为您介绍数据资源平台服务关联角色（AliyunServiceRoleForDataQ）的应用场景以及如何删除服务关联角色。背景信息 数据资源平台服务关联角色（AliyunServiceRoleForDataQ）是在某些情况下，为了完成数据资源平台自身的某个功能，需要...
Hive服务内存参数调整
注意事项 如果集群创建时使用数据湖（DLF）统一元数据，则集群没有HiveMetaStore服务。关于不同元数据的更多信息，请参见 Hive元数据说明。调整Hive服务内存步骤 在集群Hive组件页面，单击 配置，输入配置项名称进行修改。调整...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
数据服务权限列表
数据服务总览、个人工作台、运维管理和平台管理模块中四种角色的具体权限说明：数据服务总览 个人工作台 运维管理 平台管理 数据服务总览 权限点 服务项目管理员 开发用户 业务应用用户 运维用户 查看API服务列表 Y Y Y Y 查看API文档 Y Y ...
产品计费
本文介绍大数据专家服务计费方式与价格。计费方式 计费项：按服务类型进行计费。计费方式：预付费。有效期：365 天（自然日）。说明 请在服务购买后的365个自然日内使用您购买的服务，服务过期作废。所有服务均不支持自动退款，若服务未...
Hive服务异常排查及处理
本文介绍Hive服务异常的排查方法和解决方案。异常排查 如果客户端遇到异常或性能等问题，您可以按照如下步骤进行排查：排查异常时间段机器CPU、内存、网络以及磁盘是否有异常。排查组件是否正常：检查访问集群的Hive组件中 HiveMetaStore ...
ListDataServiceApiTest
列出数据服务API测试记录，只能查询最近一个月数据 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
- 产品推荐
- 这些文档可能帮助您