配置离线管道调度
重要 修改条件调度设置，并提交并发布到生产环境后，将对发布时为 未运行 状态的实例实时生效，对已进入 等待运行时间 的实例不生效。条件调度中使用了跨节点参数判断类型时，须提供可能的参数取值进行预览。单击 确定。附录：条件规则说明...
节点组
节点组用于对依赖计算资源的算法节点进行组合，组合的算法节点在部署和运行时会被打包在一起进行调度。本文介绍节点组的配置参数说明。节点属性 节点属性 关键参数说明如下：配置项 说明 节点组名称 节点组的名称。节点组标识 节点组的唯一...
场景：注册跨账号的EMR集群
后续步骤 集群创建后，您可执行如下操作：设置集群身份映射：当EMR集群默认访问身份非Hadoop账号时，您需要配置集群身份映射，控制操作DataWorks的RAM用户在DataWorks仅可访问其有权限的资源，实现权限管控。基于该集群进行数据集成同步...
节点组
节点组用于对依赖计算资源的算法节点进行组合，组合的算法节点在部署和运行时会被打包在一起进行调度。本文介绍节点组的配置参数说明。节点属性 节点属性 关键参数说明如下：配置项 说明 节点组名称 节点组的名称。节点组标识 节点组的唯一...
ALTER SESSION
与设置 datestyle 运行时配置参数的效果相同。NLS_LANGUAGE(string)设置显示消息所用的语言。与设置 lc_messages 运行时配置参数的效果相同。NLS_LENGTH_SEMANTICS(string)有效值为 BYTE 和 CHAR。默认值为 BYTE。此参数仅为了语法兼容性而...
注册EMR集群至DataWorks
在DataWorks运行EMR任务时可选择多种EMR组件，不同组件运行任务时的最优配置存在差异，您在配置EMR集群时请参考 EMR集群配置建议，根据实际情况进行选择。支持的集群类型 DataWorks目前支持绑定以下类型集群，在 DataWorks操作前，请提前...
Runtime安全
使用第三方解决方案进行Seccomp和AppArmor配置的维护 当使用运行时默认提供的Seccomp配置文件无法满足业务需要时，您可以使用自定义的Seccomp配置文件。如果您对Linux安全不熟悉，那么创建和管理Seccomp和AppArmor配置文件将会很困难。如果...
测试环境
场景三：1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比 场景说明：使用自建Spark和DLA Spark分别访问自建Hadoop集群，运行Terasort 1 TB基准测试，对它们的耗时进行对比分析。DLA Spark+OSS配置如下：配置名称 ...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
设置Dataphin实例的计算引擎为Hadoop
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为Hadoop。...
触发策略
此外，定时触发还支持代码变化检测，仅在代码发生变化时进行触发，定时触发的最小间隔时间为10分钟。其它 上述的触发策略中，除了手工触发可以个性化设置全局变量和选择运行阶段外，其余方式会运行所有阶段，全局变量也将全部使用默认值。
工作流使用案例
节点执行超时 设置如果节点执行时长超过作业配置里的预期最大运行时长时，是否通知到用户告警组或钉钉告警组。执行工作流 您也可以指定工作流的业务时间，此时工作流作业中的时间相关变量将使用指定的业务时间进行计算，一般用于重跑某个...
实时计算任务运行与管理
说明 您可以根据任务的 开始运行、结束运行 以及 运行时长，按照时间的升序或降序对目标任务进行排序。3 在该区域，您可以对目标任务进行如下操作。启动：启动未运行的实时计算任务。终止：终止运行中的实时计算任务。下线：下线已提交发布...
HBase使用OSS-HDFS服务作为底层存储
具体步骤，请参见 创建Hadoop运行环境。已部署Apache HBase。具体步骤，请参见 Apache HBase。已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。操作步骤 连接ECS实例。具体操作，请参见 连接ECS实例。配置...
安装文件系统SDK
配置Hadoop 本节以Hadoop 2.7.2版本为例，介绍如何配置Hadoop。下载 Hadoop，建议版本不低于2.7.2。执行以下命令，解压Hadoop压缩包。tar-zxf hadoop-2.7.2.tar.gz 执行以下命令，设置Hadoop工作环境变量。export HADOOP_HOME=...
周期任务基本运维操作
任务监控报警 您可以在周期任务列表对任务配置监控规则：支持针对周期任务设置周期实例调度运行时的状态监控。详情请参见：创建并管理自定义规则。支持针对周期任务设置周期实例、补数据实例、测试实例运行时产出的表数据质量监控。详情请...
配置启动命令
在EDAS控制台使用镜像、JAR包或WAR包部署应用至K8s集群时，如果您精通Docker和JVM，并且希望在启动前进行特殊配置或不采用EDAS中预设的启动参数，您可设置容器启动和运行时需要的命令。背景信息 制作镜像时，已通过Dockerfile文件中的 ...
超时配置
升级版 SDK 将 Request 中的业务参数和这种运行时参数分开设置避免用户混淆，所以超时的设置新版 SDK 的超时机制为 RuntimeOption->Client 设置->默认，优先级依次降低；默认 未设置超时时间，如果您的服务在网络环境不稳定的情况，请主动...
自助问题排查
ECS访问其他VPC的ECS不通 跨VPC互访需要通过VPC对等连接或者云企业网并配置路由进行打通，同时需要确保您设置的安全组和网络ACL规则对ECS和交换机放行。更多信息，请参见：创建和管理VPC对等连接 使用云企业网实现跨地域跨账号VPC互通...
网络开通流程
当您通过MaxCompute访问位于外网或VPC网络中的目标服务时，默认情况下，MaxCompute与目标服务之间的网络不可达。您需要开通网络连接以便访问外网或VPC中的目标服务（例如指定IP或域名、RDS、HBase集群、Hadoop集群等）。本文为您介绍...
ProxyUser
具体操作，请参见 创建Hadoop运行环境。已开通OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。已配置4.5.0及以上版本JindoSDK。具体操作，请参见 非EMR集群接入OSS-HDFS服务快速入门。操作步骤 配置环境变量。连接ECS实例。...
使用Druid
E-MapReduce Druid本身资源不受YARN管控，在多服务运行时容易发生资源抢夺。Hadoop作为基础设施，其规模通常较大，而E-MapReduce Druid集群较小，部署在同一集群上，由于规模不一致可能造成资源浪费，所以单独部署会更加灵活。创建Druid...
Paimon数据源
本文介绍 云数据库 SelectDB 版 与Paimon数据源进行对接使用的流程，指导您对Paimon数据源进行联邦分析。注意事项 当数据位于HDFS时，需要将 core-site.xml、hdfs-site.xml 与 hive-site.xml 放到FE和BE的conf目录下。SelectDB会优先读取...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
搭建Hadoop环境
Hadoop是由Apache基金会使用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提...
Hadoop使用JindoSDK访问OSS-HDFS服务
步骤二：创建Hadoop运行环境 安装Java环境。在已创建的ECS示例右侧，单击 远程连接。关于远程连接ECS实例的具体操作，请参见 连接方式概述。检查JDK版本。java-version 可选：如果JDK为1.8.0以下版本，请卸载已有的JDK。如果JDK为1.8.0或...
Spark使用JindoSDK查询OSS-HDFS服务中的数据
具体步骤，请参见 创建Hadoop运行环境。已部署Apache Spark。具体步骤，请参见 Apache Spark。已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。操作步骤 连接ECS实例。具体操作，请参见 连接ECS实例。配置...
使用Hadoop作为元仓计算引擎进行元仓初始化
OSS-HDFS集群存储（E-MapReduce5.x Hadoop）初始化引擎类型选择为E-MapReduce5.x Hadoop时，支持配置集群存储类型为OSS-HDFS。参数 描述 集群存储 可以通过以下方式查看集群存储类型。未创建集群：可以通过E-MapReduce5.x Hadoop集群创建...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。前提条件 已购买RDS MySQL实例（EMR所有版本均支持MySQL 5.7，仅EMR-3.35.0以上版本、EMR-5.0.0以上版本同时支持MySQL 5.7...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
E-MapReduce数据迁移
cp~/aliyun-sdk-dfs-1.0.2-beta.jar/opt/apps/ecm/service/hadoop/2.8.5-1.3.1/package/hadoop-2.8.5-1.3.1/share/hadoop/hdfs/在E-MapReduce服务中，对应的路径为/opt/apps/ecm/service/hadoop/x.x.x-x.x.x/package/hadoop-x.x.x-x.x.x/...
Gateway节点运行Flume进行数据同步
在Gateway节点运行Flume可以避免对E-MapReduce Hadoop集群产生影响。使用Gateway节点部署Flume Agent的基本数据流如下图所示。环境准备 本示例在华北1（杭州）进行测试，版本选择EMR-3.17.0。创建Hadoop集群，在 可选服务 中选择 Flume。...
查看并管理脚本任务
调度资源组 任务指定的实例运行时使用的调度资源组名称。如果任务指定的自定义资源组非可用状态，将自动替换为使用项目默认资源组；如果项目默认资源组非可用状态，将自动替换为使用租户默认资源组。即 自定义资源组>项目默认资源组>租户...
管理任务
完成任务发布后，您可以对创建任务的发布计划进行配置，支持启动任务运行、编辑运行周期、查看执行记录、暂停周期调度和下线任务等。查看任务运行状态 任务发布后，在数据准备列表页，您可以查看新创建任务的运行相关状态。发布状态 发布...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。...您可以前往DataWorks安全中心进行DLF权限设置。请务必确认任务运行的账号拥有所有的数据权限，避免因权限不足，导致任务的失败。
新建SHELL任务
运行参数 若您的任务中调用了参数变量，您可在属性中对参数进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。配置说明，请参见 参数配置及使用节点参数。调度属性（周期任务）如果离线计算任务的调度类型为 周期任务...
新建SHELL任务
运行参数 若您的任务中调用了参数变量，您可在属性中对参数进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。配置说明，请参见 参数配置及使用节点参数。调度属性（周期任务）如果离线计算任务的调度类型为 周期任务...
名词解释
配置变更是调整系统运行时的行为的有效手段之一。动态配置和静态配置 系统配置可以是静态或者动态配置。配置的版本与软件本身的版本强绑定的称之为静态配置。反之，在同一个版本的系统部署且运行期间配置可以连续发生多次变更的则称之为...
配置事件调度
配置如下参数：参数 说明 超时时间（分钟）设置所有运行事件的总执行时长，若超过该时间，则默认任务流执行失败。监听试运行事件 默认开启。开启后，上游任务流试运行也会导致该任务流产生一条手动触发的运行记录。关闭后，手动触发的上游...
创建数据开发作业
RunConf String 否 {\"memory\":1024,\"cores\":2,\"userName\":\"hadoop\"} 运行配置，可选的配置项包括：priority：task的优先级 userName：提交任务的linux用户 memory：内存，单位为MB cores：CPU核心数 MonitorConf String 否 {...
- 产品推荐
- 这些文档可能帮助您