ListSortScripts-获取指定版本下所有的排序脚本
ABCDEFGH result object[]脚本列表 type string 脚本的类型 cava_script scope string 脚本的作用范围 second_rank createTime string 脚本创建时间 2020-04-02 20:21:14 status string 脚本的状态：configurable：脚本创建成功，还未上传...
SQL脚本模式
一个脚本最多支持一个屏显结果的语句（如单独的SELECT语句），否则会发生报错。不建议在脚本中执行屏显的SELECT语句。一个脚本最多支持一个CREATE TABLE AS语句并且必须是最后一句。推荐您将建表语句与INSERT语句分开写。脚本模式下，一旦...
GetSortScript-获取排序脚本详情
ABCDEFGH result object 脚本的详情 scope string 脚本的作用范围 second_rank createTime string 脚本创建时间 2020-04-02 20:21:14 status string 脚本的状态，详情请参考下节脚本状态列表 released modifyTime string 脚本最后一次修改...
Script节点使用说明
例如 {"svcVars":{"Script_szLxMn":{/脚本节点id"response":{/固定返回字段"temp":[/声明的返回变量名称，缺省值为scriptResult"a","","c"]} } } } 脚本校验功能 左下角有「校验脚本合法性」按钮，在提交前可以点击进行校验，避免运行时报...
GetScriptFileNames-获取脚本文件名称列表
获取指定版本指定脚本下所有的文件名。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
主机部署
本文主要介绍主机部署相关常见问题及解决方案。如何解决阿里云ECS提示deploy channel error或是离线？...比如要使用 PIPELINE_ID 的环境变量，在部署脚本最前面添加一行 export PIPELINE_ID=$(echo$PIPELINE_ID|base64-d)。
Hadoop MapReduce作业配置
path/to/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar sleep-m 3-r 3-mt 100-rt 100 说明 您也可以单击下方的+插入OSS路径，选择 文件前缀 为 OSSREF，从 文件路径 中进行浏览和选择，系统会自动补齐OSS上Hadoop MapReduce脚本的...
使用Druid
hyperUnique","fieldName":"user"}]},"tuningConfig":{"type":"hadoop","partitionsSpec":{"type":"hashed","targetPartitionSize":5000000 },"jobProperties":{"mapreduce.job.classloader":"true"} } },"hadoopDependencyCoordinates":...
Hadoop DistCp介绍
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
SQL脚本
SQL脚本是自定义SQL组件，您可以通过SQL脚本编辑器编写SQL语句，并提交至MaxCompute执行。本文为您介绍SQL脚本的组件配置和使用场景。组件配置 Designer 仅支持通过可视化方式，配置SQL脚本组件的参数，组件参数配置如下所示。参数 描述 ...
时间窗口SQL脚本
如果 时间窗口SQL脚本 组件接入了上游表，输入源已自动映射成t1～t4，您可以直接调用${t1}、${t2}、${t3} 或${t4}，不用写入源表名。时间窗口SQL脚本 组件支持1个输出，您可以在SQL语句中使用${o1} 代替输出数据表。您可以在SQL语句中，...
管理引导操作
目前集群脚本最常见的报错原因有以下四类：网络连接性问题。ECS实例和对应的OSS需要在同一地域下。例如，北京地域下的ECS实例连接不上非北京地域下的OSS。ECS获取AccessKey信息失败问题。通常是由于ECS实例未绑定...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
Pig开发手册
上传 script1-hadoop.pig 脚本至OSS，例如 oss:/emr/jars/script1-hadoop.pig。创建作业 在数据开发中创建Pig作业，详情请参见 Pig作业配置。作业内容如下。f ossref:/emr/jars/script1-hadoop.pig 运行作业 单击 运行 以运行作业。您可以...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
漏洞影响 漏洞影响的Hadoop版本：2.0.0<= ApacheHadoop<= 2.10.1 3.0.0-alpha <= ApacheHadoop<= 3.2.3 3.3.0 <= ApacheHadoop漏洞影响的EMR版本：存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列（EMR-5.8.x及之前的版本）均受到影响。...
手动执行脚本
每个集群最多保留10个集群脚本记录，如果超过10个，则需要您将之前的记录删除才能创建新的集群脚本。集群脚本可能在部分节点上运行成功，部分节点上运行失败。例如，节点重启导致脚本运行失败。在解决异常问题后，您可以单独指定失败的节点...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
HDFS数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
常见问题
hadoop jar<hadoop_home>/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
使用Azkaban调度MaxCompute
背景信息 Azkaban是一套作业调度系统，可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业，而且支持自定义Plugin，其中最简单而且最常用的是Command类型。更多Azkaban信息，请参见 Azkaban。您需要将待调度作业依赖的源数据...
查看并管理脚本任务
脚本任务页面包含计算任务、同步任务和集成任务，每个任务对应一个调度节点，本文以节点视角为您介绍如何查看并管理脚本任务。脚本任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 ...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
通过DataWorks将Hadoop数据同步到阿里云ES
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
数据湖集群
Spark部署 数据湖集群在原有Hadoop2+Spark2和Hadoop3+Spark3的基础上，增加了Hadoop2+Spark3和Hadoop3+Spark2的组合部署模式。您可以根据实际情况，选择满足自己的软件组合。另外，数据湖集群支持Kyuubi，一个企业级的数据湖计算引擎...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
使用独立的Trino集群
方式一（推荐）：您可以在EMR控制台，通过添加集群脚本或引导操作，来实现配置host，详情请参见 手动执行脚本 或 管理引导操作。方式二：直接修改host文件。具体步骤如下所示。获取数据集群Master节点的内网IP地址。在E-MapReduce控制台的 ...
E-MapReduce数据迁移方案
需要修改hive.properties：connector.name=hive-hadoop2 hive.metastore.uri=thrift:/E-MapReduce-header-1.cluster-500148414:9083 hive.config.resources=etc/ecm/hadoop-conf/core-site.xml,/etc/ecm/hadoop-conf/hdfs-site.xml hive....
配置ECS远程命令节点
调用自建Hadoop的MapReduce程序或Spark程序等。前提条件 已购买一台ECS实例。具体操作，请参见 自定义购买实例。ECS实例已添加标签键为 dms，标签值为 script-for-dms 的标签。具体操作，请参见 编辑实例标签。已安装云助手客户端。具体...
Node Labels特性使用
命令添加相关Node Labels分区并建立节点映射 如果是需要自动指定弹性节点组扩容节点的NodeManager分区，则需要在创建分区后，将 replaceLabelsOnNode 运维命令添加到对应节点组范围的引导操作脚本中，在组件启动后执行。命令示例如下。使用...
ALIYUN:EMR:Cluster2
最多添加10个引导脚本数组。更多信息，请参见 BootstrapScripts属性。SubscriptionConfig Map 否 否 预付费配置。当PaymentType取值为Subscription时，本参数必填。DeployMode String 否 否 集群中的应用部署模式。取值：NORMAL：非高可用...
MaxCompute/Hadoop物理视图和字段详情
本文为您介绍如何查看计算引擎为MaxCompute、Hadoop 时物理视图和字段资产详情。物理视图详情 请参见 搜索数据，进入物理视图详情页面。MaxCompute、Hadoop 引擎的物理视图展示信息基本一致，下图以MaxCompute物理视图为例。编号 描述 ① ...
客户案例
“人肉脚本”的数据开发方式，业务支持效率低，且hive计算性能无法满足需求。价值体现 DeNA中国是游戏行业首家应用闪电立方+MMA工具项目，在无专线等环境下，1个多月就完成10年增量RDS库300TB+历史数据50TB的数据迁移，具备较高的技术复杂...
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6...
Lua脚本规范与常见报错
单个Lua脚本阻塞 Tair 最多5秒，5秒后 Tair 会给所有其他命令返回如下BUSY error报错，直到脚本执行结束。BUSY Redis is busy running a script.You can only call SCRIPT KILL or SHUTDOWN NOSAVE.解决方案：您可以通过SCRIPT KILL命令...
Lua脚本规范与常见报错
单个Lua脚本阻塞 Tair 最多5秒，5秒后 Tair 会给所有其他命令返回如下BUSY error报错，直到脚本执行结束。BUSY Redis is busy running a script.You can only call SCRIPT KILL or SHUTDOWN NOSAVE.解决方案：您可以通过SCRIPT KILL命令...
2021年
2021-09-14 华南1金融云（深圳）无 MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制，本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群，...
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
开发ODPS Script任务
背景信息 MaxCompute当前的SQL引擎支持脚本模式SQL（Script Mode SQL），在脚本模式下编译脚本时，一个多语句的SQL脚本文件将被作为一个整体进行编译，无需对单个语句进行编译，适合用于改写需要层层嵌套子查询的单个语句，或因为脚本复杂...
- 产品推荐
- 这些文档可能帮助您