使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
通过DMS管理作业
云原生多模数据库 Lindorm 计算引擎支持通过数据管理DMS的任务编排功能来调度Lindorm Spark任务，并查看Lindorm Spark任务发布记录和日志，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。本文介绍通过DMS管理...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
术语干预模型
前三个领域（通用、金融、医疗）为自学习模型，选择后将会进行《专属机器翻译模型》的训练，会进行新模型的训练，同时进行术语干预。后面的领域为通用模型，选择后将会在原有机器翻译的基础上，进行术语干预。3.使用智能翻译模型 智能机翻 ...
配置Lindorm Spark节点
任务编排的Lindorm Spark节点可以通过Lindorm计算引擎高效地完成分布式计算任务，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求，同时可以方便地读取Lindorm宽表引擎数据，与OSS上的数据进行联合分析。前提条件 您...
使用MapReduce处理JindoFS上的数据
具体命令如下：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar terasort<in><out>替换输入和输出路径，即可处理JindoFS上的数据：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/...
RPA需求方-快速入门
本文将快速引导您在机器人客户端完成一个RPA应用 的手动申请和执行。概述 您需要依次完成以下步骤：安装RPA机器人；登录RPA机器人；申请一个RPA应用；...如需了解更多，请参照《机器人使用说明》、《API概览》等文档进行学习。
创建集群
机器学习（Data Science）：主要面向大数据+AI场景。提供分布式深度学习框架。提供两百多种经典机器学习算法包。提供AutoML能力，10余种深度学习算法，覆盖推荐和广告等场景。旧版数据湖：用于构建大规模数据处理框架和管道，适用于大数据...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
在文件存储 HDFS 版上使用Presto
mv presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar.bak 将编译后的hadoop-apache2-2.7.4-9.jar依赖包拷贝到对应目录下。cp presto-hadoop-...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
Spark Load
配置YARN客户端 FE底层通过执行 yarn 命令去获取正在运行的Application的状态以及终止Application，因此需要为FE配置YARN客户端，建议使用hadoop-2.5.2或hadoop-2.0以上的官方版本，下载详情请参见 hadoop下载地址。将下载好的YARN客户端...
实例类型
创建集群完成后，您可以通过扩容来增加实例组内的机器数量（主实例组除外）。说明 EMR-3.2.0及后续版本支持计算实例节点（Task）。主实例节点（Master）主实例节点是集群服务部署管控等组件的节点，例如，Hadoop YARN的 ResourceManager。...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
HAS Kerberos认证使用方法
Found 6 items drwxr-xr-x-hadoop hadoop 0 2021-03-29 11:16/apps drwxrwxrwx-flowagent hadoop 0 2021-03-29 11:18/emr-flow drwxr-x-has hadoop 0 2021-03-29 11:16/emr-sparksql-udf drwxrwxrwt-hadoop hadoop 0 2021-03-29 11:17/...
Dataphin中数据集成任务运行报错“java.io....
769)~[hadoop-common-2.6.0-cdh5.16.2.jar:na]at org.apache.hadoop.ipc.Client$Connection.access$3000(Client.java:396)~[hadoop-common-2.6.0-cdh5.16.2.jar:na]at org.apache.hadoop.ipc.Client.getConnection(Client.java:1557)~...
Serverless Spark概述
Spark一站式的引擎能力，可以同时提供SQL、流、机器学习、图计算的能力。传统Spark集群版的方案架构图如下所示：但是对于传统Spark集群版，用户首先需要部署一套开源大数据基础组件：Yarn、HDFS、Zookeeper等，可能会存在以下问题：使用...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
开启或关闭弹性伸缩（仅Hadoop集群类型）
前提条件 已完成弹性伸缩的配置，详情请参见 配置弹性伸缩（仅Hadoop集群类型）。注意事项 当伸缩组内节点数为0时，您才可以关闭弹性伸缩。当伸缩组内节点不为0时，您需要先为伸缩组设置缩容规则或者修改最大实例数为0，直至伸缩组内节点...
什么是对话工厂？
对话工厂的起源 如今在深度学习技术的加持下，人工智能技术和应用已经风靡全球，各类对话机器人相继诞生，有的应用在生活中，例如各大厂牌的智能音响，有的应用在工作中，例如各种高效的客服机器人，其实在chatbot领域，一般将用户的Query...
MapReduce常见问题
Hadoop中可以选择多个Node进行分布处理（一个Node表示一台机器），那么MaxCompute MapReduce进行分布处理时，该如何设置Node？不使用Combiner时输出正常，使用Combiner后Reduce没有输入，是什么原因？在MapOnly中，为什么程序没有指定输出...
搭建Spark应用
背景信息 Apache Spark是一个在数据分析领域广泛使用的开源项目，它常被应用于众所周知的大数据和机器学习工作负载中。从Apache Spark 2.3.0版本开始，您可以在Kubernetes上运行和管理Spark资源。Spark Operator是专门针对Spark on ...
使用ECI运行Spark作业
背景信息 Apache Spark是一个在数据分析领域广泛使用的开源项目，它常被应用于众所周知的大数据和机器学习工作负载中。从Apache Spark 2.3.0版本开始，您可以在Kubernetes上运行和管理Spark资源。Spark Operator是专门针对Spark on ...
配置E-MapReduce服务使用文件存储 HDFS 版
hdfs:/emr-header-1.cluster-125428:9000/user/hive/warehouse/analysis_logs.db/original_log_sh_partitioned|-1|org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat|3|29|22|org.apache.hadoop.mapred.TextInputFormat|...
常见问题
hadoop jar<hadoop_home>/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
查询集群列表
HADOOP KAFKA DATA SCIENCE DRUID FLINK GATEWAY CLICKHOUSE ZOOKEEPER SHUFFLE_SERVICE EMR_STUDIO CreateType String 否 ON-DEMAND 集群的创建方式，取值如下：ON-DEMAND：按需创建 MANUAL：手动创建 MachineType String 否 ECS 机器类型...
使用Presto访问
connector.name=hive hive.metastore.uri=thrift:/xxxx:9083#xxxx为启动hive元数据服务的IP地址 hive.config.resources=usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml,/usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml#配置为您的...
创建项目集群设置
HostList.N RepeatList 否 emr-header-1.cluster-12345 提交机器白名单列表，仅支持Gateway和Master机器。返回数据 名称 类型 示例值 描述 Data Boolean true 是否成功。RequestId String 0AD9FF20-F585-4E0A-870D-B8A8F884CCE6 请求ID。...
使用OpenAPI
本文为您介绍使用智能对话机器人OpenAPI的基本信息及注意事项。说明 关于如何使用阿里云OpenAPI，请参见学习文档：使用OpenAPI。基本信息 版本说明 版本号 说明 2022-04-08 推荐 接入点说明 参见 服务接入点。用户身份 用户身份 支持情况 ...
常见问题
问题汇总 组件启动失败 此类问题多数是由于组件JVM运行参数配置问题，例如机器可能没有很大的内存，而配置了较大的JVM内存或者较多的线程数量。解决方法：查看组件日志并调整相关参数即可解决。JVM内存涉及堆内存和直接内存。具体可参见 ...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
首页
日常运营 日常运营中展示了智能对话机器人当前核心数据：机器人配置数据、机器人接待数据 以及 优化建议，可帮助您直观地了解机器人的运营效果，快速定位配置问题，提高维护效率效果。关注机器人 若您需要查看有关机器人的日常运营数据，您...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
最佳实践概览
ES-Hadoop使用 通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据 通过ES-Hadoop将HDFS中的数据写入Elasticsearch 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 ...
配置弹性伸缩（仅Hadoop集群类型）
在 新增弹性伸缩机器组 对话框中，输入 机器组名称，单击 确定。在 伸缩配置 页签，单击目标机器组操作列的 配置规则。在 弹性伸缩配置 面板的 基础信息 区域，配置相关参数。参数 描述 最大实例数 弹性伸缩组的Task节点上限。一旦达到上限...
数据湖集群
Spark部署 数据湖集群在原有Hadoop2+Spark2和Hadoop3+Spark3的基础上，增加了Hadoop2+Spark3和Hadoop3+Spark2的组合部署模式。您可以根据实际情况，选择满足自己的软件组合。另外，数据湖集群支持Kyuubi，一个企业级的数据湖计算引擎...
- 产品推荐
- 这些文档可能帮助您