版本概述
2.0.1 Druid 0.20.1 0.20.0 HBase 1.4.9 1.4.9 Phoenix 4.14.1 4.14.1 Zookeeper 3.6.2 3.6.2 Livy 0.7.1 0.6.0 Presto 338 338 Storm 1.2.2 1.2.2 Impala 3.4.0 3.4.0 Flume 1.9.0 1.9.0 Hue 4.9.0 4.4.0 Oozie 5.1.0 5.1.0 Zeppelin 0.9....
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
SDK概述
更新依赖MaxCompute SDK版本到0.20.7-public。v1.0.4 将guava的依赖版本降为11.0.2，避免和Hadoop中的guava版本冲突。计算任务支持数据超过5 GB的文件大小。v1.0.3 增加OSS Client相关的配置参数。v1.0.2 修复OSS URI解析的缺陷。v1.0.1 ...
Hadoop使用JindoSDK访问OSS-HDFS服务
vim/etc/profile export HADOOP_HOME=usr/local/hadoop export PATH=$HADOOP_HOME/bin:$PATH source/etc/profile 更新Hadoop配置文件中的 HADOOP_HOME。cd$HADOOP_HOME vim etc/hadoop/hadoop-env.sh 将${JAVA_HOME} 替换为实际路径。...
挂载文件存储 HDFS 版文件系统
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
Hudi
Append模式（从Hudi 0.10.0版本开始支持）在该模式下：MOR表会应用小文件策略：会追加写avro log文件。COW表没有小文件策略：每次写入COW表直接写新的parquet文件。Clustering策略 Hudi支持丰富的Clustering策略，从而优化INSERT模式下的小...
文件存储 HDFS 版和对象存储OSS双向数据迁移
Number of write operations=0 OSS:Number of bytes read=0 OSS:Number of bytes written=0 OSS:Number of read operations=0 OSS:Number of large read operations=0 OSS:Number of write operations=0 Job Counters Launched map tasks=...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
Jindo DistCp使用说明
Found 6 items-rw-r-2 root hadoop 2252 2020-04-17 20:42/data/incoming/hourly_table/2017-02-01/03/000151.sst-rw-r-2 root hadoop 4891 2020-04-17 20:47/data/incoming/hourly_table/2017-02-01/03/1.log-rw-r-2 root hadoop 4891 ...
DescribeApiDoc-查询API说明文档
接口说明 此功能面向调用 API 的用户，指定的 API 必须是发布到运行环境，且 Visibility=PUBLIC 的 API 或者被授权的 Visibility=PRIVATE 的 API 若您是调用 API 的用户，该接口返回您指定的 API 的服务信息及参数定义等详情信息。...
批量操作API
注意事项 批量修改API基础配置后，可一键发布API，发布API功能会对已经发布到环境上的API再次发布以更新环境上的API数据，没有发布过的API不会发布到环境。批量删除API操作需保证选中的API已下线。批量授权一次最多授权30个应用（APP）。...
创建EMR MR节点
hadoop emr hadoop dw hive hadoop dw emr 创建初始数据及JAR资源的存放目录。登录 OSS管理控制台。单击左侧导航栏的 Bucket列表 单击目标Bucket名称，进入 文件管理 页面。本文示例使用的Bucket为 onaliyun-bucket-2。单击 新建目录，创建...
快速入门
文件存储 HDFS 版 兼容了标准的HadoopFS协议接口，使您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储，使用 文件存储 HDFS 版 服务可以大量节约...
查询数据开发中可用的集群列表
调用ListFlowClusterAll接口，查询数据开发可用的集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
函数操作
arg0):ADD_MONTHS SCALAR STRING ADD_MONTHS(DATE arg0,BIGINT arg1),STRING ADD_MONTHS(TIMESTAMP arg0,BIGINT arg1),STRING ADD_MONTHS(STRING arg0,BIGINT arg1):ALL_MATCH SCALAR BOOLEAN ALL_MATCH(ARRAY<T>arg0,java.util.function....
DescribeImportOASTask-查询OAS导入API的任务
名称 类型 描述 示例值 object RequestId string 请求的 id CE5722A6-AE78-4741-A9B0-6C817D360510 ApiResults object[]API 的导入结果 ApiId string API 的 ID c5a0c2900ff746b789c007545be22fb8 Path string API 的请求路径/creator/...
DescribeApiTrafficData-查询API监控数据中流量统计...
接口说明 此功能面向开放 API 的用户 监控功能默认对线上环境的 API 做统计，不包括测试环境的 API 调用 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
DescribeApiHistories-查询API历史发布的版本列表
5af418828f0344a3b588c0cc1331a3bc Description string API 描述 创建对象接口 GroupName string API 分组名称 myGroup2 GroupId string API 分组编号 1084f9034c744137901057206b39d2b6 DeployedTime string 发布时间(格林威治时间)2016-...
CreateApiTemplate-创建API模板
创建一个预定义的API模板，该模板包含了API的基本结构、请求方式、URL路径、请求参数和响应格式等信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
在ECI中访问HDFS数据
usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.2/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/...
Lindorm（HBase）数据入库与ETL
hadoop}"} 参数说明如下：Key Value uri 栅格数据源URI time_tag 数据集元数据中的时间标签名称 type 操作类型 说明 这里只有两种类型的读取器可用：通过Hadoop API从S3或从Hadoop支持的文件系统中读取。数据写入objects {"name":...
使用E-Mapreduce访问
hadoop distcp/apps hdfs:/${实例ID}/hadoop distcp/emr-flow hdfs:/${实例ID}/hadoop distcp/emr-sparksql-udf hdfs:/${实例ID}/hadoop distcp/hbase hdfs:/${实例ID}/hadoop distcp/spark-history hdfs:/${实例ID}/hadoop distcp/tmp ...
迁移HDFS数据到OSS
示例 JindoDistcpCounter BYTES_COPIED=10000 BYTES_EXPECTED=10000 FILES_COPIED=11 FILES_EXPECTED=11.Shuffle Errors BAD_ID=0 CONNECTION=0 IO_ERROR=0 WRONG_LENGTH=0 WRONG_MAP=0 WRONG_REDUCE=0 示例中可能包含的Counter参数如下：...
通过Hadoop Shell命令访问OSS/OSS-HDFS
本文为您介绍如何通过Hadoop Shell命令访问OSS和OSS-HDFS。环境准备 EMR环境中，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境，请先安装部署JindoSDK，详情请...
Credential Provider使用说明
使用Hadoop Credential Providers存储AccessKey信息 说明 Hadoop Credential Provider详情的使用方法，请参见 CredentialProvider API Guide。fs.jfs.cache.oss.accessKeyId、fs.jfs.cache.oss.accessKeySecret 和 fs.jfs.cache.oss....
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
SmartData常见问题
JindoFS主要是对阿里云OSS提供HCFS（Hadoop Compatible FileSystem）接口封装，并且在此基础上提供缓存加速能力和高级优化定制的功能。因为Hadoop和Spark生态组件依赖HCFS的抽象接口，所以需要使用JindoFS。JindoFS有哪些使用方式？使用...
数据湖集群
Spark部署 数据湖集群在原有Hadoop2+Spark2和Hadoop3+Spark3的基础上，增加了Hadoop2+Spark3和Hadoop3+Spark2的组合部署模式。您可以根据实际情况，选择满足自己的软件组合。另外，数据湖集群支持Kyuubi，一个企业级的数据湖计算引擎...
DescribeDeployedApi-查询API在指定环境中的定义
123456 DocShow string 文档可见，取值为：PUBLIC、PRIVATE PUBLIC MaxLength long 当 ParameterType=String，参数的最大长度限定 123456 DefaultValue string 默认值 20 ApiParameterName string API 参数名称 age EnumValue string 当 ...
CDH6数据迁移
在搜索框中输入mapreduce.application.classpath进行搜索，在搜索结果的 MR应用程序Classpath 区域中，单击 添加$HADOOP_HDFS_HOME/*配置。单击 保存更改。配置 文件存储 HDFS 版 Java SDK。下载最新的 文件存储 HDFS 版 Java SDK（aliyun-...
DescribeApi-查询 API 定义
20 ApiParameterName string 参数名 age EnumValue string 当 ParameterType=Int、Long、Float、Double 或 String，允许输入的散列值，不同的值用英文的逗号分隔，形如：1,2,3,4,9 或 A,B,C,E,F。boy,girl DemoValue string 示例 20 ...
Hudi连接器
Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力，以及消费变化数据的能力。EMR Trino已经将相关JAR包集成至独立的Hudi Plugin里面，EMR Hudi连接器目前支持查询COW和MOR表。背景信息 EMR Hudi的详细信息...
大数据型
弹性网卡 单网卡私有IP ecs.d1.2xlarge 8 32.0 4*6000 3.0 30 1 4 10 ecs.d1.3xlarge 12 48.0 6*6000 4.0 40 1 6 10 ecs.d1.4xlarge 16 64.0 8*6000 6.0 60 2 8 20 ecs.d1.6xlarge 24 96.0 12*6000 8.0 80 2 8 20 ecs.d1-c8d3.8xlarge 32 ...
客户案例
客户需求 存在Hadoop1.0、2.0两个集群，技术架构复杂，平台的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈。日志来源渠道多，实时性要求高，基于fluentd的文件采集服务，随着日志量的增多，性能、稳定性存在明显瓶颈。“人肉脚本”的...
使用CreateCluster API创建集群
高可用HA集群应用填写 选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common、ZooKeeper OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN、ZooKeeper、HDFS或者OSS-HDFS任选其一 无 Spark2 Hadoop-...
通过Hadoop Shell命令访问
如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作，您可以使用Hadoop Shell的方式。环境准备 您可以选择以下任意一种方式访问OSS-HDFS服务。通过阿里云EMR访问OSS-HDFS服务，确保已创建EMR-3.44.0及...
Spark Connector
为了更好地融入大数据生态，MaxCompute开放了存储组件（Storage API），通过调用Storage API直接访问MaxCompute底层存储，有助于提高第三方引擎访问MaxCompute数据的速度与效率。本文为您介绍如何使用第三方计算引擎Spark通过Spark ...
- 产品推荐
- 这些文档可能帮助您