使用Druid
hyperUnique","fieldName":"user"}]},"tuningConfig":{"type":"hadoop","partitionsSpec":{"type":"hashed","targetPartitionSize":5000000 },"jobProperties":{"mapreduce.job.classloader":"true"} } },"hadoopDependencyCoordinates":...
Hadoop DistCp介绍
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
快速入门
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
HDFS数据源
由于snappy目前没有统一的stream format，数据集成目前仅支持最主流的hadoop-snappy（hadoop上的snappy stream format）和framing-snappy（google建议的snappy stream format）。ORC文件类型下无需填写。否 无 parquetSchema 如果您的文件...
注册EMR集群至DataWorks
etc/ecm/hadoop-conf/core-site.xml/etc/ecm/hadoop-conf/hdfs-site.xml/etc/ecm/hadoop-conf/mapred-site.xml/etc/ecm/hadoop-conf/yarn-site.xml/etc/ecm/hive-conf/hive-site.xml/etc/ecm/spark-conf/spark-defaults.conf/etc/ecm/spark...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
Hudi
upsert 参数取值如下：upsert：插入更新 insert：插入 bulk_insert：批量写入 说明 bulk_insert导入省去了avro的序列化以及数据的merge过程，没有去重操作，数据的唯一性需要自己来保证。bulk_insert需要在Batch Execuiton Mode下执行，...
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6...
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
作业配置指南
假设spark.dla.job.maxAttempts=3，则这个作业最多尝试3次。spark.dla.job.attemptFailuresValidityInterval-1 作业尝试追踪的有效时间间隔，默认值为-1，代表未启用作业尝试追踪。重要 如果作业尝试结束时间距离当前时间已经超过了指定的...
ALIYUN:EMR:Cluster2
说明 ALIYUN:EMR:Cluster支持基于E-MapReduce产品的旧版API，支持旧版HADOOP、KAFKA、DRUID、ZOOKEEPER、DATA_SCIENCE、GATEWAY等早期的集群类型。ALIYUN:EMR:Cluster2支持基于E-MapReduce产品的新版API（2021-03-20），支持DATALAKE、OLAP...
Dataphin新建治理项展示字段含义
详细信息 字段名称 字段类型 指标名称 注释 table_guid string 物理表GUID 物理表的唯一标识，三段式组成，'HADOOP/MAXCOMPUTE'.project_name.table_name tenant_id string 租户ID 用户在dataphin的租户ID，系统默认填写 create_days ...
使用PyJindo访问阿里云OSS-HDFS
其中，Hadoop配置文件及HADOOP_CONF_DIR不是必须，仅为兼容HADOOP环境中的配置。export JINDOSDK_CONF_DIR=etc/taihao-apps/jindosdk-conf export HADOOP_CONF_DIR=etc/taihao-apps/hadoop-conf 安装和升级pip及PyJindo安装包。python3.8-m...
发展历程
2018~2022年，MaxCompute 3.0发布，性能再提升，综合成本降低30%，企业级安全性能持续增强，发布智能数仓及Hadoop联邦计算。产品荣誉 年份 产品荣誉 2023年 进入Gartner云数据库、数据分析第一象限Leader象限。2022年 自研一体化大数据计算...
UnregisterCustomFace-注销⾃定义⼈脸
用于唯一标识一张人脸，由调用者自己保证唯一性。最⻓⽀持 120 字符，不限中英文，不区分⼤⼩写。可以通过 列出人物库所有人物和人脸信息 接口查询。如果填“ALL”，表示注销该 PersonId 下所有⼈脸。15*返回参数 名称 类型 描述 示例值 ...
FE参数配置
查看配置 show data（其他用法：HELP SHOW DATA）enable_batch_delete_by_default 默认值：false 是否可以动态配置：true 是否为Master FE节点独有的配置项：true 说明：创建唯一表时是否添加删除标志列。recover_with_empty_tablet 默认值...
上下游存储
使用RDS表中的唯一索引进行GROUP BY时需要注意什么？为什么MySQL物理表（包含RDS MySQL和ADB）的INT UNSIGNED字段类型，在Flink SQL中要被声明为其他类型？报错：Incorrect string value:'\xF0\x9F\x98\x80\xF0\x9F.' for column 'test' at...
Spark应用配置参数说明
假设配置为3，则这个应用在一个滑动窗口期时间内最多尝试3次。spark.adb.attemptFailuresValidityInterval 否 Integer.MAX 重试计数的滑动窗口时间，单位：秒（s）。假设配置为6000，那么当一次重试失败后，系统会计算过去6000s共进行了...
自助建站方式汇总
环境类型 部署方式 说明 搭建Hadoop环境 手动搭建Hadoop环境 本教程介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop伪分布式环境。更换镜像部署Windows环境 云市场镜像集成了操作系统和应用程序，您可以使用阿里云市场镜像快速部署ECS...
Broker Load
由于每个StarRocks集群的机器环境不同且集群并发的查询任务也不同，所以StarRocks集群的最慢导入速度需要您根据历史的导入任务速度进行推测。max_filter_ratio 导入任务的最大容忍率，默认为0容忍，取值范围是0~1。当导入的错误率超过该值...
Kudu连接器
背景信息 本文为您介绍Kudu连接器相关的内容和操作，具体如下：修改Kudu连接器配置 数据查询 数据类型映射 支持的Presto SQL语法 创建表 增加列 前提条件 已创建Presto集群和Hadoop集群，且Hadoop集群选择了Kudu服务，详情请参见 创建集群...
Notebook开发编辑器
small","spark.executor.instances":2,"spark.executor.resourceSpec":"small","spark.adb.eni.vswitchId":"vsw-bp14pj8h0k5p0kwu3*","spark.adb.eni.securityGroupId":"sg-bp14qrdskvwnzels*","spark.hadoop.hive.metastore.uris":...
新建离线物理表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建物理表 对话框。在 新建物理表 对话框中，配置参数。...
Broker Load
由于每个StarRocks集群的机器环境不同且集群并发的查询任务也不同，所以StarRocks集群的最慢导入速度需要您根据历史的导入任务速度进行推测。max_filter_ratio 导入任务的最大容忍率，默认为0容忍，取值范围是0~1。当导入的错误率超过该值...
使用Prometheus监控E-MapReduce
名称具有唯一性。exporter端口 Metric的监听端口，以便 可观测监控 Prometheus 版 访问这些端口获取监控数据。默认9712。metrics采集路径 Prometheus采集Exporter的HTTP Path，使用默认值/metrics_preget。metrics采集间隔（秒）可观测监控...
使用Prometheus监控E-MapReduce
名称具有唯一性。exporter端口 Metric的监听端口，以便 可观测监控 Prometheus 版 访问这些端口获取监控数据。默认9712。metrics采集路径 Prometheus采集Exporter的HTTP Path，使用默认值/metrics_preget。metrics采集间隔（秒）可观测监控...
数据同步
ls/tmp/cdc/staging_sales/Found 2 items-rw-r-2 hadoop hadoop 0 2019-11-26 11:11/tmp/cdc/staging_sales/_SUCCESS-rw-r-2 hadoop hadoop 93 2019-11-26 11:11/tmp/cdc/staging_sales/part-m-00000 为更新数据建立临时表，然后MERGE到...
2022年
更新说明 优化以单源最短距离算法为例的Graph作业编写。编写Graph 2022年1月更新记录 时间 特性 类别 描述 产品文档 2022-01-30 常见问题整改。更新说明 将常见问题拆解到各个模块，便于用户在遇到问题时快速查找解决措施。常见问题 2022-...
OSS/OSS-HDFS的性能优化最佳实践
如果您在运行MapReduce或Spark任务，还有以下选择：对于提交MapReduce任务，可以通过Hadoop参数 mapreduce.job.maps 和 mapreduce.job.reduces 控制并行的执行程序数量。对于提交Spark执行程序，可以通过选项-num-executors 或者Spark参数 ...
基本概念
H HDFS 分布式文件存储系统 HDFS（Hadoop Distributed File System）提供标准的 HDFS 访问协议，用户无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用等特性的分布式文件系统。...
集群管理常见问题
受ECS部署集本身的限制，目前最多支持20台ECS实例加入部署集。具体操作请参见 开启部署集。扩容集群如何指定部署集？默认本地盘机型会开启部署集，其他机型关闭部署集，您可以根据需要自行调整。开启部署集的具体操作，请参见 开启部署集。...
Spark FAQ
如何处理Spark SQL读JSON外表（包含日志投递自建）时的报错ClassNotFoundException:org.apache.hadoop.hive.serde2.JsonSerDe？如何处理执行Spark SQL报错：Exception in thread"main"java.io.IOException:No FileSystem for scheme:oss？...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容...生态 开源大数据生态Hadoop/Spark等、阿里云数据生态 开源大数据生态Hadoop/Spark等 易用性 免运维，维护简单 有状态服务，维护较复杂
Spark
如何解决Spark SQL应用读JSON外表（包含日志投递自建）时，出现ClassNotFoundException:org.apache.hadoop.hive.serde2.JsonSerDe报错？运行Spark应用时，为什么Spark Executor节点会出现Dead？Spark访问外部数据源时，为什么会出现网络...
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
JindoDistCp使用说明
Hadoop 2.3+版本，请下载最新版的jindo-distcp-tool-x.x.x.jar，该JAR包含在jindosdk-${version}.tar.gz内，解压缩后可在tools/目录下找到，单击进入 JindoData下载。说明 EMR-5.6.0及以上版本、EMR-3.40.0及以上版本的集群已部署...
- 产品推荐
- 这些文档可能帮助您