ODPS-0121096
如果同时多个作业写入，该表元数据总是处于加锁写入的状态，可能出现部分作业在尝试加锁超时之前一直没有抢到锁，从而导致报错 cannot acquire exclusive lock（作业尝试加锁超时时间大约半分钟，超过则报错，加锁粒度为表级）。...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
配置MoveTo工具在HDFS下的锁目录 在Hadoop配置文件 core-site.xml 或 hdfs-site.xml（任选一个即可，在$HADOOP_CONF_DIR 目录下）新增配置项 jindotable.moveto.tablelock.base.dir。该配置的值应指向一个HDFS目录，目的是存放MoveTo工具在...
如何选择通用规格和独享规格
PolarDB MySQL版 的 集群版 和 多主集群（库表）的计算节点规格包含两种规格类型：通用规格 和 独享规格。本文为您介绍这两种规格类型的区别，帮助您决策如何选择。通用规格与独享规格对比 规格类型 特点 适用场景 独享规格 每个 独享规格 ...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
HDFS Balancer
DataLake集群 tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log Hadoop集群 tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log 说明 命令中的 hadoop-hdfs-balancer-master-1-1.c-xxx.log 和 hadoop-hdfs-balancer-emr-header-xx....
常见问题
hadoop jar<hadoop_home>/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
新功能发布记录
2023-02-14 全部 NAS监控概述 查看NAS容量监控 配置基础报警规则 历史年份 表 1.2022年 功能名称 功能概述 发布时间 发布地域 相关文档 通用型NAS容量监控 通用型NAS支持容量监控，通过云监控服务可实时监控文件系统实例的存储概况，包括...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
YARN高可用特性使用指南
如果Active RM进程或其所在节点存在问题，Standby RM能够基于Zookeeper的分布式锁机制选举出1个Active RM，新的Active RM将从Zookeeper存储中恢复出全部应用的信息与状态，继续提供资源管理与调度服务，从而避免单点故障。RM HA相关的重要...
2023年
数据组织优化 2023-06-26 新增TimeTravel查询与Incremental查询 新说明 对于Transaction Table2.0类型的表，MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询（TimeTravel查询），也支持指定源表某个历史时间区间...
利用MaxCompute External Volume处理非结构化数据
配置项 spark.hadoop.odps.cupid.volume.paths=odps:/ms_proj1_dev/volume_yyy1/spark.hadoop.odps.volume.common.filesystem=true spark.hadoop.fs.odps.impl=org.apache.hadoop.fs.aliyun.volume.OdpsVolumeFileSystem spark.hadoop.fs....
HDFS数据源
目前插件中Hive版本为1.1.1，Hadoop版本为2.7.1（Apache适配JDK1.6］，在Hadoop 2.5.0、Hadoop 2.6.0和Hive 1.2.0测试环境中写入正常。重要 HDFS Reader暂不支持单个File多线程并发读取，此处涉及到单个File内部切分算法。离线写 使用HDFS ...
HBase
使用Databricks 读写云数据库HBase数据 通过Spark建表读取云数据库HBase数据%sql-使用org.apache.hadoop.hbase.spark创建spark表 CREATE DATABASE IF NOT EXISTS test_hbase;USE test_hbase;DROP TABLE IF EXISTS spark_on_hbase;CREATE ...
Spark Load
配置YARN客户端 FE底层通过执行 yarn 命令去获取正在运行的Application的状态以及终止Application，因此需要为FE配置YARN客户端，建议使用hadoop-2.5.2或hadoop-2.0以上的官方版本，下载详情请参见 hadoop下载地址。将下载好的YARN客户端...
MySQL连接器
使用MySQL连接器能够让您在外部MySQL实例中查询和创建表。该连接器可以用于不同系统（例如，MySQL和Hive），或者两个不同MySQL实例间的数据进行JOIN操作。背景信息 本文为您介绍MySQL连接器相关的内容和操作，具体如下：配置MySQL连接器 ...
创建通用项目
通用层：通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总数据。安全设置 全局安全设置 安全设置是您可以对数据安全及访问进行精细化控制、对Spark任务的开关及鉴权模式的设置，来保障数据的安全性。更多信息，请参见 安全设置。...
MongoDB
your collection").load()mongoDF.show(2)使用创建Delta表的方式读取MongoDB数据源 创建Delta表%sql create database if not exists mongodb;use mongodb;create table mongodb_test(id string,name string)using ...
外部表
本文将为您介绍如何通过DataWorks创建、配置外部表，以及外部表支持的字段类型。外部表概述 使用外部表前，您需要了解下表中的定义。名称 描述 对象存储OSS 提供标准、低频、归档存储类型，能够覆盖不同的存储场景。同时，OSS能够与Hadoop...
选型配置说明
您可以使用通用机型配合ECS云盘的方式来作为Core节点的机型配置。例如，g7.4xlarge+4*100 GiB。Task节点选型 Task节点主要用来补充Core节点CPU和内存计算能力的不足，节点并不存储数据，也不运行DataNode。您可以根据CPU和内存需求来估算...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
EMR自带服务 EMR自带服务中运行的作业均可以自动基于MetaSerivce服务免明文AccessKey访问阿里云资源（OSS、LogService和MNS）以下是使用MetaService（新）和不使用MetaService（旧）的对比示例：通过Hadoop命令行查看OSS数据 旧方式 hadoop...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
MySQL深潜-MDL锁的实现与获取机制
这是一种逻辑意义上的锁，与操作系统内核提供的有限种类mutex不同，MDL可以灵活自定义锁的对象、锁的类型以及不同锁类型的优先级，甚至可以做到在系统不同状态时动态调整不同锁类型的兼容性，极大的方便了数据库对各种查询请求进行合理的...
作业上线问题
130)at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:107)at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:359)at com.sun.proxy.$Proxy...
添加数据源
各挂载参数说明如下表所示。参数 描述 vers 文件系统版本。vers=3：使用NFS v3协议挂载文件系统。vers=4：使用NFS v4协议挂载文件系统。vers=4.0：使用NFS v4.0协议挂载文件系统。nolock 是否启用文件锁。proto 文件系统挂载协议。rsize ...
ECS选型最佳实践
ebmc6e、ebmg6e、ebmc6、ebmg6、ebmc6a、ebmc7a、ebmg6a、ebmg7a系列 大表存储 HBase 一般可以选择d系列。如果业务存在超高IOPS（Input/Output Operations Per Second）需求，可以选择i系列。d3c、d3s、i4 数据库 MySQL NoSQL 对于存储有...
资源分析
计算/存储健康分计分说明 存储健康分：表初始100分，根据通用计算治理项命中的情况进行扣分，以表的大小为权重进行汇总计算，最终汇总到个人/项目/租户粒度。计算健康分：节点初始100分，根据通用计算治理项命中的情况进行扣分。最终汇总到...
资源分析
计算/存储健康分计分说明 存储健康分：表初始100分，根据通用计算治理项命中的情况进行扣分，以表的大小为权重进行汇总计算，最终汇总到个人/项目/租户粒度。计算健康分：节点初始100分，根据通用计算治理项命中的情况进行扣分。最终汇总到...
产品优势
背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口，支持宽表、时序、对象、文本、队列、空间等多种数据模型，适用于日志、账单、标签等多种数据的存储及分析，具有高性能、低成本等特点。...
API概览
表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。DeleteTableColumnStatistics 删除元数据表统计信息 回收数据湖元数据表的字段统计信息。DeleteTableVersion 删除元数据表...
使用限制
20个 单个权限组可创建权限组规则的数量 300个 吞吐量 中国（香港）地域和海外地域通用型NAS各存储规格文件系统的最大吞吐能力如下表所示。如需更大的吞吐能力，请 提交工单 申请。存储规格 地域 可用区 最大读吞吐（GB/s）最大写吞吐（GB/...
计算资源计费
通用计算型 SKU ID vCPU 内存（GiB）最大实例规格 最大实例规格数量 适用场景 OR-3EAB470501 208 768 ecs.g6.26xlarge 2 通用型小型单元，适用于运行零售行业或企业等的应用程序。OR-2DDFCB757E 312 1152 ecs.g6.26xlarge 3 通用型增强计算...
UDF开发（Java）
读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表数据：做过表结构修改（Schema Evolution）的表数据。包含复杂数据类型的表数据。包含JSON数据类型的表数据。Transactional表的表数据。注意事项 在编写Java UDF前，您需要先...
功能特性
功能服务参数表 服务 时效性 功能 适用场景 支持的语音格式 支持调用方式 免费调用量 购买 一句话识别 实时 识别一分钟内的短语音。App语音搜索、语音电话客服、对话聊天、控制口令等场景。PCM编码（无压缩的PCM或WAV文件）、WAV、OPUS、...
数据导入常见问题
通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错“ETL_QUALITY_UNSATISFIED;msg:quality not ...
安装Spark单机版
背景信息 Apache Spark是专为大规模数据处理设计的通用计算引擎。Spark将Scala用作其应用程序框架，启用了内存分布数据集，除了能够提供交互式查询外，还可以迭代优化工作负载。模板示例 Spark单机版（已有VPC）在已有专有网络、交换机和...
内存型
适用场景：数据分析与挖掘 Hadoop、Spark集群以及其他企业大内存需求应用 分布式内存缓存，比如Redis 网站和应用服务器 大型多人在线游戏（MMO）服务器 与操作系统的兼容性说明 更多信息，请参见 Intel实例规格与操作系统兼容性说明。...
弹性裸金属服务器概述
推荐 通用型：存储增强型弹性裸金属服务器实例规格族ebmg7se 通用型弹性裸金属服务器实例规格族ebmg7 通用型弹性裸金属服务器实例规格族ebmg7a 通用型弹性裸金属服务器实例规格族ebmg6a 通用型（平衡增强）弹性裸金属服务器实例规格族ebmg6...
接口说明
通用-哈萨克语 16k 支持 不支持 不支持 不支持 不支持 韩语 通用-韩语 16k 支持 支持 不支持 不支持 不支持 泰语 通用-泰语 16k 不支持 不支持 不支持 不支持 不支持 通用-泰语客服通用 8k 不支持 不支持 不支持 不支持 不支持 印尼语 通用...
接口说明
通用-哈萨克语 16k 支持 不支持 不支持 不支持 不支持 韩语 通用-韩语 16k 支持 支持 不支持 不支持 不支持 泰语 通用-泰语 16k 不支持 不支持 不支持 不支持 不支持 通用-泰语客服通用 8k 不支持 不支持 不支持 不支持 不支持 印尼语 通用...
- 产品推荐
- 这些文档可能帮助您