上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
显式锁定
但是第二个 UPDATE 语句发现它试图更新的行已经被锁住了，因此它等待持有该锁的事务结束。事务二现在就在等待事务一结束，然后再继续执行。现在，事务一执行：UPDATE accounts SET balance=balance-100.00 WHERE acctnum=22222;事务一试图...
Query管理
be_lock_converting_waiters：当前SQL被锁的情况，表示当前SQL被谁（Query_id）锁住，需要等其释放锁。说明 be_lock_waiters和be_lock_converting_waiters采集的都是backend的锁，而不是frontend的锁，排查锁请参见 锁以及排查锁。支持 不...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
通过X2Doris导入数据
CONF_DIR=$HADOOP_HOME/conf export HBASE_HOME=$HADOOP_HOME/./hbase export HADOOP_HDFS_HOME=$HADOOP_HOME/./hadoop-hdfs export HADOOP_MAPRED_HOME=$HADOOP_HOME/./hadoop-mapreduce export HADOOP_YARN_HOME=$HADOOP_HOME/./hadoop-...
GetDeadLockDetailList-查询RDS SQL Server实例的死锁...
sd7402*\\Administrator ObjectOwned string 已经被锁住的对象。testdb1.dbo.test2 ObjectRequested string 当前事务请求加锁的对象。testdb1.dbo.test1 OwnMode string 会话当前持有的锁模式。更多信息，请参见 锁模式。X Spid long 开启...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
基于TairString实现高性能分布式锁
分布式锁是大型应用中最常见的功能之一，基于Redis实现分布式锁的方式有很多。本文先介绍并分析常见的分布式锁实现方式，之后结合阿里巴巴集团在使用 云原生内存数据库Tair 和分布式锁方面的业务经验，介绍使用 Tair 实现高性能分布式锁的...
通过HDP 2.6 Hadoop读取和写入OSS数据
client/hadoop-aliyun-2.7.3.2.6.1.0-129.jar hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/aliyun-*hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/jdom-1.1.jar hadoop/share/...
使用Druid
hyperUnique","fieldName":"user"}]},"tuningConfig":{"type":"hadoop","partitionsSpec":{"type":"hashed","targetPartitionSize":5000000 },"jobProperties":{"mapreduce.job.classloader":"true"} } },"hadoopDependencyCoordinates":...
概览
文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口，提供一种Hadoop兼容的文件系统，对外输出为一个单独的JAR文件，即 aliyun-sdk-dfs-x.y.z.jar。借助该SDK，Apache Hadoop的计算分析应用（如MapReduce、Hive、Spark等）可以使用 ...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
Java线程栈分析-CPU利用率持续升高
根据上述的栈名称，我们从jstack log中找到对应线程：可以看到类加载过程中有三个地方加锁了，查看这些锁：会发现实际上有两把锁，其中一个被递归加锁，更重要的是锁的持有者都是1068线程，另外没有其他线程在等待该锁，说明锁没有竞争，类...
文件存储HDFS版
您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...
数据湖集群
Spark部署 数据湖集群在原有Hadoop2+Spark2和Hadoop3+Spark3的基础上，增加了Hadoop2+Spark3和Hadoop3+Spark2的组合部署模式。您可以根据实际情况，选择满足自己的软件组合。另外，数据湖集群支持Kyuubi，一个企业级的数据湖计算引擎...
锁分析
本文介绍了锁分析的具体操作步骤。操作步骤 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 页，单击 PolarDB-X 2.0 页签。找到目标实例，单击实例ID。在左侧导航栏中，单击 诊断与优化>锁分析。在 锁分析 ...
Spark-2.x示例
val spark=SparkSession.builder().config("spark.hadoop.fs.oss.credentials.provider","org.apache.hadoop.fs.aliyun.oss.AliyunStsTokenCredentialsProvider").config("spark.hadoop.fs.oss.ststoken.roleArn","acs:ram:*:role/...
创建Gateway集群
前提条件 已经在E-MapReduce中创建了Hadoop集群或Kafka集群，详情请参见 创建集群。说明 如果您在2022年12月19日17点（UTC+8）以后第一次创建EMR集群，则不能选择Hadoop、Kafka集群类型。使用限制 本文档仅适用于Hadoop集群和Kafka集群。...
基于TairString实现高性能乐观锁
在大量请求并发访问和更新 Tair 中储存的共享资源时，必须有一种精准高效的并发控制机制来防止逻辑异常和数据错误，乐观锁就是这样一种机制。比起原生Redis，云原生内存数据库Tair 的TairString模块能帮助您实现性能更高、成本更低的乐观锁...
EMR-5.6.x版本说明
Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 3.2.1 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 JindoData 4.3.0 DLF-Auth 2.0.0 Iceberg 0.13.1 Hudi 0.10.1 DeltaLake 1.1.0 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK ...
SmartData 3.1.x版本简介
解决了 hadoop fs-ls-R 命令在文件目录层级深，目录很多的情况下，出现由于线程处于等待状态致使命令无法执行的问题。增强了 hadoop fs-stat 命令，支持显示atime和privilege等。增加了Jindo HDFS客户端路径改写功能，以减少集群迁移时修改...
EMR-3.34.x版本说明
Flink 初始化时更新 config.sh 文件，修复HADOOP_CLASSPATH的问题。Impala 升级Impala至3.4.0版本。升级Shiro至1.7.0版本。支持DLF元数据。支持查询Delta格式的数据。支持一键开启或关闭LDAP功能。Tez 优化了默认配置。HAS 修复在HAS的...
EMR-3.40.x版本说明
Hadoop集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark 2.4.8 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 JindoData 4.3.0 Iceberg 0.13.1 DLF-Auth 2.0.0 Hudi 0.10.1 DeltaLake 0.6.1 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK ...
JindoFS外部客户端
应用场景 JindoFS外部客户端实现了Hadoop文件系统的接口，在用户程序跟E-MapReduce JindoFS Namespace服务网络相通的情况下，用户可以通过JindoFS外部客户端去访问JindoFS上存储的数据，但外部客户端不能利用E-MapReduce JindoFS的数据缓存...
如何选择通用规格和独享规格
集群版 的节点规格与价格 下表以 PolarDB MySQL版 的 集群版 为例，对比了 通用规格 与 独享规格 的节点规格详情与价格。说明 表中的价格均为中国内地 PolarDB MySQL版 的 集群版 中单个计算节点价格。更多地域的计算节点价格，请参见 计算...
Airflow调度DLA Spark作业
DLA Spark工具包兼容了Hadoop的资源配置能力，如果您指定了driver和executor的CPU和Memory，会被自动转换为大于所指定CPU和Memory的最小资源规格。例如，当 executor_cores=2、executor_memory=5 G时，则会被转换为 spark.executor....
EMR-4.8.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.4.0 Bigboot 3.4.0 Hudi 0.6.0 OpenLDAP 2.4.44 Hue 4.4.0 HBase 2.3.4 Zookeeper 3.5.6 ...
锁阻塞
数据库自治服务DAS 为 RDS SQL Server 提供锁优化功能，您可以通过该功能的锁阻塞统计页面快速定位造成长时间阻塞的会话及其详细信息。前提条件 当前不支持 RDS SQL Server 2008 R2云盘版。背景信息 在SQL Server中，为了保持数据的一致性...
锁阻塞
本文介绍如何通过锁阻塞统计页面快速定位造成长时间阻塞的会话及其详细信息。前提条件 实例的存储类型为云盘。实例不能是RDS SQL Server 2008 R2云盘版。背景信息 在SQL Server中，为了保持数据的一致性，当某个会话对特定资源进行修改时，...
风险识别通用资源包
风险识别提供了通用资源包（也称全品类抵扣包），用以抵扣按量付费模式下的所有费用，帮助您减少按量付费的费用开销。本文介绍如何购买和使用通用资源包。购买方式 您可以参考以下步骤购买风险识别通用资源包：登录您的阿里云账号，完成 ...
资源包概述
例如，您购买了通用型NAS资源包，则通用型NAS存储容量使用资源包抵扣，极速型NAS和CPFS存储容量按量付费。下表列出了中国内地资源包抵扣NAS各存储类型存储容量时的抵扣规则。其他地域抵扣规则，请使用 计算器 查看相关信息。资源包 抵扣...
2021年
2021年01月14日 华东2（上海）无 通用视频分类 PAI-ModelHub提供了通用视频分类模型，该模型基于UCF101数据集，采用ResNet3D架构。2021年01月14日 华北2（北京）华东2（上海）华东1（杭州）华南1（深圳）无 MediaFlow Processor EAS 提供的...
通用型节省计划
如果同时购买了通用型和弹性型（特惠版）节省计划，在相同的有效期内，优先抵扣通用型节省计划。折扣策略说明 通用型节省计划支持多个付费模式：3年全预付、3年半预付、3年0预付、1年全预付、1年半预付、1年0预付。不同的付费模式对应不同...
通用型节省计划
如果同时购买了通用型和弹性型（特惠版）节省计划，在相同的有效期内，优先抵扣通用型节省计划。折扣策略说明 通用型节省计划支持多个付费模式：3年全预付、3年半预付、3年0预付、1年全预付、1年半预付、1年0预付。不同的付费模式对应不同...
通用型节省计划
如果同时购买了通用型和弹性型（特惠版）节省计划，在相同的有效期内，优先抵扣通用型节省计划。折扣策略说明 通用型节省计划支持多个付费模式：3年全预付、3年半预付、3年0预付、1年全预付、1年半预付、1年0预付。不同的付费模式对应不同...
通用型节省计划
如果同时购买了通用型和弹性型（特惠版）节省计划，在相同的有效期内，优先抵扣通用型节省计划。折扣策略说明 通用型节省计划支持多个付费模式：3年全预付、3年半预付、3年0预付、1年全预付、1年半预付、1年0预付。不同的付费模式对应不同...
治理项管理
如果您 治理项类型 选择了 通用治理项，则 规则配置 只能选择 自定义添加。规则配置区 自定义添加 单击 自定义添加。在 自定义添加 页面，自定义配置规则。引用通用治理项 单击 引用通用治理项。在 引用通用治理项 页面，配置 选择通用治理...
治理项管理
如果您 治理项类型 选择了 通用治理项，则 规则配置 只能选择 自定义添加。规则配置区 自定义添加 单击 自定义添加。在 自定义添加 页面，自定义配置规则。引用通用治理项 单击 引用通用治理项。在 引用通用治理项 页面，配置 选择通用治理...
计费常见问题
购买了通用型NAS资源包为什么还会欠费？当您购买通用型NAS资源包后，出现欠费情况时，您可以参照以下操作进行排查。查看账号下是否还存在 未抵扣基准容量 和 不支持抵扣项。登录 NAS控制台。在 概览 页面，选择 通用型NAS 页签。在 使用与...
pg_locks
在所有后端已经查询了快速路径锁后，普通锁管理器的剩余部分被作为一个单元锁住，并且所有剩余锁的一个一致快照被作为一个原子动作收集。在解锁普通锁管理器后，谓词锁管理器也被类似地锁住并且所有谓词锁被作为一个原子动作收集。因此，在...
- 产品推荐
- 这些文档可能帮助您