EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
变更日志
[0.9.3-stable.1.11.0-rc1]Fixed 修正扫描过程结构对象package命名与接口不匹配问题。为下一个版本其他功能准备。[0.9.2-stable.1.11.0-rc1]Fixed 修正扫描过程来源标注，区分 code 和 fake 类型的问题。Changed 双向联动配置及JavaDoc相关...
常见问题
org.apache.kudu.client.NonRecoverableException:Could not connect to a leader master.Client configured with 1 master(s)(192.168.0.10:7051)but cluster indicates it expects 3 master(s)(192.168.0.36:7051,192.168.0.11:7051,192....
典型应用
3 tcp 0.0.0.0/0 22/22 允许 允许来自任意IPv4地址的SSH流量。4 tcp 0.0.0.0/0 3389/3389 允许 允许来自任意IPv4地址的RDP流量。5 tcp 0.0.0.0/0 32768/65535 允许 允许来自任意IPv4的地址访问端口范围为32768～65535的TCP流量。此端口范围...
故障协同处理（基于钉钉）
（3）改进分析 H5界面：改进分析包含原因检查、分析详情和改进措施三个子模块。点击 复盘完成 按钮前需校验三个模块的内容完成情况，全部完成后则可进行故障的复盘。原因检查：展示故障发生原因和故障恢复方式等故障详情。分析详情：展示...
创建自定义层
代码示例如下：pip install-target./python numpy 安装完成后，目录结构如下：my-layer-code└─python├─bin├─numpy├─numpy-1.22.4.dist-info└─numpy.libs 在 my-layer-code 目录，执行以下命令打包依赖。zip-r my-layer-code.zip ...
Low Level REST Client(5.x)
注意事项 本文提供的Low Level REST Client示例主要适用于阿里云Elasticsearch 5.5.3版本，不适用于6.3.2版本。如果您的Elasticsearch实例是6.3.2版本，可参见Elasticsearch Java REST Client 6.3.2 官方文档进行配置。Java REST Client...
ACK发布Kubernetes 1.28版本说明
aliyun.1 etcd v3.5.9 CoreDNS v1.9.3.10-7dfca203-aliyun CRI containerd 1.6.20 CSI v1.26.5-92f859a-aliyun CNI Flannel v0.15.1.22-20a397e6-aliyun Terway和TerwayControlplane v1.5.0及以上 NVIDIA Container Runtime v3.13.0 ...
Linux系统的ECS实例中如何添加Web站点
概述 本文主要介绍Linux系统的ECS实例中，如何添加Web站点。详细信息 Linux系统的ECS实例中添加Tomcat站点 提示：本文的配置路径以下内容为例，如果您在自定义环境下添加Tomcat站点，请根据实际安装路径进行配置。执行如下命令，进入绑定...
ListLayers-列出层
compatibleRuntime":["python3.10"],"createTime":"2023-03-30T11:08:00Z","description":"My first layer","layerName":"MyLayer","layerVersionArn":"acs:fc:cn-beijing:186824xxxxxx:layers/fc_layer/versions/1","license":"Apache",...
云卓越架构服务内容说明
4.1.3 完工标准 卓越架构咨询服务完工标准 完成服务范围约定的现状调研与改进建议咨询工作 产出交付物：《卓越架构咨询报告》卓越架构实施服务完工标准 完成服务范围约定的现状调研、方案设计与方案实施工作 产出交付物（非必须，按照项目...
Commons Pool 连接 OceanBase 数据库示例程序
groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.40</version></dependency>添加 commons-pool2 依赖库，以便在项目中能够使用该库的功能和类：通过指定依赖项所属的组织为 org.apache....
请求签名
为了保证请求的完整性和安全性，防止数据被篡改或伪造，对于每一次HTTP或者HTTPS协议请求，阿里云视觉智能开放平台通过AccessKey ID和AccessKey...结果如下：AccessKeyId=yourAccessId&Action=MakeSuperResolutionImage&Format=JSON&RegionId=...
在文件存储 HDFS 版上使用Apache Tez
本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
通过SkyWalking上报Java应用数据
1.0.25->1.1.2 JSON GSON 2.8.x Vert.x 生态 Vert.x Eventbus 3.2+Vert.x Web 3.x 线程调度框架 Spring@Async 4.x and 5.x 缓存 Ehcache 2.x Kotlin Coroutine 1.0.1->1.3.x 插件开发 您可以参考 官方文档 自定义开发一个SkyWalking Java ...
通过SkyWalking上报Java应用数据
1.0.25->1.1.2 JSON GSON 2.8.x Vert.x 生态 Vert.x Eventbus 3.2+Vert.x Web 3.x 线程调度框架 Spring@Async 4.x and 5.x 缓存 Ehcache 2.x Kotlin Coroutine 1.0.1->1.3.x 插件开发 您可以参考 官方文档 自定义开发一个SkyWalking Java ...
作业上线问题
288)at org.apache.flink.table.sqlserver.execution.DelegateOperationExecutor.lambda$validate$22(DelegateOperationExecutor.java:211)at org.apache.flink.table.sqlserver.execution.DelegateOperationExecutor$Lambda$394/...
使用Cloud Toolkit开发Dubbo微服务应用样例工程
Alibaba Cloud Toolkit（简称Cloud Toolkit）是为开发者提供的一款IDE插件，您可以使用Cloud Toolkit快速创建Apache Dubbo应用样例工程，验证后，再使用Cloud Toolkit部署到EDAS上。本文以IntelliJ IDEA为例介绍如何创建一个以Nacos作为...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
Redis
本文主要介绍如何通过DLA Serverless Spark访问云数据库Redis。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，...
配置CDH6使用文件存储 HDFS 版
1|org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat|5424|5425|1848|org.apache.hadoop.mapred.TextInputFormat|hdfs:/cdh6-master:8020/tmp/tpcds-generate/2/catalog_sales|-1|org.apache.hadoop.hive.ql.io....
同步数据到时序表
本文主要介绍了如何配置Kafka写入时序数据。前提条件 已安装Kafka，并且已启动ZooKeeper和Kafka。更多信息，请参见 Kafka官方文档。已开通表格存储服务，创建实例以及创建时序表。具体操作，请参见 使用流程。说明 您也可以通过Tablestore ...
使用kubectl管理作业
Pi is roughly 3.141488791414888 21/07/22 14:37:57 INFO SparkContext:Successfully stopped SparkContext 21/07/22 14:37:57 INFO ShutdownHookManager:Shutdown hook called 21/07/22 14:37:57 INFO ShutdownHookManager:Deleting ...
Hive作业异常排查及处理
22/11/28 08:24:43 ERROR Executor:Exception in task 1.0 in stage 0.0(TID 0)java.lang.OutOfMemoryError:GC overhead limit exceeded at org.apache.hadoop.hive.ql.exec.GroupByOperator.updateAggregations(GroupByOperator.java:...
SpringJDBC 连接 OceanBase 数据库
定义插入数据的 SQL 语句，SQL 语句中指定了要插入的表为 test_springjdbc，列为 id 和 name，插入了两行数据，分别是(1,'A1')、(2,'A2')和(3,'A3')。执行插入数据的 SQL 语句，jdbcTemplate 对象通过调用 update 方法，执行了上述定义的...
HikariCP 连接池连接 OceanBase 数据库示例程序
通过指定依赖项的版本号为 3.3.1。代码如下：<dependency><groupId>com.zaxxer</groupId> <artifactId>HikariCP</artifactId> <version>3.3.1</version>添加 logback-classic 依赖库，用于方便地进行日志记录和管理：通过指定依赖项所属的...
Databricks Runtime
有关顶级库和其他提供的库的完整列表，请参见以下有关每个可用Runtime的文章：Databricksr Runtime 7.4 ML（测试版）Databricks Runtime 7.3 LTS ML Databricks Runtime 7.2 ML Databricks Runtime 7.1 ML Databricks Runtime 7.0 ML ...
DBCP 连接池连接 OceanBase 数据库示例程序
代码如下：<dependencies><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.47</version></dependency><dependency><groupId>org.apache.commons</groupId><artifactId>commons-dbcp2...
将应用从HSF架构迁移到Dubbo（Ali-Tomcat）
前提条件 迁移过程中需要依赖以下组件：启动轻量级配置及注册中心 Dubbo 2.7.3 EDAS-container V3.5.5 edas-dubbo-extension 2.0.6 假设HSF和Dubbo服务都继承自同一个接口，将这个接口单独剥离出来，命名为 edas-demo-interface，只包含...
EMR-3.45.x版本说明
3.45.0版本：4.6.4 Knox 1.5.0 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Zookeeper 3.6.3 HBase 1.7.1 Phoenix 4.16.1 自定义集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 ...
基于eRDMA增强型实例部署Spark集群
eRDMA-1.0-for-spark-3.2.1.jar:/path/disni-2.1-jar-with-dependencies.jar spark.executor.extraClassPath/path/spark-eRDMA-1.0-for-spark-3.2.1.jar:/path/disni-2.1-jar-with-dependencies.jar spark.shuffle.manager org.apache....
一对一专家服务工作说明书
2.3 软件基础问题排查 服务内容 服务范围 Nginx异常排查 1.Nginx服务无法启动排查 Apache异常排查 1.Apache服务无法启动排查 FTP异常排查 1.FTP软件无法启动排查 2.FTP无法连接访问排查 3.FTP无法上传文件排查 宝塔面板异常排查 1....
通过SeaTunnel集成平台将数据写入OSS-HDFS服务
NAME READY STATUS RESTARTS AGE flink-kubernetes-operator-5f466b8549-mgchb 1/1 Running 3(23h ago)1 步骤二：设置配置文件 通过添加配置文件，确定SeaTunnel启动后数据输入、处理和输出的方式和逻辑。配置示例如下：env {#You can set ...
InsertApplication-创建 ECS 集群的应用
常用的应用组件 ID 及含义：4：Apache Tomcat 7.0.91 7：Apache Tomcat 8.5.42 5：表示 OpenJDK 1.8.x 6：表示 OpenJDK 1.7.x 该参数需要更新 Java 或者 Python SDK 版本到 2.57.3 或以上版本才可以设置，未使用 EDAS 提供的 SDK 的（例如...
使用MongoDB存储日志数据
当然上述不足的地方也有办法改进，方法是给分片key里引入一个额外的因子，比如原来的shard key是 {path:1}，引入额外的因子后变成：{path:1,ssk:1} 其中 ssk 可以是一个随机值，比如_id的hash值，或是时间戳，这样相同的path还是根据时间...
部署LAMP环境（Ubuntu）
sudo systemctl start apache2 sudo systemctl enable apache2 运行以下命令，查看Apache服务状态。sudo systemctl status apache2 返回结果类似如下所示，表示Apache已启动。步骤二：安装并配置MySQL 安装MySQL。运行以下命令，安装MySQL...
使用只读实例
依赖包<dependency><groupId>org.apache.tinkerpop</groupId><artifactId>gremlin-driver</artifactId><version>3.4.3</version></dependency>实例信息 主实例:host:$master_host 只读实例1:host:$read_host1 只读实例2:host:$read_host2 ...
部署LAMP环境（Ubuntu）
sudo systemctl start apache2 sudo systemctl enable apache2 运行以下命令，查看Apache服务状态。sudo systemctl status apache2 返回结果类似如下所示，表示Apache已启动。步骤二：安装并配置MySQL 安装MySQL。运行以下命令，安装MySQL...
镜像介绍
阿里云轻量应用服务器主要提供三种镜像：应用镜像、系统镜像和自定义镜像，在创建轻量应用服务器时，您可根据实际需求，选择对应的镜像。本文为您介绍轻量应用服务器支持镜像的类型及其具体镜像名称、镜像版本等信息。镜像类型 阿里云轻量...
如何管理故障
本文档主要介绍如何管理故障。故障发生条件 当事件重要程度上升、整体影响面恶化、持续长时间未解决，综合评估已达到故障时（P1-P4），处理人可手动将事件升级为故障。当报警来源的指标持续恶化，触发故障产生规则，系统自动产生故障。故障...
- 产品推荐
- 这些文档可能帮助您