系统检查点或作业快照
报错：org.apache.flink.util.SerializedThrowable 报错：You are using the new V4 state engine to restore old state data from a checkpoint 报错：No space left on device 报错：java.lang.IllegalArgumentException:Illegal ...
查看运行分析
② 去Apache Flink Dashboard 与 刷新 去Apache Flink Dashboard：Apache Flink Dashboard仅支持Flink引擎版本为 1.14及以上，单击 去Apache Flink Dashboard，您可前往 Apache Flink Dashboard 进行查看。说明 查看Apache Flink Dashboard...
CreateTable-新增元数据表
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM...
SQL常见问题
85)at org.apache.flink.table.factories.FactoryUtil.createTableSource(FactoryUtil.java:134).30 more 报错原因 实时计算引擎vvr-3.0.7-flink-1.12及以前的版本，CDC Source只能单并发运行。但在实时计算引擎vvr-4.0.8-flink-1.13版本后...
收发顺序消息
设置使用接入方式为阿里云，在使用云上消息轨迹的时候，需要设置此项，如果不开启消息轨迹功能，则运行不设置此项。producer.setAccessChannel(AccessChannel.CLOUD);设置为您从阿里云控制台获取的接入点信息，类似...
常见问题
42)at OSSManagerImpl.main(OSSManagerImpl.java:63)错误原因是OSS Java SDK使用了Apache HttpClient 4.4.1，而您的工程使用了与Apache HttpClient 4.4.1冲突的Apache HttpClient或commons-httpclient jar包。要查看工程使用的jar包及版本...
配置实时模板运行参数
org.apache.flink.metrics.prometheus.PrometheusReporter dataphin.vvp.v2:true execution.checkpointing.interval:'180s' execution.checkpointing.min-pause:'180s' table.exec.state.ttl:36 h 运行参数合并及优先级说明：基于模板新建...
收发事务消息
import org.apache.rocketmq.acl.common.AclClientRPCHook;import org.apache.rocketmq.acl.common.SessionCredentials;import org.apache.rocketmq.client.exception.MQClientException;import org.apache.rocketmq.client.producer....
配置实时模板运行参数
Dataphin支持在实时模板中配置运行参数信息，基于当前实时模板创建的实时任务将继承所配置运行参数。本文为您介绍如何配置实时模板运行参数。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引，选择...
Spark本地调试环境搭建
spark-><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>${spark.version}</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.12...
DataStream连接器设置方法
base：<dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-base</artifactId><version>${flink.version}</version></dependency>其中，${flink.version} 是作业运行环境对应的Flink版本，如您的作业运行在 1.15-...
基本概念
应用运行环境 应用运行的环境，例如HSF应用的运行环境EDAS-Container或开源应用的运行容器（如Apache Tomcat）。应用诊断 EDAS针对应用提供了详细的问题排查和性能分析，包括提供当前应用运行的单机上的JVM堆／非堆内存、类加载...
在文件存储 HDFS 版上使用Apache HBase
本文主要介绍在 文件存储 HDFS 版 上使用Apache HBase的方法。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已部署...
收发定时消息和延时消息
重要 社区版的Apache RocketMQ和阿里云 云消息队列 RocketMQ 版 配置方式不同，实现效果也有所差异。社区版的Apache RocketMQ支持延时消息，但不支持定时消息，因此没有专门的定时消息接口。阿里云 云消息队列 RocketMQ 版 不仅同时支持...
Vim教程
本示例中使用的 example.conf 文件如下所示：#Listen:Allows you to bind Apache to specific IP addresses and/or#ports,instead of the default.See also the<VirtualHost>#directive.#Change this to Listen on specific IP addresses ...
基础使用
模式 描述 特点 Session模式 Seesion模式会根据您设置的资源参数创建一个Flink集群，所有作业都将被提交到这个集群上运行。该集群在作业运行结束之后不会自动释放。例如，某个作业发生异常，导致一个Task Manager关闭，则其他所有运行在该...
Dataphin中代码任务运行jar包报错“Java heap space”
问题描述 代码任务中运行JAR包报错“Java heap space”，本地运行正常。Exception in thread"main"java.lang.OutOfMemoryError:Java heap space at org.apache.http.util.CharArrayBuffer.<init>(CharArrayBuffer.java:56)at org.apache....
Low Level REST Client(5.x)
pom依赖<dependency><groupId>org.elasticsearch.client</groupId><artifactId>rest</artifactId><version>5.5.3</version></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-core</artifactId>...
Paimon外部表
关于Apache Paimon的详细信息，请参见 Apache Paimon。前提条件 当前执行操作的账号已具备创建MaxCompute表（CreateTable）的权限。更多表权限信息，请参见 MaxCompute权限。已创建MaxCompute项目。具体操作，请参见 创建MaxCompute项目。...
Spark批式读写Iceberg
groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>3.1.1</version><scope>provided</scope></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.12...
MapReduce开发手册
说明 请确保在代码运行环境设置了环境变量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体配置方法，请参见 配置方案。String accessKeyId=System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");String accessKeySecret=...
公共节点
Flink SQL Flink SQL节点是基于Apache Flink（以下简称Flink）开发的商业版，适用于以YARN模式部署运行的Flink节点，具体操作，请参见 新建Flink SQL类型的公共节点。Spark Stream Spark Stream节点是适用于在Hadoop+yarn集群上运行的Spark...
EMR Serverless Spark与其他VPC间网络互通
运行任务后，在下方的 运行记录 区域，单击任务操作列的 详情。在 任务列表 中的 开发任务 页面，您可以查看相关的日志信息。您能够看到本文示例中插入的数据。SparkSQL任务 创建并启动SQL Compute，详情请参见 管理Compute。Spark配置 ...
使用JDBC Connector导入
package org.myorg.example import org.apache.flink.streaming.api.scala._import org.apache.flink.table.sources._import org.apache.flink.table.api.scala.StreamTableEnvironment import org.apache.flink.table.api._import org....
使用HBase Shell
创建HBase集群后，您可以使用HBase Shell连接HBase，并进行读取和写入数据等操作。本文为您介绍如何连接HBase，以及常用的HBase ...drop 'table1' 相关文档 您可以查看Apache HBase Shell官方文档了解更多信息，详情请参见 Apache HBase官网。
GetPartitions
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetPartitions 系统规定参数。取值：...
基础术语
Fat JAR Fat JAR Fat JAR 是一种可执行的 JAR 包（Executable JAR），包含编译后的类及代码运行所需依赖 jar 的存档，可以使用 java-jar 命令运行该应用程序。Fat JAR 和普通的 JAR 不同在于它包含了依赖的 JAR 包。Gradle Gradle ...
SSL接入点PLAIN机制收发消息
Licensed to the Apache Software Foundation(ASF)under one or more#contributor license agreements.See the NOTICE file distributed with#this work for additional information regarding copyright ownership.#The ASF licenses this...
查看并管理实时实例
运行状态 该实例目前的运行状态包括：启动中、运行中、停止中、停止、运行失败、启动失败。更多信息，请参见 实时实例运行状态说明。消费延时 任务的延迟，即数据源消费的延迟。资源消耗 运行该实例时消耗的资源。最近操作人 最近操作该...
通过SeaTunnel集成平台将数据写入OSS-HDFS服务
bin.tar.gz RUN tar-xzvf apache-seatunnel-incubating-${SEATUNNEL_VERSION}-bin.tar.gz RUN cp-r apache-seatunnel-incubating-${SEATUNNEL_VERSION}/*SEATUNNEL_HOME/RUN rm-rf apache-seatunnel-incubating-${SEATUNNEL_VERSION}*RUN ...
节点类型说明
说明 Flink Vvr SQL是基于Apache Flink（以下简称Flink）开发的商业版，VVR引擎接口完全兼容Flink开源版本，适用于在K8s部署运行的Flink节点。Flink Vvr SQL节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义开发的...
GetPartition
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetPartition 系统规定参数。取值：...
查看集群列表信息
Spark UI：Apache Spark history server提供的Web UI。您可以在此界面查看Spark作业的运行信息。Ganglia监控：用来监控集群内节点的运行状况。Notebook：进入集群对应的DataInsight Notebook页面，Notebook相关操作请参见 管理Notebook。...
Spark MLlib
本文介绍如何在DLA Serverless Spark中运行 Spark MLlib 任务。场景 本示例将在DLA Serverless Spark中通过K-Means聚类算法，将以下数据分成两个族类，然后判断测试数据是否在族类中。0.0 0.0 0.0 0.1 0.1 0.1 0.2 0.2 0.2 9.0 9.0 9.0 9.1...
Hive连接方式
运行JAR包时，如果缺少这两个依赖包，则会提示以下错误：缺失hadoop-common：提示 java.lang.NoClassDefFoundError:org/apache/hadoop/conf/Configuration。缺失hive-jdbc：提示 java.lang.ClassNotFoundException:org.apache.hive.jdbc....
将Apache Kafka MirrorMaker数据迁移到Confluent ...
Kafka MirrorMaker是一款用于在两个Apache Kafka集群之间复制数据的独立工具。它将Kafka消费者和生产者连接在一起。从源集群的Topic读取数据，并写入目标集群的同名Topic。相比于Kafka MirrorMaker，Confluent Replicator是一个更完整的...
GetJMeterLogs-获得JMeter运行日志
获得JMeter运行日志。默认查询第0台机器的日志，并返回机器总数。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...
本地运行和调试包含连接器的作业
本文为您介绍如何在开发者本地环境中运行和调试包含阿里云实时计算Flink版连接器的作业，以便快速验证代码的正确性，快速定位和解决问题，并节省云上成本。背景信息 当您在Inteillij IDEA中运行和调试Flink作业，如果其包含了阿里云实时...
自定义监控指标上报渠道
例如，同时将指标上报至日志服务SLS和Kafka上，您可以在Flink开发控制台目标作业部署详情页签的运行参数中配置如下代码：metrics.reporters:sls,monitor metrics.reporter.sls.factory.class:org.apache.flink.metrics.sls....
Pig开发手册
本文介绍如何在E-MapReduce集群中开发Pig作业流程。在Pig中使用OSS 在Pig中使用OSS路径...f ossref:/emr/jars/script1-hadoop.pig 运行作业 单击 运行 以运行作业。您可以关联一个已有的集群，也可以自动按需创建一个，然后关联上创建的作业。
- 产品推荐
- 这些文档可能帮助您