系统检查点或作业快照
需要配置 state.backend.gemini.engine.type:STREAMING 后重启作业才能生效。参数配置方法请参见 如何配置作业运行参数？报错：No space left on device 报错详情 在作业运行过程中，出现类似以下异常。java.io.IOException:No space left ...
数据导入常见问题
Flink如何自动重启失败的Task？如何手动停止Flink job，并且恢复Flink job至停止前的状态？Flink Connector 使用事务接口的exactly-once时，导入失败，该如何解决？flink-connector-jdbc_2.11 Sink到StarRocks时间落后8小时，该如何处理？...
离线Spark消费示例
本文介绍Spark如何访问SLS。Spark RDD访问SLS 代码示例#TestBatchLoghub.Scala object TestBatchLoghub { def main(args:Array...相关文档 Streaming访问SLS：Loghub数据源 Spark访问Kafka：Structured Streaming+Kafka Integration Guide
Unity远程渲染最佳实践
重启后，在 Package Manager 页面可以看到Unity Render Streaming包已经导入。在 Package Manager 页面的 Samples 区域下，单击 Import，导入官方的Example。本文以导入官方1.19 MB的Example Samples为例。导入后，可以看到Assets目录已...
提交作业和查看作业信息
yarn-client方式（默认）streaming-sql-f test.sql yarn-cluster方式 streaming-sql-master yarn-deploy-mode cluster-f test.sql 查看作业信息 Spark官方发布的Structured Streaming功能，暂不支持查看具体Structured Streaming作业的运行...
Spark Streaming作业配置
本文介绍如何配置Spark Streaming类型的作业。前提条件 已创建好项目，详情请参见 项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部...
Streaming Tunnel SDK示例（Python）
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
Streaming SQL作业配置
本文介绍Streaming SQL作业配置的操作步骤。背景信息 Streaming SQL的详细信息请参见 Spark Streaming SQL。在Streaming SQL作业配置过程中，您需要设置依赖库。以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，...
Hadoop Streaming
本文为您介绍如何使用Python提交Hadoop Streaming作业。前提条件 已在E-MapReduce控制台上创建Hadoop集群。创建集群详情，请参见 创建集群。操作步骤 通过SSH方式连接集群，详情请参见 使用SSH连接主节点。新建文件 mapper.py。执行以下...
Spark Streaming
本文介绍DLA Serverless Spark如何提交Spark Streaming作业以及Spark Streaming作业重试的最佳实践。前提条件 在DLA Serverless Spark中运行Spark Streaming作业前，您需要完成以下准备工作：授权DLA Serverless Spark访问用户VPC网络的...
查看Spark监控
DLA提供了Spark虚拟集群的性能监控功能，本文介绍如何通过DLA管理控制台查看...Structured Streaming Processing Rate 当前Structured Streaming每秒的处理速率。Structured Streaming Input Rate 当前Structured Streaming每秒的Input速率。
通过ASM实现gRPC链路追踪
Server streaming RPC 使用Java语言通过服务端获取Headers实现Server streaming RPC。对Headers无感知。使用Go语言通过服务端获取Headers实现Server streaming RPC。在方法中直接调用 metadata.FromIncomingContext(ctx)，上下文参数 ctx ...
通过ASM实现gRPC链路追踪
Server streaming RPC 使用Java语言通过服务端获取Headers实现Server streaming RPC。对Headers无感知。使用Go语言通过服务端获取Headers实现Server streaming RPC。在方法中直接调用 metadata.FromIncomingContext(ctx)，上下文参数 ctx ...
创建EMR Spark Streaming节点
EMR Spark Streaming节点用于处理高吞吐量的实时流数据，并具备容错机制，可以帮助您快速恢复出错的数据流。本文为您介绍如何创建EMR Spark Streaming节点并进行数据开发。前提条件 已注册EMR集群至DataWroks，详情请参见 注册EMR集群至...
作业模板
查询语句块 类似 streaming.query.name 等作业参数无法通过SQL表达，因此需要在SQL查询语句前使用SET进行必要的参数配置。合法的查询语句块如下。SET streaming.query.name=${queryName};queryStatement 作业模板-创建数据库。dbName：数据...
通过Spark Streaming作业处理Kafka数据
本文介绍在阿里云E-MapReduce创建的包含kafka服务的DataFlow集群中，如何使用Spark Streaming作业从Kafka中实时消费数据。前提条件 已注册阿里云账号。已开通E-MapReduce服务。已完成云账号的授权，详情请参见 角色授权。步骤一：创建...
简介
背景信息 Spark Streaming SQL是基于Spark Structured Streaming开发完成的，所有语法功能和使用限制遵循Spark Structured Streaming的标准，因此可以使用SQL语句来开发流式分析作业。注意事项 EMR集群是否支持Spark Streaming SQL功能与...
Kafka数据源
Streaming作业运行之后，会自动在/mnt/disk1/log/spark-streaming 下生成prometheus支持的*.prom 文件，每个applicationid生成一个，文件名称格式是 application_name-applicationId，Streaming作业完成或者执行 kill-15 命令的时候会自动...
配置说明
情况二 SET streaming.query.name=one_test_job_1 SET streaming.query.name=one_test_job_2-query 1 CREATE TABLE tb_test_1 AS SELECT.-query1的queryName是"one_test_job_2。配置说明 配置类别 对应于DataFrame API SQL配置格式 说明 ...
Spark概述
流计算主要包括Spark Streaming和Flink引擎，Spark Streaming提供DStream和Structured Streaming两种接口，Structured Streaming和Dataframe用法类似，门槛较低。Flink适合低延迟场景，而Spark Streaming更适合高吞吐的场景，详情请参见 ...
LogHub
本文介绍了如何使用DLA Spark Streaming访问LogHub。前提条件 已经创建了Spark虚拟集群。具体操作请参见 创建虚拟集群。已经开通对象存储OSS（Object Storage Service）服务。具体操作请参见 开通OSS服务。操作步骤 准备以下测试代码来连接...
Dataphin集成任务报错“Application was streaming ...
问题描述 本文主要描述了Dataphin集成任务报错“Application was streaming results when the connection failed.Consider raising value of 'net_write_timeout' on the server.”的解决方法。问题原因 服务端的问题，等待将一个block发送...
概述
ON-OSS示例（Scala）OSS UnstructuredData示例（Scala）SparkPi示例（Scala）支持Spark Streaming LogHub示例（Scala）支持Spark Streaming LogHub写MaxCompute示例（Scala）支持Spark Streaming DataHub示例（Scala）支持Spark Streaming ...
使用Spark Structured Streaming实时处理Kafka数据
本文介绍如何使用阿里云 Databricks 数据洞察创建的集群去访问外部数据源 E-MapReduce，并运行Spark Structured Streaming作业以消费Kafka数据。前提条件 已注册阿里云账号，详情请参见 阿里云账号注册流程。已开通 E-MapReduce服务。已...
实时Spark Streaming消费示例
Spark Structured Streaming Scala访问LogHub 代码示例#StructuredLoghubWordCount.Scala object StructuredLoghubSample { def main(args:Array[String]){ if(args.length){ System.err.println("Usage:StructuredLoghubSample...
重启实例或节点
重启方式 支持 重启 和 强制重启：重启：当实例的 状态 为 正常（绿色）时，才可进行重启，否则需要进行强制重启。实例在重启过程中可持续提供服务（需要满足上文的前提条件），但耗时较长。重要 节点在重启期间，对应的CPU和内存使用率会...
SDK概述
Spark Structured Streaming支持Kudu数据源。Loghub数据源支持部分参数动态调整。v1.8.0 新增DataHub DSv2。Spark Structured Streaming支持Tablestore数据源。Spark Streaming SQL适配Tablestore数据源。优化Loghub数据源服务异常重试时间...
重启集群
云数据库ClickHouse 支持重启集群，遇到集群不可用或者需要重启解决的问题时，您可以自主完成重启。本文介绍如何在控制台上重启集群。注意事项 已创建集群。具体操作，请参见 新建集群。目标集群的状态为运行中。重启集群会造成30秒左右的...
重启实例
重启操作是维护云服务器的一种常用方式，如系统更新、重启保存相关配置等。本文介绍如何通过控制台和API重启实例。警告 重启实例会造成您的实例停止工作，可能导致业务中断，建议您在非业务高峰期时执行该操作。前提条件 待重启的实例必须...
重启实例
当实例连接数满或出现访问异常时，您可以重启 云原生内存数据库 Tair。重启的影响与注意事项 重启可能发生 数据丢失。重启过程中实例会发生 秒级闪断，请判断业务影响后执行重启操作，重启前请做好业务安排并 确保应用有重连 机制。操作...
重启实例
当实例连接数满或出现访问异常时，您可以重启 云数据库 Redis 版。重启的影响与注意事项 重启可能发生 数据丢失。重启过程中实例会发生 秒级闪断，请判断业务影响后执行重启操作，重启前请做好业务安排并 确保应用有重连 机制。操作步骤 ...
漏洞公告|Apache Log4j2远程代码执行漏洞
restore.sh 20211213001755 说明 对于已经在运行的YARN作业（Application，例如，Spark Streaming或Flink作业），需要停止作业后，批量滚动重启YARN NodeManager。重启服务。Hive、HDFS、Presto、Impala、Druid、Flink、Solr、Ranger、...
重启实例
当实例出现连接数满或性能问题时，您可以手动重启实例。前提条件 实例状态为 运行中。影响 重启实例会造成30秒左右的连接中断，请确保业务有自动重连机制，建议在重启前停止业务写入，做好业务安排，谨慎操作。警告 RDS基础系列实例只有...
重启实例
当实例出现连接数满或性能问题时，您可以手动重启实例。前提条件 实例状态为 运行中。影响 重启实例会造成30秒左右的连接中断，请确保业务有自动重连机制，建议在重启前停止业务写入，做好业务安排，谨慎操作。警告 RDS基础系列实例只有...
重启实例或节点
当云数据库MongoDB单节点实例、副本集实例、分片集群实例、分片集群实例中指定节点（任意一个Mongos节点或Shard节点）出现连接数满或性能问题时，您可以手动重启实例或指定节点。注意事项 重启实例期间会启停进程，系统会断开当前所有连接...
开发入门
本文介绍Spark Streaming如何消费Log Service中的日志数据和统计日志条数。Spark接入Log Service 方法一：Receiver Based DStream val logServiceProject=args(0)/LogService中的project名。val logStoreName=args(1)/LogService中的...
重启实例
当实例出现连接数满或性能问题时，您可以手动重启实例。前提条件 实例状态为 运行中。影响 重启实例会造成30秒左右的连接中断，请确保业务有自动重连机制，建议在重启前停止业务写入，做好业务安排，谨慎操作。说明 RDS基础系列实例只有...
重启实例
重启单台实例：找到需要重启的实例，在 操作 列中，选择>实例状态>重启。重启多个实例：选中一台或多台需要重启的实例，在实例列表底部，选择>重启。在 重启实例 对话框中，选择 重启方式，单击 确定。相关文档 重启一台处于运行中...
重启实例
当实例出现连接数满或性能等问题时，您可以通过手动重启实例来缓解或解决。背景信息 使用RDS实例的过程中，您可能会遇到以下情况：实例出现连接数满或性能问题时，可通过重启实例解决。个别参数修改后需要生效，可通过重启实例解决。实例...
基础使用
streaming-sql 说明 如果您已添加DeltaLake组件，则可以直接执行 streaming-sql 命令。如果集群内没有默认配置，您可以通过以下配置来使用Delta Lake。streaming-sql-jars/path/to/delta-core_2.11-0.6.1.jar-conf spark.sql.extensions=io...
- 产品推荐
- 这些文档可能帮助您