Spark Streaming
本文介绍DLA Serverless Spark如何提交Spark Streaming作业以及Spark Streaming作业重试的最佳实践。前提条件 在DLA Serverless Spark中运行Spark Streaming作业前，您需要完成以下准备工作：授权DLA Serverless Spark访问用户VPC网络的...
Hadoop Streaming
本文为您介绍如何使用Python提交Hadoop Streaming作业。前提条件 已在E-MapReduce控制台上创建Hadoop集群。创建集群详情，请参见 创建集群。操作步骤 通过SSH方式连接集群，详情请参见 使用SSH连接主节点。新建文件 mapper.py。执行以下...
Spark Streaming消费
日志服务采集到日志数据后，您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下：<dependency><groupId>...
Streaming SQL作业配置
本文介绍Streaming SQL作业配置的操作步骤。背景信息 Streaming SQL的详细信息请参见 Spark Streaming SQL。在Streaming SQL作业配置过程中，您需要设置依赖库。以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，...
Streaming Tunnel SDK示例（Python）
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
Spark Streaming作业配置
本文介绍如何配置Spark Streaming类型的作业。前提条件 已创建好项目，详情请参见 项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部...
创建EMR Spark Streaming节点
EMR Spark Streaming节点用于处理高吞吐量的实时流数据，并具备容错机制，可以帮助您快速恢复出错的数据流。本文为您介绍如何创建EMR Spark Streaming节点并进行数据开发。前提条件 已注册EMR集群至DataWroks，详情请参见 注册EMR集群至...
实时Spark Streaming消费示例
Spark Structured Streaming Scala访问LogHub 代码示例#StructuredLoghubWordCount.Scala object StructuredLoghubSample { def main(args:Array[String]){ if(args.length){ System.err.println("Usage:StructuredLoghubSample...
通过Spark Streaming作业处理Kafka数据
本文介绍在阿里云E-MapReduce创建的包含kafka服务的DataFlow集群中，如何使用Spark Streaming作业从Kafka中实时消费数据。前提条件 已注册阿里云账号。已开通E-MapReduce服务。已完成云账号的授权，详情请参见 角色授权。步骤一：创建...
使用Spark Structured Streaming实时处理Kafka数据
本文介绍如何使用阿里云 Databricks 数据洞察创建的集群去访问外部数据源 E-MapReduce，并运行Spark Structured Streaming作业以消费Kafka数据。前提条件 已注册阿里云账号，详情请参见 阿里云账号注册流程。已开通 E-MapReduce服务。已...
Dataphin集成任务报错“Application was streaming ...
问题描述 本文主要描述了Dataphin集成任务报错“Application was streaming results when the connection failed.Consider raising value of 'net_write_timeout' on the server.”的解决方法。问题原因 服务端的问题，等待将一个block发送...
基于pgpool实现读写分离
本文介绍ECS实例上的PostgreSQL如何结合pgpool实现读写分离，您也可以通过RDS PostgreSQL实例及只读实例简化操作步骤。背景信息 不使用pgpool实现数据库的高可用时，pgpool自身是无状态的，性能损耗很小，同时还支持横向扩展，因此搭配自身...
多轮对话搜索API
docId":"12860455011047291267","name":"国未保电〔2021〕2号.docx","score":0.75461437213648086,"title":""}],"search_recommend":["溺水是什么？如何预防溺水？溺水后如何急救？},"content":"为了防止未成年人溺水，有关部门...
物化视图
当您需要优化重复且耗时较长的复杂查询时，您可以使用 云数据库 SelectDB 版 中的物化视图功能来缓存复杂查询，实现快速访问和高效数据处理。概述 物化视图是将预先计算（根据定义好的SELECT语句）的数据集，存储在 云数据库 SelectDB 版 ...
FE参数配置
当您不关心tablet的存储介质是什么时，可以将值设置为true。drop_backend_after_decommission 默认值：false 是否可以动态配置：true 是否为Master FE节点独有的配置项：true 说明：该配置用于控制系统在成功下线（Decommission）BE后，...
自建Oracle迁移至DataHub
阿里云流式数据服务DataHub 是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。本文介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle迁移...
RDS MySQL同步至DataHub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 同步至 ...
MySQL
MySQL CDC源表不支持读取PolarDB MySQL版1.0.19及以前版本的多主架构集群（什么是多主集群？PolarDB MySQL版1.0.19及以前版本的多主架构集群产生的Binlog可能出现重复Table id，导致CDC源表Schema映射错误，从而解析Binlog数据报错。...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
产品简介
本文介绍什么是流数据服务Confluent（Confluent Data Streaming Services）。什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache ...
Unity远程渲染最佳实践
背景信息 Unity Render Streaming是Unity开源的一个高质量、高复杂的3D模型在云端渲染，手机端、浏览器显示的解决方案。基于Unity Render Streaming容器化Unity应用，可以实现画面在云端渲染、然后实时传输到浏览器的云游戏场景。关于Unity...
特性与优势
安全稳定 稳定的协议 自研ASP协议（Adaptive Streaming Protocol）是一套高性能、高可靠、高安全的协议，其中Streaming是指流式、流化传输，图形命令流、图像流、音视频流均已纳入到ASP协议的设计考虑之中。ASP协议涵盖图像分析、压缩编码...
ASP协议
ASP协议优势 ASP协议（Adaptive Streaming Protocol）是一套高性能、高可靠、高安全的协议，其中Streaming是指流式或流化传输，图形命令流、图像流、音视频流均已纳入到ASP协议的设计考虑之中。ASP协议涵盖图像分析、压缩编码、实时流媒体...
将云电脑、云电脑池或镜像升级为ASP协议
背景信息 协议优势 ASP协议（Adaptive Streaming Protocol）是一套高性能、高可靠、高安全的协议，其中Streaming是指流式、流化传输，图形命令流、图像流、音视频流均已纳入到ASP协议的设计考虑之中。ASP协议涵盖图像分析、压缩编码、实时...
云渲染串流计费
定价 云渲染串流是视频直播面向云渲染（如数字文旅、云游戏等场景）提供的渲染和串流服务，该服务需要结合云渲染GCS产品一起使用，云渲染GCS产品详情，请参见 什么是云渲染GCS。运行一个云渲染应用，将产生两部分费用：云渲染GCS侧会按照...
配置HTTP/2
什么是HTTP/2 HTTP/2也被称为HTTP 2.0，相对于HTTP 1.1新增了多路复用、压缩HTTP头、划分请求优先级和服务端推送等特性，解决了在HTTP 1.1中一直存在的问题，优化了请求性能，同时兼容了HTTP 1.1的语义。目前，Chrome、Edge、Safari和...
流式数据通道概述
什么是云消息队列 Kafka 版？默认使用批量数据通道，支持流式数据通道模式，需要联系Kafka值班同学后台打开。LogStash日志采集端：使用Logstash（流式数据传输）。MaxCompute流式数据通道服务功能点如下：提供流式语义API：通过流式服务的...
直播域名
说明 如果您是初次接触域名解析，对“什么是域名解析”、“为什么要解析域名”、“如何进行域名解析”、“什么是A记录”、“什么是CNAME记录”、“CNAME记录与A记录的差别”有疑问，请参见 什么是域名解析？添加域名后，您需要分别对推流域...
直播互动解决方案
在线直播教育的场景通常会涉及多个直播间，且每个直播间中也会有多名成员。本文以单直播间、一名老师、两名学生的场景为例，说明如何使用 云消息队列 MQTT 版 实现直播...直播场景需要传输流媒体服务，详细信息，请参见 什么是音视频通信。
公告
本文为您提供关于MaxCompute使用功能的各项更新记录。DataWorks独享资源组PyODPS节点升级公告 尊敬的MaxCompute用户：DataWorks将于北京时间 2024年03月11日（周一）至 2024年04月25日（周四）期间，逐步升级各个地域的独享资源组，以增强...
简介
背景信息 Spark Streaming SQL是基于Spark Structured Streaming开发完成的，所有语法功能和使用限制遵循Spark Structured Streaming的标准，因此可以使用SQL语句来开发流式分析作业。注意事项 EMR集群是否支持Spark Streaming SQL功能与...
基本概念
HLS（包括HLS+fMP4）和DASH是最常用的自适应流媒体传输技术（Adaptive Video Streaming），推荐使用。编码方式 视频编码方式（Codec）是指能够对数字视频进行压缩或解压缩（视频解码）的程序或者设备。通常这种压缩属于有损数据压缩。也...
基本概念
码率控制方法 码率控制是指视频编码中决定输出码率的过程，常用的码率控制方法有：VBR（Variable Bitrate）：动态比特率，也就是没有固定的比特率，音视频压缩软件在压缩时根据音视频数据的复杂程度即时确定使用什么比特率，这是以质量为...
常见问题
Spark Streaming 为什么Spark Streaming作业运行一段时间后无故结束？为什么Spark Streaming作业已经结束，但是E-MapReduce控制台显示作业状态还处于“运行中”？在哪里可以查看Spark历史作业？您可以在EMR控制台目标集群的 访问链接与端口...
流式读写
Spark Structured Streaming读写 spark.readStream.format("delta").load("/tmp/delta_table").select("name","sales").groupBy("name").agg(sum("sales")).writeStream.format("delta").outputMode("complete").option(...
- 产品推荐
- 这些文档可能帮助您