读取PostgreSQL数据报错:org.postgresql.util.PSQLException:FATAL:terminating connection due to conflict with recovery 写入/读取MySQL报错:Application was streaming results when the connection failed.Consider raising value ...
命令结果中的IsMutable列查看是否支持动态配置。如果是修改MasterOnly的配置项,则该命令会直接转发给Master FE并且仅修改Master FE中对应的配置项。通过该方式修改的配置项将在FE进程重启后失效。更多该命令的帮助,可以通过 HELP ADMIN ...
本文介绍如何配置Spark Streaming类型的作业。前提条件 已创建好项目,详情请参见 项目管理。已准备好作业所需的资源,以及作业要处理的数据。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部...
日志服务采集到日志数据后,您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下:<dependency><groupId>...
系统默认的最大Stream Load导入数据量为10 GB,所以导入超过10 GB的文件需要修改BE的配置项 streaming_load_max_mb。例如,待导入文件大小约为15 GB(15360 MB),则可以修改BE的配置项 streaming_load_max_mb 大于15 GB即可。curl-...
本文介绍Streaming SQL作业配置的操作步骤。背景信息 Streaming SQL的详细信息请参见 Spark Streaming SQL。在Streaming SQL作业配置过程中,您需要设置依赖库。以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明,...
[hadoop@emr-header-1~]#streaming-sql-master yarn-client-jars emr-datasources_shaded_2.11-${version}.jar-driver-class-path emr-datasources_shaded_2.11-${version}.jar 工作流方式 详情请参见 Streaming SQL作业配置。
由于默认的最大Stream Load导入数据量为 10 GB,所以导入超过10 GB的文件就需要修改BE的配置 streaming_load_max_mb。例如,如果待导入文件大小为15 GB,则需修改BE配置 streaming_load_max_mb 为16000即可。Stream Load的默认超时为300秒...
如果想持久化修改结果,请用如下命令:curl-X POST http://{be_ip}:{be_http_port}/api/update_config?streaming_load_max_mb=1024\&persist=true配置项列表 alter_tablet_worker_count 默认值:3 说明:进行schema change的线程数。...
通过直播时移功能,在直播过程中可以任意回看过去的直播内容,能够让观众在错过精彩内容时进行回放,提供更加全面和深入的直播观看体验。本文介绍配置直播时移的操作步骤。使用限制 直播时移最大支持直播观看人数为10万人,如果需要支持更...
当前仅EMR Spark Streaming和EMR Streaming SQL任务支持配置该参数,并且参数为JSON格式。StartImmediately Boolean 否 true 发布后是否立即启动。取值如下:true:发布后立即启动。false:发布后暂不启动。该参数与 DataWorks控制台 中,...
当前仅EMR Spark Streaming和EMR Streaming SQL任务支持配置该参数,并且参数为JSON格式。StartImmediately Boolean 否 true 发布后是否立即启动。该参数与 DataWorks控制台 中,EMR Spark Streaming和EMR Streaming SQL数据开发任务,编辑...
ALL mode string 消息数据推送到函数计算时的底层应用模式:event-streaming:事件流模式,按照数组格式推送事件,会根据用户推送配置将一个或多个消息事件以批的形式推送到函数中进行处理,适合端到端的流式数据处理场景。event-driven:...
名称 类型 描述 示例值 object EventBridge 触发器运行环境参数配置 batchWindow BatchWindow 攒批窗口配置。deadLetterQueue DeadLetterQueue 是否启用死信队列。配置该参数即为启用死信队列,默认不启用死信队列,超过重试策略后的消息将...
名称 类型 描述 示例值 object 事件推送配置。mode string 注意 该参数已废弃。消息数据推送到函数计算时的底层应用模式:event-streaming:事件流模式,按照数组格式推送事件,会根据用户推送配置将一个或多个消息事件以批的形式推送到...
当前仅EMR Spark Streaming和EMR Streaming SQL任务支持配置该参数,并且参数为JSON格式。FileId Long 100000001 文件的ID。NodeConfiguration Object 文件的调度配置。RerunMode String ALL_ALLOWED 重跑属性。取值如下:ALL_ALLOWED:...
当前仅EMR Spark Streaming和EMR Streaming SQL任务支持配置该参数,并且参数为JSON格式。StartImmediately Boolean 否 true 发布后是否立即启动。取值如下:true:发布后立即启动。false:发布后暂不启动。该参数与 DataWorks控制台 中,...
当前仅EMR Spark Streaming和EMR Streaming SQL任务支持配置该参数,并且参数为JSON格式。StartImmediately Boolean 否 true 发布后是否立即启动。取值如下:true:发布后立即启动。false:发布后暂不启动。该参数与 DataWorks控制台 中,...
DataHub核心配置参数 重要 Structured Streaming消费DataHub不需要填写参数 subId。主要是因为DataHub的消费offset由Spark管理,不需要DataHub管理,所以不需要提供 subId。参数 描述 是否必选 access.key.id 创建DataHub的阿里云AccessKey...
clusterId":"C-1234567","topics":"kafka_topic","consumer.group":"kafka_consumer_group"}],"outputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic"}]} 监控配置,仅SPARK_STREAMING类型作业支持监控配置。...
[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic","consumer.group":"kafka_consumer_group"}],"outputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic"}]} 监控配置,仅SPARK_STREAMING类型作业支持...
支持:SPARK_SQL、SPARK_STREAMING、MR、SQOOP、PIG、FLINK、STREAMING_SQL、IMPALA_SQL、PRESTO_SQL、SPARK、Hive_SQL、Hive、SHELL及SPARK_SHELL。mode String YARN 模型模式。支持:YARN和LOCAL。示例 请求示例 http(s):/[Endpoint]/?...
[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic","consumer.group":"kafka_consumer_group"}],"outputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic"}]} 监控配置,仅SPARK_STREAMING类型的作业...
查询语句块 类似 streaming.query.name 等作业参数无法通过SQL表达,因此需要在SQL查询语句前使用SET进行必要的参数配置。合法的查询语句块如下。SET streaming.query.name=${queryName};queryStatement 作业模板-创建数据库。dbName:数据...
本文为您介绍E-MapReduce中DeltaLake的配置信息及其常用命令的示例。DeltaLake配置信息 EMR中DeltaLake的默认配置信息如下:Spark 2.X环境 spark.sql.extensions io.delta.sql.DeltaSparkSessionExtension Spark 3.X环境 spark.sql....
删除配置。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 JsonStr string ...
删除预警配置。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 JsonStr ...
更新预警配置。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 JsonStr ...
变更历史 变更时间 变更内容概要 操作 2024-02-23 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。2024-02-23 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响...
新建配置。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 JsonStr string ...
来新建预警配置。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 JsonStr ...
调用UpdateSkillGroupConfig更新配置。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 ...
变更历史 变更时间 变更内容概要 操作 2024-02-23 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。2024-02-23 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响...
变更历史 变更时间 变更内容概要 操作 2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响...
变更历史 变更时间 变更内容概要 操作 2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响...
{"conditions":"所有条件的配置信息"} BaseMeAgentId long 否 业务空间 Id 请求参数 JSON 字符串信息 属性 值类型 是否必须 说明 conditions List是 所有条件的配置信息 rules List是 所有规则的配置信息 条件与规则详细配置信息请参考 ...
变更历史 变更时间 变更内容概要 操作 2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响...
变更历史 变更时间 变更内容概要 操作 2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响...
变更历史 变更时间 变更内容概要 操作 2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响...
变更历史 变更时间 变更内容概要 操作 2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。2023-08-01 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响...