Hudi

同时该框架还支持自动管理及合并小文件,保持指定的文件大小,从而在处理数据插入更新时,不会创建过多的小文件,引发查询端性能降低,避免手动监控合并小文件的运维负担。详情请参见 Apache Hudi。类别 详情 支持类型 源表结果表 ...

应用采集器常见问题

分别修改collector/collector.configjavaagent/javaagent.config配置项。collector.listen.port=9996 profiler.collector.port=9996 找不到JAVA_HOME报错如何处理?如果是Linux系统在collector/run.shjavaagent/attach.sh中手动添加...

Custom Runtime支持Loggie Agent日志扩展

您可以在自定义运行时的函数中使用Loggie Agent从文件中采集日志,然后上传到日志服务SLS进行日志的存储自定义分析。前提条件 已创建日志项目日志库。具体操作,请参见 创建项目Project 创建Logstore。重要 创建的日志项目必须要...

Custom Runtime支持Loggie Agent日志扩展

您可以在自定义运行时的函数中使用Loggie Agent从文件中采集日志,然后上传到 日志服务SLS 进行日志的存储自定义分析。前提条件 函数计算:创建服务。日志服务SLS:创建项目Project 创建Logstore。说明 创建的日志项目必须 步骤一 ...

Cluster Linking

HOME}/bin:$PATH#Source集群的Bootstrap Server地址 export SOURCE_ADDRESS=<your source cluster access address>#Destination集群的Bootstrap Server地址 export DESTINATION_ADDRESS=配置Source集群访问文件${CONFLUENT_CONFIG}/source....

Cluster Linking

该功能允许不同的Kafka集群之间进行数据的镜像复制。Cluster Linking将在数据目标(Destination)集群启动,并复制数据源(Source)集群的数据到目标集群。本文将向您介绍如何使用 云消息队列 Confluent 版 的Cluster Linking。主要包括...

配置说明

通过本文您可以结合配置示例配置参数说明了解Tablestore Sink Connector的相关配置。配置示例 当从Kafka同步数据到数据表或者时序表时配置项不同,且不同工作模式下相应配置文件的示例不同。此处以同步数据到数据表中为例介绍配置示例。...

概述

设备可在不同地域,向物联网平台请求需要接入的域名端口,从而使用该信息,免去二次烧录设备信息。本文介绍通过配置C Link SDK,使设备通过设备分发功能连接物联网平台。前提条件 已获取设备认证信息。在物联网平台控制台,将设备分发到...

上下游存储

MaxCompute维表 max_pt()max_pt_with_done()的区别是什么?如何使用维表SHUFFLE_HASH注解?如何填写CacheReloadTimeBlackList参数?消息队列RocketMQ 报错:IllegalArgumentException:timeout value is negative RocketMQ Topic扩容时,...

函数计算FC环境自动安装探针

自定义运行时中的Java 8、Java 11Java 17也支持接入ARMS应用监控。本文介绍如何使用自定义运行时接入ARMS应用监控。背景信息 函数计算无缝对接ARMS应用监控平台后,您可以通过ARMS应用监控平台对目标函数进行监控追踪,获取相关信息,...

通过开源Kafka客户端写入Lindorm流引擎数据

props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"Lindorm Stream Kafka地址");指定数据流表的物理数据存储在某个Topic上 String topic="log_topic;props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common....

Custom Runtime支持ARMS应用监控扩展

自定义运行时中的Java 8、Java 11Java 17也支持接入ARMS应用监控。本文介绍如何使用自定义运行时接入ARMS应用监控。背景信息 函数计算无缝对接ARMS应用监控平台后,您可以通过ARMS应用监控平台对目标函数进行监控追踪,获取相关信息,...

通过开源Kafka客户端写入Lindorm消息引擎数据

如果应用部署在ECS实例,通过专有网络访问Lindorm实例前,需要确保Lindorm实例ECS实例满足以下条件,以保证网络的连通性。所在地域相同,并建议所在可用区相同(以减少网络延时)。ECS实例与Lindorm实例属于同一专有网络。操作步骤 下载...

诊断工具asmctl常用命令

诊断工具asmctl支持在以下版本的ACK集群ASM中使用:v1.8.6.49-gda24841c-aliyun及以上版本的ASM标准版。v1.20.4-aluyun-1及以上版本的ACK Pro托管版集群。目前,不保证在v1.8.6.49-gda24841c-aliyun以下ASM标准版中使用asmctl时,所有...

创建集群

Bootstrap 与 JOB 指定的程序运行命令有区别,JOB指定的程序是用来运行您的作业。UserData map,string>否 用户自定义的信息,您可以定义 map 的 key value 值。用户程序使用 ECS 的 user server 获取。EnvVars map,string>否 虚拟机的...

Custom Runtime支持ARMS应用监控扩展

自定义运行时中的Java 8、Java 11Java 17也支持接入ARMS应用监控。本文介绍如何使用自定义运行时接入ARMS应用监控。背景信息 函数计算无缝对接ARMS应用监控平台后,您可以通过ARMS应用监控平台对目标函数进行监控追踪,获取相关信息,...

Ark 包介绍

└─spi└─conf└─ark└─bootstrap.properties 上述目录结构相关文件目录说明如下:META-INF/MANIFEST.MF:记录 Ark 包的元信息,其中最关键的信息是 Ark 包的启动入口类 Main-Class。文件内容类似如下:Manifest-Version:1.0 web-...

通过PyFlink作业处理Kafka数据

本文介绍在阿里云E-MapReduce创建的包含Flinkkafka服务的DataFlow集群中,如何通过PyFlink来处理Kafka中的实时流数据。前提条件 已注册阿里云账号。已完成云账号的授权,详情请参见 角色授权。已创建包含Flinkkafka服务的DataFlow集群...

限制Kafka服务端运维流量

如果刚开始没有设置throttle参数,则需要使用 kafka-configs.sh 命令修改Topic上的leader.replication.throttled.replicasfollower.replication.throttled.replicas参数、修改Broker上的leader.replication.throttled.ratefollower....

SOFAArk 配置说明

conf/ark/bootstrap.properties 是 SOFAArk 容器默认启动配置文件,配置内容包括:日志配置、Plugin 激活钝化配置、Biz 激活钝化配置。日志配置 SOFAArk 容器日志内部实现使用 logback,日志配置参数包括:logging.path:容器日志目录...

使用操作系统Alibaba Cloud Linux 3

更高性能的XDP内核调测 更多用户态框架支持,例如BPF skeleton、libbpf-bootstrap等,优化BPF程序编写体验 更好地支持网络安全项目Cilium,例如网络带宽控制、流量加密、会话亲和性、BPF层的路由及代理转发等 针对BCC、Bpftrace等工具...

管理引导操作

其中RUN_BOOTSTRAP_CLUSTER_SCRIPT_*开头的任务为执行引导操作的任务,可查看执行StdoutStderr日志。Hadoop、Data ScienceEMR Studio集群:在创建集群(CREATE_CLUSTER)或扩容(RESIZE_CLUSTER)操作记录中,单击 查看任务详情。...

添加外部节点

阿里云区块链服务支持用户使用非阿里云区块链服务的Quorum节点来组成一个Quorum...查看节点信息:./bootstrap.sh info 更新节点配置信息:./bootstrap.sh update 启动节点:./bootstrap.sh up 停止节点:./bootstrap.sh down 下一步 节点管理

配置任务常见错误码及排查方法

检查服务端bootstrap.servers参数是否设置正确。检查目标库信息的Kafka版本是否选择正确。检查网络是否通畅。DTS.Msg.GetMongoDbShardInfo.EmptyInstances 配置源库或目标库为分片副本集的MongoDb数据库的任务。原因:无法获取分片信息。...

采集部署

OPTS-javaagent:${javaagent_path}/javaagent-bootstrap.jar"Weblogic:在startWebLogic.sh启动文件最后一个JAVA_OPTIONS配置后面增加:JAVA_OPTIONS="$JAVA_OPTIONS-javaagent:${javaagent_path}/javaagent-bootstrap.jar"Websphere:方式1...

接入VNode(VNodectl工具)

为了能够方便地接入管理VNode,ECI提供了VNodectl命令行工具。本文为您介绍如何使用VNodectl工具自动创建VNode,以便在自建Kubernetes集群中可以使用ECI。前提条件 已部署好Kubernetes集群,且集群的版本属于1.13~1.22版本。如果您的...

Python SDK收发消息

说明 如果实例未开启ACL,您可以在 云消息队列 Kafka 版 控制台 的 实例详情 页面的 配置信息 区域获取默认的 用户名 密码。如果实例已开启ACL,请确保要使用的SASL用户已被授予向 云消息队列 Kafka 版 实例收发消息的权限。具体操作,...

进阶用法

本文介绍云云对接SDK中进阶功能的使用,包括自定义配置文件路径、配置动态创建网桥设备、调用SDK中封装的接口进行物模型数据上报、设备属性事件批量上报、属性设置服务调用。自定义配置管理 默认情况下,网桥的配置文件设备证书的...

通过流引擎实现地理围栏监控

场景说明 通过流引擎的流数据存储实时计算能力,结合Ganos时空引擎技术,对车辆的点位数据进行地理围栏(指定的路径数据)监控判断。在地理围栏监控场景中,根据业务需求提前将地理围栏数据记录在Lindorm宽表中(图中的route_table表)。...

通过Kafka命令行修改Topic/Broker属性

修改消息引擎TopicBroker的配置参数对于系统性能优化维护至关重要,本文档将介绍如何使用Kafka命令行工具访问修改消息引擎配置,以帮助您及时了解优化其配置,满足您的业务需求。前提条件 已安装Java环境,要求安装JDK 1.8及以上...

使用MirrorMaker 2(on Connect)跨集群同步数据

core-1-3:9092","source.cluster.bootstrap.servers":"10.0.*.*:9092","topics":"^foo.*","tasks.max":"4","key.converter":"org.apache.kafka.connect.converters.ByteArrayConverter","value.converter":"org.apache.kafka.connect....

Kafka Rebalancer工具介绍

EMR Kafka提供的Rebalancer工具封装了kafka-preferred-replica-election.shkafka-reassign-partitions.sh等工具,简化了运维工作量难度,不会影响相应被封装工具的使用,您仍然可以使用相关工具进行运维工作。注意事项 在使用工具的...

Table/SQL JAR迁移至SQL

已在 Maven资源中心 下载了开源JDBC Connector包,包括 mysql-connector-java-8.0.27.jar flink-connector-jdbc_2.11-1.13.0.jar。重要 依赖文件的版本需要与Flink集群的引擎版本保持一致。已下载了 代码示例,下载的flink2vvp-main包中...

接入VNode(手动)

如果您的Kubernetes集群部署在线下IDC,请确保已通过高速通道、智能接入网关或者VPN网关打通IDC云上网络。相关参考如下:高速通道 智能接入网关 VPN网关 准备工作 操作前,请准备创建VNode所需的参数信息,并了解VNode所需的权限信息。...

Table/SQL JAR迁移至JAR

properties.bootstrap.servers Kafka Broker地址。格式为 host:port,host:port,host:port,以英文逗号(,)分割。properties.group.id Kafka消费组ID。说明 为了避免消费组ID冲突,您可以在Kafka控制台上,创建新的消费组,并在此处使用新...

自定义 ShutdownHook

for(ProviderBootstrap bootstrap:EXPORTED_PROVIDER_CONFIGS){ providerConfigs.add(bootstrap.getProviderConfig());}/先反注册服务端。List<Registry>registries=RegistryFactory.getRegistries();if(CommonUtils.isNotEmpty(registries...

消息队列Kafka

类别 详情 支持类型 源表结果表 运行模式 流模式 数据格式 CSV JSON Apache Avro Confluent Avro Debezium JSON Canal JSON Maxwell JSON Raw 说明 以上支持的数据格式都有其对应的配置项,可直接在WITH参数中使用,详情请参见 Flink社区...

基本原理

例如,函数的程序包名称为 function.zip,该运行时各个语言程序包内的文件形式相应的 启动命令 启动参数 示例如下。Java 8或Spring Boot.├─demo.jar customRuntimeConfig:command:java args:'-jar'-'demo.jar' Python 3.7.├─...

基本原理

例如,函数的程序包名称为 function.zip,该运行时各个语言程序包内的文件形式相应的 启动命令 启动参数 示例如下。Java 8或Spring Boot.├─demo.jar customRuntimeConfig:command:java args:'-jar'-'demo.jar' Python 3.7.├─...

将Apache Kafka MirrorMaker数据迁移到Confluent ...

相比于Kafka MirrorMaker,Confluent Replicator是一个更完整的解决方案,它能复制Topic的配置数据,还能与Kafka ConnectControl Center集成,以提高可用性、可扩展性易用性。背景信息 本文展示如何将MirrorMaker的数据中心迁移到...
共有8条 < 1 2 3 4 ... 8 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
弹性公网IP 短信服务 人工智能平台 PAI 金融分布式架构 对象存储 物联网平台
新人特惠 爆款特惠 最新活动 免费试用