使用LDAP用户鉴权
本文为您介绍EMR Kafka如何启用LDAP用户进行鉴权，以及详细使用的示例。前提条件 已创建DataFlow集群，且选择了Kafka和OpenLDAP服务。创建集群详情，请参见 创建DataFlow Kafka集群。使用限制 适用于EMR-3.44.0之后版本、EMR-5.10.0之后...
将云消息队列 Kafka 版接入阿里云Elasticsearch
前提条件 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体信息，请参见 VPC接入。创建阿里云Elasticsearch实例。具体信息，请参见 创建阿里云Elasticsearch实例。重要 请注意保存创建阿里云...
概述
device_bootstrap_demo 演示设备就近接入功能的使用。device_dynamic_register_demo 演示设备就近接入功能的使用。ota_basic_demo 演示设备OTA功能的使用。dm_basic_demo 演示设备使用物模型功能。logpost_basic_demo 演示设备上报本地日志...
通过SkyWalking上报Java应用数据
本文介绍如何使用SkyWalking Java Agent进行自动埋点，以及SkyWalking Java Agent可配置属性的相关信息。前提条件 打开 SkyWalking下载页面，下载SkyWalking 6.X.X或以上版本（建议下载最新稳定版本），并将解压后的 Agent 文件夹放至Java...
通过SkyWalking上报Java应用数据
本文介绍如何使用SkyWalking Java Agent进行自动埋点，以及SkyWalking Java Agent可配置属性的相关信息。前提条件 打开 SkyWalking下载页面，下载SkyWalking 6.X.X或以上版本（建议下载最新稳定版本），并将解压后的 Agent 文件夹放至Java...
消息队列Kafka
本文为您介绍如何使用消息队列Kafka连接器。背景信息 Apache Kafka是一款开源的分布式消息队列系统，广泛用于高性能数据处理、流式分析、数据集成等大数据领域。Kafka连接器基于开源Apache Kafka客户端，为阿里云实时计算Flink提供高性能的...
Custom Runtime的bootstrap文件没有可执行权限，出现...
Custom Runtime的 bootstrap 文件，一定要具备777或755权限，否则会出现以下错误：{"ErrorCode":"CAFilePermission","ErrorMessage":"The CA process cannot be started due to bootstrap file don't have execute permissions"} 您可以在...
Custom Runtime的bootstrap文件没有可执行权限，出现...
Custom Runtime的 bootstrap 文件，一定要具备777或755权限，否则会出现以下错误：{"ErrorCode":"CAFilePermission","ErrorMessage":"The CA process cannot be started due to bootstrap file don't have execute permissions"} 您可以在...
Custom Runtime的bootstrap文件是Shell脚本时，出现...
当Custom Runtime的 bootstrap 文件是Shell脚本，且出现以下错误时，Custom Runtime的 bootstrap 文件一定要添加#!bin/bash。{"ErrorCode":"CAExited","ErrorMessage":"The CA process either cannot be started or exited:...
Custom Runtime的bootstrap文件是Shell脚本时，出现...
当Custom Runtime的 bootstrap 文件是Shell脚本，且出现以下错误时，Custom Runtime的 bootstrap 文件一定要添加#!bin/bash。{"ErrorCode":"CAExited","ErrorMessage":"The CA process either cannot be started or exited:...
跨集群复制数据
目前，组合模式并不打算在生产中使用，为了简化教程，在此进行了展示。如果您想在单独的服务器上运行控制器和服务端，请在隔离模式下使用KRaft。如需了解更多信息，请参见 KRaft Overview 和 KRaft mode。前提条件 安装了Confluent ...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
Cluster Linking
主要包括如何远程使用Confluent CLI客户端方式创建Cluster Linking以及Cluster Linking的基本管理。前提条件 已经准备好数据源集群和数据目标集群。安装了Confluent Platform 7.0.0及更高版本客户端，更多信息，请参见 Confluent。安装Java...
手动部署Java Web环境（Alibaba Cloud Linux 3）
本篇教程介绍如何在Alibaba Cloud Linux 3系统的ECS实例上部署Java web项目，适用于刚开始使用阿里云进行建站的个人用户。准备工作 部署Java Web环境时，已有ECS实例必须满足以下条件：实例已分配公网IP地址或绑定弹性公网IP（EIP）。具体...
Cluster Linking
本文将向您介绍如何使用流数据服务Confluent的Cluster Linking。内容主要包括如何远程用Confluent CLI客户端方式创建Cluster Linking以及Cluster Linking的基本管理。查看哪些集群可以使用Cluster Linking，请参阅 支持的集群类型。前提...
DescribeJob
任务默认启动命令：java$JAVA_OPTS$CATALINA_OPTS-Options org.apache.catalina.startup.Bootstrap"$@"start。NasId String AKSN89*NAS ID。OssAkId String xxxxxx OSS读写的AccessKey ID。OssAkSecret String xxxxxx OSS读写的AccessKey ...
手动部署Java Web环境（CentOS 7）
本篇教程介绍如何手动在ECS实例上部署Java web项目，适用于刚开始使用阿里云进行建站的个人用户。前提条件 已注册阿里云账号。如还未注册，请先完成 账号注册。如果在中国内地地域中使用云服务器ECS，请确保账号已完成实名认证。如还未认证...
PAI使用引导
使用指引 管理员通常参与以下模块：工作空间及成员管理 工作空间是PAI的顶层概念，为企业和团队提供统一的计算资源管理及人员权限管理能力。管理员可以创建及管理工作空间、编辑工作空间内的成员，详情请参见 工作空间管理。计算资源管理 ...
维表JOIN语句
背景信息 大部分连接器的维表Join都可以使用Cache策略，不同连接器对Cache策略的支持情况稍有不同，请查看对应的连接器文档确定具体的支持情况。通用的Cache策略详情如下：None（默认值）：无缓存。LRU：缓存维表里的部分数据。源表的每条...
MySQL整库同步Kafka
在使用中，同一张MySQL表可能被多个作业依赖，当多个任务使用同一张MySQL表做处理时，MySQL数据库会启动多个连接，对MySQL服务器和网络造成很大的压力。为了缓解对上游MySQL数据库的压力，阿里云Flink实时计算已提供MySQL整库同步到Kafka的...
Confluent Avro
本文为您介绍Confluent Avro格式的使用方法、配置选项和类型映射。背景信息 Confluent Avro格式允许读取被io.confluent.kafka.serializers.KafkaAvroSerializer序列化的记录，以及写入能被io.confluent.kafka.serializers....
管理Kafka JSON Catalog
本文将从以下方面为您介绍如何管理Kafka JSON Catalog：创建Kafka JSON Catalog 查看Kafka JSON Catalog 使用Kafka JSON Catalog 删除Kafka JSON Catalog 使用限制 Kafka JSON Catalog仅支持消息格式为JSON的Topic，暂不支持其他格式。...
Confluent+数据洞察Databricks最佳实践
本文将向您介绍如何使用 流数据服务Confluent和数据洞察Databricks搭建自己的离线大数据计算平台。前提条件 已注册阿里云账号，详情请参见 阿里云账号注册流程 已开通 Databricks 数据洞察服务，该服务为付费服务。已开通 OSS 对象存储服务...
基本原理
如果您使用 127.0.0.1:CAPort 端口，会导致请求超时，出现以下错误：{"ErrorCode":"FunctionNotStarted","ErrorMessage":"TheCA'shttpservercannotbestarted:ContainerStartDuration:25000000000.PingCAfaileddueto:dialtcp21.0.XX.XX:9000...
基本原理
如果您使用 127.0.0.1:CAPort 端口，会导致请求超时，出现以下错误：{"ErrorCode":"FunctionNotStarted","ErrorMessage":"TheCA'shttpservercannotbestarted:ContainerStartDuration:25000000000.PingCAfaileddueto:dialtcp21.0.XX.XX:9000...
快速创建函数
使用 函数计算，您无需采购和管理服务器等基础设施，只需编写并上传代码或镜像，就可以实现弹性可靠的应用。本文介绍如何在 函数计算 控制台快速开发一个简单的Serverless Hello World函数。背景信息 通过函数计算控制台快速创建函数的流程...
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志...
说明 您可在阿里云Elasticsearch实例的基本信息页面获取其私网地址，详情请参见 查看实例的基本信息。user 访问阿里云Elasticsearch的用户名，默认为elastic。您也可以使用自建用户，详情请参见 通过Elasticsearch X-Pack角色管理实现用户...
管理函数
基本设置：配置函数的基本信息，包括 函数名称 和 请求处理程序类型。请求处理程序类型 包括以下两种。处理事件请求：通过定时器、调用API/SDK或其他阿里云服务的触发器来触发函数执行。处理 HTTP 请求：用于处理HTTP请求或WebSocket请求的...
基本概念
本文将介绍 Quick BI 自定义组件的基本概念。自定义组件 在 Quick BI 中，自定义组件(CustomComponent)定义是一个包含了 bootstrap、mount、unmount、update 属性的对象，包含了自定义组件具体的实现的逻辑。详细信息请参考 Lifecycle。...
快速创建函数
使用 函数计算，您无需采购和管理服务器等基础设施，只需编写并上传代码或镜像，就可以实现弹性可靠的应用。本文介绍如何在 函数计算 控制台快速开发一个简单的Serverless Hello World函数。前提条件 您已成功注册阿里云账号，并完成实名...
产品架构
DataServer（数据服务器）：负责存储客户端发布数据，数据存储按照数据 ID 进行一致性 hash 分片存储数据存储按照数据 ID 使用自定义 slot 分配算法分片存储，支持多副本备份，保证数据高可用。DataServer 可无限扩展以支持海量数据。...
Debezium
格式,Debezium 本文为您介绍Debezium格式的使用示例、配置选项和类型映射。背景信息 Debezium 是一个CDC（Changelog Data Capture，变更数据捕获）的工具，可以把来自MySQL、PostgreSQL、Oracle、Microsoft SQL Server和许多其他数据库的...
Schema Registry管理
流数据服务Confluent使用Schema Registry管理Schema。本文将向您介绍Schema Registry的基本操作。更多关于Schema Registry的信息请参见 官方文档。前提条件 请确保您已经购买流数据服务Confluent，详情请参见 集群开通。请确保获取Kafka...
创建Web函数
通过设置实例并发度，您可以在流量高峰期有效管理资源使用，降低冷启动影响，从而提升性能和控制成本。创建函数 登录 函数计算控制台，在左侧导航栏，单击 函数。在顶部菜单栏，选择地域，然后在 函数 页面，单击 创建函数。在 创建函数 ...
Custom Runtime支持Loggie Agent日志扩展
您可以在自定义运行时的函数中使用Loggie Agent从文件中采集日志，然后上传到 日志服务SLS 进行日志的存储和自定义分析。前提条件 函数计算：创建服务。日志服务SLS：创建项目Project 和 创建Logstore。说明 创建的日志项目必须和 步骤一 ...
Schema Registry管理
云消息队列 Confluent 版 使用Schema Registry管理Schema。本文将向您介绍Schema Registry的基本操作。前提条件 购买 云消息队列 Confluent 版，详情请参见 购买和部署实例。获取Kafka集群和Schema Registry集群相关的访问权限，详情请参见...
通过Flink将Kafka数据同步至AnalyticDB PostgreSQL版
注意事项 阿里云实时计算Flink版与社区版Flink操作存在差异，但是使用过程基本相同，如需使用阿里云实时计算Flink版，请参见 阿里云实时计算Flink版文档。操作步骤 在Flink上创建一张表，用于读取Kafka表的数据。CREATE TABLE KafkaTable(`...
数仓场景：增量数据实时统计
cd$KAFKA_HOME kafka-topics.sh-create-topic ods_order-replication-factor 1-partitions 1-bootstrap-server"192.168.*.*:9092,192.168.*.*:9092,192.168.*.*:9092"kafka-topics.sh-create-topic ods_customers-replication-factor 1-...
数仓场景：增量数据实时统计
kafka-topics.sh-create-topic ods_order-replication-factor 1-partitions 1-bootstrap-server"192.168.*.*:9092,192.168.*.*:9092,192.168.*.*:9092"kafka-topics.sh-create-topic ods_customers-replication-factor 1-partitions 1-...
使用MongoDB Connector连接MongoDB数据库
重要 创建实例或使用已有实例时，请保证实例与前提条件中 云消息队列 Kafka 版 实例使用相同的VPC，否则将会导致链路不通。创建实例时会自动创建root用户名，设置密码时请勿包含at（@）或冒号（:）。创建实例时，请选择与 云消息队列 Kafka...
- 产品推荐
- 这些文档可能帮助您