使用阿里云Flink（流式数据传输）
MaxCompute提供了使用流式数据通道的Flink插件，支持使用Flink在高并发、高QPS场景下写入MaxCompute。前提条件 已开通 实时计算Flink版 的Blink服务并创建Blink项目。更多开通Blink及创建Blink项目的信息。已安装使用流式数据通道的 Flink...
查询指定域名流粒度批量数据
使用说明 若指定域名第一次使用此接口进行流粒度数据的查询，需先 提交工单 进行后端配置后方可使用。请在工单中提供如下信息：需要查询的域名。对应域名下最高并发直播流数。每个直播流最高并发在线人数。说明 必须提供准确数据，才能审核...
查询推流域名推流网络带宽监控数据
调用DescribeLiveDomainPushBpsData获取推流域名的推流网络带宽监控数据。使用说明 获取的带宽数据单位为bit/s。支持批量域名查询，多个域名用英文逗号（,）分隔。不指定StartTime和EndTime时，默认读取过去24小时的数据，同时支持按指定的...
查询推流域名实时流粒度带宽流量数据
调用DescribeLiveStreamPushMetricDetailData查询推流域名实时流粒度推流带宽及流量监控数据。使用说明 仅支持单个域名查询，多个域名会报错。数据最大查询跨度：24小时。数据最小查询粒度：1分钟。数据最大查询范围：31天。本接口为监控...
网络访问与安全设置
阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据服务Confluent集群。此时，除Control Center提供公网访问方式外，其它集群组件无法从公网访问。公网访问 公网访问是指您可以在公网外访问和...
包年包月
本文介绍使用流数据服务Confluent包年包月模式下的注意事项。包年包月计费是一种需要先付费才能使用资源的计费方式，主要适用于长时间稳定的业务运行场景。您需要根据实际业务量分析资源的使用需求，一次性支付一个月或者多个月的费用。...
产品简介
本文介绍什么是流数据服务Confluent（Confluent Data Streaming Services）。什么是Confluent Platform Confluent Platform 是...为什么使用流数据服务Confluent？相较于开源版Kafka，您可以享受企业版增值服务及特性，详情请参见 对比文档。
ACL授权
本文介绍如何在流数据服务Confluent上使用ACL授权。背景信息 ACL的全称是Access Control Lists，指访问控制列表。这种授权方式比RBAC授权粒度更细。ACL授权主要有两种方式：使用数据流服务Confluent控制台实现ACL授权。本文详细介绍这一...
场景四：使用访问密钥完成同账号数据流转
背景信息 同账号场景下，使用RAM用户创建数据加工任务，RAM用户S需要具有源Logstore的读数据权限，RAM用户T需要具有目标Logstore的写权限。该场景下的授权原理如下图所示。步骤一：获取RAM用户S和RAM用户T的AccessKey 使用阿里云账号登录 ...
场景五：使用访问密钥完成跨账号的数据流转
背景信息 跨账号场景下，使用RAM用户创建数据加工任务，RAM用户S需要具有源Logstore的读数据权限，RAM用户T需要具有目标Logstore的写权限。该场景下的授权原理如下图所示。步骤一：使用阿里云账号1获取RAM用户S的AccessKey 使用阿里云账号1...
场景二：使用自定义角色完成同账号数据流转
背景信息 同账号场景下，使用RAM用户创建数据加工任务，角色A需要具有源Logstore的读数据权限，角色B需要具有目标Logstore的写权限。该场景下的授权原理如下图所示。步骤一：使用阿里云账号创建角色A 使用阿里云账号登录 RAM控制台。创建...
场景三：使用自定义角色完成跨账号数据流转
背景信息 跨账号场景下，使用RAM用户创建数据加工任务，角色A需要具有源Logstore的读数据权限，角色B需要具有目标Logstore的写权限。因为数据加工任务运行于阿里云账号1之下，您需要修改阿里云账号2下角色B的信任策略对阿里云账号1进行授信...
使用数据库实现读写流量路由
背景信息 读写分离的常见使用场景 大量请求访问数据库，导致数据库CPU和内存爆满。某些不重要的业务占用大量查询数据库的逻辑，影响数据库实例的稳定性，导致整体服务质量下降。随着业务的增长，可能需要扩容数据库实例。在对数据库有少量...
数据变更的审批流不符合预期
概述 本文主要介绍数据变更的审批流不符合预期的处理方法。详细信息 定位工单触发的风险问题 登录 新版DMS控制台。在DMS控制台首页 我的工单 区域，单击 提交的工单，即可进入 我的工单 页。在 我的工单 页，单击目标工单ID，即可进入 工单...
如何解决查询分析与流处理两种场景下的数据口径差异
流处理功能 使用_receive_time_字段可以通过流式消费（加工、投递、消费、计算）进行数据处理，还能帮助我们了解日志数据到达系统的延迟情况，判断日志数据的实时性和延迟程度。使用这两种时间戳有助于我们更好地理解和分析日志数据，从而...
场景一：使用默认角色完成同账号的数据流转
步骤二：使用RAM用户创建数据加工任务 使用RAM用户登录 日志服务控制台。进入数据加工页面。在Project列表区域，单击目标Project。在 日志存储>日志库 页签中，单击目标Logstore。在查询和分析页面，单击 数据加工。在页面右上角，选择数据...
使用Flink将Kafka数据流式写入阿里云OSS
将Kafka数据实时导入到OSS等湖存储中来降低存储成本或者进行查询分析是常见的使用场景。在EMR-3.37.1及之后的版本中，DataFlow集群内置了JindoFS相关的依赖，使得您可以在DataFlow集群中运行Flink作业，将Kafka数据以Exactly-Once语义流式...
为什么页面选择逻辑流后未能传递数据容器？
问题描述 为什么页面选择逻辑流后未能传递数据容器？解决方案 请检查逻辑流参数，如出现下图这种为选中逻辑流状态，很有可能是选中逻辑流后更改了逻辑流的入参，或者更改了页面上下文的数据源类型。重新进行选定即可。
如何通过工作流进行上下游数据传递
背景信息 当前只有简单Java任务支持数据传递，分布式Java任务请使用MapReduce模型进行数据传递，详情请参见 MapReduce模型。操作步骤 在三个应用中分别实现任务调度类JobProcessor A、JobProcessor B和JobProcessor C。JobProcessor A@...
魔笔为什么数据容器数据源选择处看不到已有逻辑流？
能作为页面数据源的逻辑流需返回实体或实体列表，不符合要求的逻辑流将会进行过滤。同时可以通过单击弹窗的添加，快速创建一个逻辑流，页面中的上下文参数类型能够带到逻辑流中。问题描述 魔笔为什么数据容器数据源选择处看不到已有逻辑流...
Dataphin的数据服务的API限流的每秒速率的含义
概述 Dataphin的数据服务的API限流的每秒速率的含义。详细信息 Dataphin的数据服务的API限流的每秒速率的含义，默认是每秒的调用API次数。适用于 Dataphin 公共云
心选市场售卖
本文介绍如何购买流数据服务Confluent商品。购买流程 在阿里云云市场流数据服务Confluent商品售卖页中点击“立即购买”，跳转至流数据服务Confluent集群创建管控页。在流数据服务Confluent集群创建管控页进行集群配置和商品购买。操作步骤 ...
开通消息引擎
在 选择数据引擎 部分，按需选择 流数据节点规格 与 流数据节点数量。创建实例后开通消息引擎 在 实例列表 点击对应实例，进入 实例详情 页面，在左侧菜单选择 流引擎 标签页，点击 立即开通 按钮。在购买页面按需选择 流数据节点规格 与 ...
产品优势
本文介绍流数据服务Confluent的产品优势。流数据服务Confluent使客户的流处理服务享受Confluent platform的企业级特性。以下介绍Confluent的业界优势：Confluent是Apache Kafka的原创者开发的产品。Confluent团队撰写提交了80%的Kafka代码...
开通数据订阅
操作步骤 数据订阅功能需要在控制台完成两次开通操作，分别购买流数据节点和LTS节点。购买流数据节点 说明 如果您的实例已开通流引擎，则不涉及该步骤。登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在 实例列表 页，单击...
常见问题
本文档根据实践，介绍了本案例中比较常见的两个问题及解决方法。...可能原因：您的RDS数据库与流计算项目不在同一区域。...参考文档：【流数据与大屏DataV】如何使用DTS，DataHub，StreamCompute，RDS及DataV搭建流数据大屏。
Control Center基本使用
SchemaRegistry使用 SchemaRegistry是流数据处理Confluent的核心功能之一，具体操作请参见 Schema Registry管理。1.查看集群配置 点击“Cluster settings”按钮可以查看集群的基本信息，例如Cluster id。说明 Cluster id可用于通过Conluent...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
全景视角
数据使用视角：在数据分析、发布或使用数据服务等数据使用场景下，建议您使用数据使用视角，关注查看数据使用过程中，浏览、访问过的表列表、拥有权限的数据服务等方面的情况。详情请参见：数据使用视角。数据生产视角：在数据开发场景下，...
集群资源规格评估建议
对于流数据服务Confluent集群来说，影响资源使用的因素众多，其中包括使用的业务场景、业务应用程序性能等非流数据服务Confluent服务控制因素，因此给出确切的资源规模评估是一件困难的事情。本文结合一般场景给出流数据服务Confluent集群...
用户管理
作为集群安全的一部分，数据流服务Confluent提供了用户管理功能。您可以在用户管理页面完成新增用户、修改密码、删除用户等操作。本文介绍用户管理的具体操作步骤。查看用户列表 首先登录 流数据服务Confluent管控页，点击集群管理>进入...
- 产品推荐
- 这些文档可能帮助您