产品优势
本文介绍流数据服务Confluent的产品优势。流数据服务Confluent使客户的流处理服务享受Confluent platform的企业级特性。以下介绍Confluent的业界优势：Confluent是Apache Kafka的原创者开发的产品。Confluent团队撰写提交了80%的Kafka代码...
集成与开发概览
离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的，进而对在线数据库、数据仓库的数据进行加工处理并同步至目的端。流式ETL。更多信息，请参见 流式ETL。通过可视...
RDS术语
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
通过向导模式配置离线同步任务
离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
DLA Lakehouse实时入湖
确保您的数据流在RDS中部署的区域与DTS、DLA、OSS的区域相同。操作步骤 创建湖仓。登录 Data Lake Analytics控制台。在左侧导航栏单击 数据湖管理>湖仓一体化。在 Lakehouse湖仓一体化 页面的 湖仓列表 页签，单击 创建新湖仓。在 新建湖仓...
Lindorm助力数禾科技业务系统实现真正的流批一体
通过主备集群、LTS、异构存储、长短TTL等技术手段，有效的控制了总体成本的同时保证了生产集群高性能、高可用，同时具备了跨机房的数据容灾及数据保留长周期。通过表结构的优化有效控制了字段数量的不断增长，一方面降低了存储开销，另一...
CREATE CQ
连续查询（Continuous Query，简称CQ），对Lindorm流引擎中的实时数据进行计算（过滤、转换、增强、聚合），并将计算结果写入到另一个数据流表或者外表中，直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...
离线同步并发和限流之间的关系
如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法最大化享受分布式多机的好处。小数据量的同步任务，不建议配置分布式，建议配置单机小并发任务。并发数大于等于8个才能开启分布式...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
DAS Auto Scaling弹性能力
以物理机部署的数据库变更规格为例，一次规格变更操作通常会涉及数据文件搬迁、cgroup隔离重新分配、流量代理节点切换、主备节点切换等操作步骤；而基于Docker部署的数据库规格变更则更为复杂，会额外增加Docker镜像生成、Ecs机器选择、...
DESCRIBE
查询Lindorm流引擎中数据流表或者外表的列信息。语法 DESCRIBE table_name;参数说明 参数 是否必选 说明 table_name 是 数据流表或者外表的名称。示例 DESCRIBE USERS_ORIGINAL;返回结果如下：+|Field|Type-ROWTIME|BIGINT(system)ROWKEY|...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
Control Center基本使用
ksqlDB使用 ksqlDB是一个用于Apache kafka的流式SQL引擎，ksqlDB降低了进入流处理的门槛，提供了一个简单的、完全交互式的SQL接口，用于处理Kafka的数据，可以让我们在流数据上持续执行 SQL 查询，ksqlDB支持广泛的强大的流处理操作，包括...
引擎类型
云原生多模数据库 Lindorm 内含宽表引擎、时序引擎、搜索引擎、文件引擎、计算引擎和流引擎，兼容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS、Kafka等多种开源标准接口，同时提供SQL查询、时序处理、文本检索分析等能力。为应对动态变化的...
新建连接模板
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。在页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击画布区域的 输入/维表 MySQL-1，在下方的 节点配置...
支持的连接器
作业首先从订单数据源表读取实时订单数据，将订单数据流与用户信息静态维表进行Join，然后按地区聚合统计订单总额，最后将统计结果写入结果表。在这个作业中，订单表作为驱动源表输入，用户信息表作为静态维表，统计结果表作为作业最终输出...
配置转换组件
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置，配置方法请参见 配置源库信息。重要 需要配置两个源库。在页面左侧，将 表 Join 节点拖拽至页面右侧...
访问外部数据源
背景信息 Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据，支持通过添加外部数据源的方式，打通集群到您自己VPC下的网络环境。绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标...
基于Indexing Service实现数据流管理
步骤六：分析日志 在Kibana控制台中，查看基于Indexing Service实现的数据流管理的实时日志流和实时数据指标。步骤一：创建Indexing Service实例 购买内核增强版7.10版本，并开通高级增强特性Indexing Service索引构建服务。操作步骤，请...
SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
基础版
说明 由于基础版只有一个数据节点，没有备节点作为热备份，因此当该节点意外宕机或者执行变更配置、版本升级等任务时，会出现一段时间的不可用。如果业务对数据库的可用性要求较高，不建议使用基础版，可选择其他系列（如高可用版）。基础...
新建 OceanBase 数据源
oblogproxy Port（可选）_oceanbase_inner_drc_user 密码（可选）本用户主要用于 OceanBase 数据库内无唯一键表的数据迁移。请注意：您需要在当前数据源所在的租户下创建本用户。选择的 实例类型 为 OceanBase Serverless 实例 时，配置...
概览
通过集群管理系统的概览页面可以查看云原生多模数据库Lindorm实例中所有表的详细信息。本文介绍如何通过集群管理系统管理表。前提条件 已登录目标集群的集群管理系统，具体操作，请参见 登录集群管理系统。查询表的详细信息 在 概览 页面，...
计费说明
本文介绍流数据处理Confluent的版本、计费项目和产品定价，帮助您快速了解计费详情，按需选择产品计费方式。版本介绍 流数据处理Confluent对外提供三个版本，不同版本提供的功能不同，价格也不相同，版本的功能如下：标准版 Standard 专业...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
用户管理
作为集群安全的一部分，数据流服务Confluent提供了用户管理功能。您可以在用户管理页面完成新增用户、修改密码、删除用户等操作。本文介绍用户管理的具体操作步骤。查看用户列表 首先登录 流数据服务Confluent管控页，点击集群管理>进入...
DROP STREAM
删除指定流表。语法 DROP STREAM[IF EXISTS][catalog_name.]...database_name 否 流表所属的数据库。stream_name 是 流表的名称，用于唯一指定一个流表。示例 删除流表MySTREAM2。DROP STREAM MySTREAM2;返回结果如下：1 row affected
访问控制权限概述
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行等进行权限管理，可按需给授权对象登录、查询、导出、变更等权限类型。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作权限...
查看连接地址
本文介绍通过 云原生多模数据库 Lindorm 控制台查看流引擎类的连接地址。前提条件 已开通 云原生多模数据库 Lindorm 的流引擎，具体操作请参见 开通流引擎。专有网络和公网 网络类型 说明 专有网络 专有网络VPC（Virtual Private Cloud）是...
EMR旧版数据开发迁移公告
如果您还在使用旧版控制台的数据开发功能，请尽快迁移至EMR Worflow。本文为您介绍数据开发模块迁移至EMR Workflow的流程。EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度...
权限操作审计
区域 描述 ① 搜索及筛选区 您可根据数据对象的名称关键字进行模糊搜索，可勾选 我管理的，筛选当前账号管理的数据表，也可根据权限类型、操作类型筛选数据表。② 导出区 查看导出记录：支持查看权限操作审计的导出记录。在 导出记录 ...
配置任务常见错误码及排查方法
DTS.Msg.InvalidIpAddress 配置 接入方式 为 公网IP、专线/VPN网关/智能网关 或 云企业网CEN 的数据库实例的DTS任务时。原因：输入的IP地址格式错误，导致无法解析。解决方法：输入正确的IP地址后重试。DTS.Msg.PauseDenied....
管理Dataphin数据源权限
如果需要查看字段的数据，则选择 查询权限。权限账号 系统默认选择为 应用。权限账号所属项目 系统默认选择为默认项目。应用 选择应用的分组及应用。有效期至 选择权限的截至时间。您也可以选择自定义后，指定截至时间。申请原因 填写申请...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
概述
Apache Flume是一个分布式、可靠和高可用的系统，可以从大量不同的数据源有效地收集、聚合和移动日志数据，从而集中式的存储数据。使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将...
配置仪表盘推送节点
任务编排的仪表盘推送节点通过联动数据分析功能，可以将数据分析的图表直接推送至您（责任人、相关人员）的钉钉、钉钉机器人或邮箱中，免去您前往DMS数据服务查看图表的步骤。本文介绍如何配置仪表盘节点。准备工作 创建并配置仪表盘 登录 ...
DisableAutoThrottleRules-关闭自动SQL限流功能
2 ConfigSuccessInstanceCount long 关闭自动 SQL 限流功能成功的数据库实例数量。1 ConfigFailInstanceCount long 关闭自动 SQL 限流功能失败的数据库实例数量。1 ConfigSuccessInstanceList object[]关闭自动 SQL 限流功能成功的数据库...
查看连接地址
本文介绍通过云原生多模数据库Lindorm控制台查看各引擎类型的连接地址。专有网络和公网 网络类型 说明 专有网络 专有网络VPC（Virtual Private Cloud）是您自己专有的云上私有网络，不同的专有网络之间通过二层逻辑隔离，拥有较高的安全性...
- 产品推荐
- 这些文档可能帮助您