数据代理请求常见问题
登录您安装数据代理的机器，通过浏览器访问 ip:8001/status（例如 128.23.*.*:8001/status，8001 为数据代理服务的默认端口），检查您的数据代理服务是否正常启动。是，执行下一步。否，请启动您的数据代理服务。检查安装数据代理的机器...
数据统计
本文详细介绍如何查询视频直播中上行推流数据和下行播流数据。您可以登录 视频直播控制台，在 数据中心 下的 计费用量、数据监控、访问统计 下的页面中查询对应数据。资源监控 可以监控流量带宽-上行、流量带宽-下行、回源带宽流量、...
集群资源规格评估建议
阿里云流数据服务Confluent组成架构 阿里云流数据服务Confluent是一个流数据平台，能够组织管理来自不同数据源的数据，是一个稳定高效的系统。如下图所示，它由六个组件构成，分别为Kafka Broker、Rest Proxy、Connect、Zookeeper、ksqlDB...
续费
本文介绍如何给流数据服务Confluent续费。集群续费 首先进入 集群管控页，点击集群管理>选择相应的集群>点击右上角“续费”按钮。在续费详情页面，会展示当前集群的broker数量以及对应的配置信息，在付费时长下拉框选择要续费的时长，勾选...
审批中心概述
自定义审批策略后，后续进行表权限申请与审批、数据服务权限申请与审批、数据集成任务保存时，流程如 表字段权限申请与审批流程、数据服务权限申请与审批流、数据集成任务审批流程、扩展程序审批流程 所示。表字段权限申请与审批流程 在 ...
扩容
本文介绍流数据服务Confluent如何扩容。集群扩容 当您的集群出现数据业务瓶颈时可以选择扩容操作，当前集群只支持水平扩容。首先进入 集群管控页，点击集群管理>选择相应的集群>点击右上角“扩容”按钮。在扩容详情页面，从新增资源下拉...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
创建实例
流引擎：可按需选择 流数据节点规格 和 流数据节点数量，以core为单位。说明 若商品类型选择 Lindorm轻量版，则不支持此功能。若 存储类型 选择 本地SSD盘 或 本地HDD盘，不支持选择数据引擎的节点规格，仅支持选择 本盘节点规格 和数据...
典型使用场景
Kafka/Flink等消息中间件/流数据系统将数据实时Sink到 AnalyticDB PostgreSQL版。AnalyticDB PostgreSQL版 通过攒批覆盖写特性和近线性的水平扩展能力，集群整体实时写入性能可达百万级TPS。批量加载 批量加载的具体操作包括“copy from ...
EventBridge事件调度
DTS调度 数据传输服务 DTS（Data Transmission Service）作为事件源通过 事件总线 与 云工作流 集成后，通过DTS调度能够触发关联工作流的执行。本文介绍如何在流控制台创建DTS调度。注意事项 作为触发源的DTS数据订阅任务必须...
表删除，更新和合并
通过合并的SQL语义，它将新数据与表中的现有数据进行匹配并删除重复数据，但是如果新数据集中存在重复数据，则将其插入。因此，在合并到表之前，对新数据进行重复数据删除。如果您知道几天之内可能会得到重复的记录，则可以通过按日期对表...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
DataHub数据源
DataHub数据源作为数据中枢，为您提供读取和写入DataHub数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...
产品架构
高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求，整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向...
存储类型
存储类型说明 云原生多模数据库Lindorm支持的存储类型及其适用场景如下：存储类型 访问延迟 适用场景 支持的引擎类型 扩展能力 标准型云存储 3ms~5ms Feed流数据、聊天、实时报表、在线计算等实时访问数据。宽表引擎、时序引擎、搜索引擎、...
盲区会车
步骤二：接入流数据 本示例将通过开源Kafka脚本工具连接Lindorm流引擎。连接Lindorm流引擎，并创建名为 logVehicle 的Topic。详情请参见 通过开源Kafka脚本工具连接Lindorm流引擎。执行如下命令，将 示例数据 写入到已创建的Topic中。bin/...
填充数据库
7.禁用 WAL 归档和流复制 当使用 WAL 归档或流复制向一个安装中载入大量数据时，在录入结束后执行一次新的基础备份比处理大量的增量 WAL 数据更快。为了防止载入时记录增量 WAL，通过将 wal_level 设置为 minimal、将 archive_mode 设置为 ...
通过开源Kafka客户端写入Lindorm流引擎数据
指定数据流表的物理数据存储在某个Topic上 String topic="log_topic;props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS...
通过函数计算节点实现GitHub实时数据分析与结果发送
步骤四：配置案例 在 DataWorks控制台 左侧导航栏选择 大数据体验>ETL工作流模板，单击 Github十大热门编程语言 模板，单击 载入模板，配置模板参数。参数 说明 模板名称 显示当前模板名称，即“Github十大热门编程语言”。工作空间 选择 ...
将时空数据写入宽表引擎
value_format 是 指定数据源写入Lindorm流引擎的数据格式，取值如下：CSV Avro JSON key_value 是 指定数据流表的主键列。创建计算任务，将数据流表中的数据写入到宽表中。不使用时空函数。CREATE CQ gps_data_cq INSERT INTO gps_data ...
通过流引擎实现地理围栏监控
将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中，将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内，并将异常车辆数据输出到output_stream数据流表，同时也可以订阅异常数据进行报警。场景实现的原理...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
流表
流表可以被看作为事件的集合，随着时间的推移，事件不断被添加到表中，因此该集合是无边界的。流表支持设置数据过期时间，默认为7天。流表中的时间属性：表示在某一时间、某个地点、某人发生了某一事件。时间属性包含了摄取时间、事件时间...
连接方式概述
客户端 在连接 OceanBase 数据库的 MySQL 租户时，支持的客户端如下：MySQL 客户端 MySQL 数据库的命令行客户端，需要单独安装。说明 OceanBase 数据库租户包括 MySQL 模式租户和 Oracle 模式租户。MySQL 客户端，只能访问 MySQL 模式租户...
TPC-H
大吞吐并发读写：30 TB数据集下至少10并发查询流（Query Stream），同时启动数据更新流（Refresh Stream）进行多轮大批量数据增删操作，挑战系统并发能力及ACID能力。分布式事务验证：全面测试数据库系统事务能力，涵盖Atomic、Consistency...
补数据
补数据基于任意任务流的发布态版本，可通过指定业务时间或业务范围时间，生成一个或多个任务流实例（运行某条任务流的记录）。本文为您介绍如何给任务流补数据。使用场景 电商公司在多个时间段进行促销活动，需要分析促销活动带来的营收、...
BackFill-给任务编排补数据
接口说明 补充数据时，任务流按照日期串行执行，可指定按日期升序或降序执行。补充数据完成后，可指定日期或日期范围，以及节点范围来运行任务流。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，Open...
查看连接地址
本文介绍通过 云原生多模数据库 Lindorm 控制台查看流引擎类的连接地址。前提条件 已开通 云原生多模数据库 Lindorm 的流引擎，具体操作请参见 开通流引擎。专有网络和公网 网络类型 说明 专有网络 专有网络VPC（Virtual Private Cloud）是...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
数仓开发任务流
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
EMR数据开发停止更新公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
Go-SQL-Driver/MySQL 连接 OceanBase 数据库示例程序
安装 OceanBase 数据库 安装 Go 语言 安装 Go-SQL-Driver/MySQL 驱动 操作步骤 说明 本文中给出的操作步骤是在 Windows 环境下生成的。如果您使用的是其他操作系统环境或编译器，那么操作步骤可能会略有不同。（可选）安装 Go 语言和驱动。...
RunCycleDagNodes
调用RunCycleDagNodes创建补数据工作流。补数据相关内容，详情请参见 补数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选...
Redis数据同步方案概览
DTS介绍 DTS 是阿里云提供的实时数据流服务，集数据迁移、订阅、同步于一体，为您提供稳定安全的传输链路。DTS支持全量数据迁移和增量数据迁移，可实现不停服迁移，降低对业务的影响。表 1.同步支持度 工具 支持的源库 支持的目标库 支持的...
查看连接地址
专有网络 公网 JAR作业开发实践 Hive Metastore地址 通过SQL访问Hive数据（连接地址为图示中③）Lindorm 专有网络 访问Hive数据 查看流引擎连接地址 查看流引擎的连接地址前，请确保已开通Lindorm流引擎。如果您需要使用公网地址连接流引擎...
触发器管理
创建Apache RocketMQ触发器 单向集成触发器 创建ALB触发器 创建API网关触发器 创建DataHub单向触发器 IoT物联网平台 DataWorks大数据开发治理平台 Serverless工作流 云数据库MongoDB版触发器 RDS MySQL数据库触发器 云产品事件触发器 创建...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
添加堡垒机架构备份网关
您需要在堡垒机上安装代理网关，并在数据库主机上安装DBS备份网关。本文介绍添加堡垒机架构备份网关的方法。使用场景 某公司内部的数据库处于内网环境中，无法直接连接外部网络，可以通过堡垒机代理进行访问。为了备份和恢复数据库数据，...
- 产品推荐
- 这些文档可能帮助您