集群资源规格评估建议
阿里云流数据服务Confluent组成架构 阿里云流数据服务Confluent是一个流数据平台，能够组织管理来自不同数据源的数据，是一个稳定高效的系统。如下图所示，它由六个组件构成，分别为Kafka Broker、Rest Proxy、Connect、Zookeeper、ksqlDB...
续费
本文介绍如何给流数据服务Confluent续费。集群续费 首先进入 集群管控页，点击集群管理>选择相应的集群>点击右上角“续费”按钮。在续费详情页面，会展示当前集群的broker数量以及对应的配置信息，在付费时长下拉框选择要续费的时长，勾选...
RDS与自建数据库对比优势
云数据库RDS提供高可用、高可靠、高安全、可扩展的托管数据库服务，在性能等同于商业数据库的同时，其价格相比ECS自建数据库和自购服务器搭建数据库更加低廉，能够节约大量部署及维护成本。价格对比 费用 云数据库RDS ECS自建数据库 自购...
准备工作
本文为您介绍在使用空白画布搭建数据看板前，需要完成的准备工作。准备内容 已开通DataV服务。已确定最终效果图样式。已根据效果图计算出需要添加的组件名称和数量。开通DataV服务 请参见 开通DataV服务。数据看板-最终效果图 数据看板-...
区域统计
步骤二：写入流数据 Lindorm流引擎完全兼容开源Kafka API，您可以通过Kafka开源客户端或脚本工具连接Lindorm流引擎并写入测试数据。以通过开源Kafka脚本工具写入为例。下载并安装Kafka脚本工具。具体操作，请参见 通过开源Kafka脚本工具...
审批中心概述
自定义审批策略后，后续进行表权限申请与审批、数据服务权限申请与审批、数据集成任务保存时，流程如 表字段权限申请与审批流程、数据服务权限申请与审批流、数据集成任务审批流程、扩展程序审批流程 所示。表字段权限申请与审批流程 在 ...
轨迹生成
Lindorm流引擎读取车辆的实时位置点数据，定期（每小时、每天）将位置点拼接为轨迹，再将聚合后的轨迹线数据写入至数据库，不仅保证了对车辆行驶轨迹数据的实时处理和分析能力，同时也减轻了数据库在处理高频率追加写入操作时的IO压力。...
扩容
本文介绍流数据服务Confluent如何扩容。集群扩容 当您的集群出现数据业务瓶颈时可以选择扩容操作，当前集群只支持水平扩容。首先进入 集群管控页，点击集群管理>选择相应的集群>点击右上角“扩容”按钮。在扩容详情页面，从新增资源下拉...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
创建实例
流引擎：可按需选择 流数据节点规格 和 流数据节点数量，以core为单位。说明 若商品类型选择 Lindorm轻量版，则不支持此功能。若 存储类型 选择 本地SSD盘 或 本地HDD盘，不支持选择数据引擎的节点规格，仅支持选择 本盘节点规格 和数据...
使用限制
搭建数据库复制 提供主备复制架构，其中的备（slave）实例不对用户开放，用户应用不能直接访问。重启RDS实例 必须通过控制台或API重启实例。实例数量 按量付费实例数量限制为30个。您可以前往 配额中心 申请提升配额。
典型使用场景
Kafka/Flink等消息中间件/流数据系统将数据实时Sink到 AnalyticDB PostgreSQL版。AnalyticDB PostgreSQL版 通过攒批覆盖写特性和近线性的水平扩展能力，集群整体实时写入性能可达百万级TPS。批量加载 批量加载的具体操作包括“copy from ...
表删除，更新和合并
通过合并的SQL语义，它将新数据与表中的现有数据进行匹配并删除重复数据，但是如果新数据集中存在重复数据，则将其插入。因此，在合并到表之前，对新数据进行重复数据删除。如果您知道几天之内可能会得到重复的记录，则可以通过按日期对表...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
EventBridge事件调度
DTS调度 数据传输服务 DTS（Data Transmission Service）作为事件源通过 事件总线 与 云工作流 集成后，通过DTS调度能够触发关联工作流的执行。本文介绍如何在流控制台创建DTS调度。注意事项 作为触发源的DTS数据订阅任务必须...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
数据建模
Excel导入：支持将Excel里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。Excel导出：支持将数据模型设计模块中的逻辑表及信息以Excel的形式导出，并提供按全量模型与按查询条件的方式进行导出。...
DataHub数据源
DataHub数据源作为数据中枢，为您提供读取和写入DataHub数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
功能简介
Excel导入：支持将Excel里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。Excel导出：支持将数据模型设计模块中的逻辑表及信息以Excel的形式导出，并提供按全量模型与按查询条件的方式进行导出。...
功能简介
Excel导入：支持将Excel里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。Excel导出：支持将数据模型设计模块中的逻辑表及信息以Excel的形式导出，并提供按全量模型与按查询条件的方式进行导出。...
操作流程
通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。具体操作，请参见 通过Excel导入逻辑表。配置逻辑表关联标准字段 通过关联数据标准中的标准字段，实现字段值的统一和...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
操作流程
通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。具体操作，请参见 通过Excel导入逻辑表。配置逻辑表关联标准字段 通过关联数据标准中的标准字段，实现字段值的统一和...
产品架构
高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求，整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向...
存储类型
存储类型说明 云原生多模数据库Lindorm支持的存储类型及其适用场景如下：存储类型 访问延迟 适用场景 支持的引擎类型 扩展能力 标准型云存储 3ms~5ms Feed流数据、聊天、实时报表、在线计算等实时访问数据。宽表引擎、时序引擎、搜索引擎、...
图扑案例
现有解决方案中，通常依赖自建单ElasticSearch检索引擎或OpenTSDB、Prometheus等时序引擎搭建数据存储，而采集数据类型多样化使得单模引擎存储方案技术复杂且运维成本高，市场需要新一代云原生且具备多模检索能力的存储系统。某著名IT咨询...
盲区会车
步骤二：接入流数据 本示例将通过开源Kafka脚本工具连接Lindorm流引擎。连接Lindorm流引擎，并创建名为 logVehicle 的Topic。详情请参见 通过开源Kafka脚本工具连接Lindorm流引擎。执行如下命令，将 示例数据 写入到已创建的Topic中。bin/...
流式ETL
实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓加速：通过流数据处理先将数据预处理至数仓，后续再对数仓数据进行深度挖掘。既不影响业务库运行，也能满足离线数仓对外服务。报表提速：构建实时报表体系，...
什么是ETL
实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓加速：通过流数据处理先将数据预处理至数仓，后续再对数仓数据进行深度挖掘。既不影响业务库运行，也能满足离线数仓对外服务。报表提速：构建实时报表体系，...
编排工作流
低代码开发平台魔笔（Mobi）支持可视化搭建工作流，实现页面、数据模型和逻辑流之间的交互。本文介绍编排工作流的基本操作。基本功能 在配置工作流时，您可以执行以下基本功能：创建工作流 将元素添加到工作流 编辑工作流 删除工作流 复制...
应用场景
数据处理流水线 使用 云工作流 可以快速搭建一个高可用的数据处理流水线（Data Pipeline）。例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做...
方案分析
不同类型的Feed流产品架构存在差异，本文设计的产品是基于单向关系的时间排序Feed流，类似于微博。存储 Feed流系统中的存储库主要存放具体的用户Feed消息，而Feed消息具备以下特点：数据量大，很容易达到100 TB，甚至PB级别。数据可靠性...
2021年
云原生多模数据库Lindorm是面向物联网、互联网、车联网等设计和优化的，支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和处理的云原生多模超融合数据库。在很多应用场景中需要把HBase增强版或者Lindorm的数据导入到MaxCompute...
DataWorks On Hologres使用说明
Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已开通...
DataWorks On CDP/CDH使用说明
以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用CDP/CDH的...
DataWorks On MaxCompute使用说明
MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发MaxCompute任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已...
DataWorks On EMR使用说明
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
- 产品推荐
- 这些文档可能帮助您