使用DMS进行数据归档
AnalyticDB PostgreSQL版 支持将以下数据源的数据进行归档：RDS MySQL PolarDB MySQL引擎 PolarDB-X AnalyticDB MySQL 3.0 RDS PostgreSQL PolarDB PostgreSQL引擎 数据归档方案对比 归档方案 性价比 数据管理的易用性 数据查询以及分析...
开通指南
LindormDFS存储容量在同一Lindorm实例内共享，同时LindormDFS也是多模引擎数据的共享存储，关于多模引擎数据存放路径的详细信息，请参见 LindormDFS目录结构说明。控制台开通 警告 开通文件存储服务后，多模引擎数据变为可见。使用文件引擎...
InnoDB/TokuDB/Myrocks引擎转换为X-Engine引擎
RDS MySQL 8.0支持X-Engine引擎，X-Engine可以提供更好的数据压缩能力，降低磁盘空间成本。本文介绍如何将InnoDB/TokuDB/Myrocks引擎转换为X-Engine引擎。背景信息 X-Engine是阿里云自研的联机事务处理OLTP（On-Line Transaction ...
通过开源Kafka客户端写入Lindorm消息引擎数据
Lindorm消息引擎完全兼容开源Kafka API，您可以通过Kafka API编写程序向Lindorm消息引擎写入数据，也可以通过开源的三方工具采集并写入Lindorm消息引擎数据，例如FluentD、Debezium等。本文介绍通过开源Kafka客户端连接Lindorm消息引擎并...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
PolarDB-X 2.0迁移至PolarDB MySQL版
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
风险识别管理（旧版）
3 规则的描述信息 基础配置>备注 基本信息>描述信息 4 规则生效的引擎 规则项>引擎 规则定义>条件设置 区域，选择条件 选择 数据位置 时，所配置的 数据引擎名称。5 规则生效的项目空间 规则项>项目空间 规则定义>条件设置 区域，选择条件 ...
添加Spark数据源
切换至 计算引擎数据源 页签，单击 添加数据源。在 添加数据源 对话框中配置以下信息。配置项 说明 实例类型 固定选择 云原生多模数据库Lindorm。实例地区 选择目标Lindorm实例的所属地域。实例ID 选择目标Lindorm实例ID。说明 请确保目标...
应用场景
强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：采用了delete-and-insert的实时更新策略，且在读取时无需进行主键合并，相较于采用了merge-on-read（unique）的合并策略，性能提升了3~15倍。湖仓分析场景解决方案 ...
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
什么是图数据库自动机器学习？
功能概述 GDB Automl支持被广泛使用的经典统计和机器学习算法，包括梯度提升模型，广义线性模型、深度学习模型等，为使用者提供了从数据处理，模型训练，模型管理到预测推理的全生命周期管理服务，可以自动运行集成算法并调整其超参数，以...
函数概览
内建函数：流引擎内有多种函数，可以满足大部分业务场景的数据处理需求。内建函数的分类如下表：函数分类 相关文档 日期函数 STRINGTOTIMESTAMP TIMESTAMPTOSTRING 数学函数 ABS CEIL FLOOR RANDOM ROUND 字符串函数 LEN IFNULL TRIM ...
创建Hologres计算源
Schema 填写计算引擎数据库对应的Schema连接信息。用户名、密码 填写连接计算源的用户名和密码。单击 测试连接。连接测试通过后，单击 提交。后续步骤 完成创建加速计算源后，即可为已绑定MaxCompute计算源的项目添加Hologres加速计算源或...
名词解释
术语 宽表引擎 时序引擎 说明 DATABASE 〇 〇 Database（数据库）是一个结构化的、用于存储和管理相关数据的集合。TABLE 〇 〇 Table（表）是一种结构化的数据对象，用于存储和组织相关的数据记录。构建表时需要定义表的Schema结构，包括表...
通过Kafka写入数据
共支持以下两种写入方式：通过开源Kafka客户端写入Lindorm流引擎数据 通过开源Kafka脚本工具连接Lindorm流引擎 以通过开源Kafka脚本工具写入数据为例。创建Topic./kafka-topics.sh-bootstrap-server地址>-topic log_topic-create#写入数据....
全增量同步任务常见问题
因为您的数据源是自行配置的，并非本DataWorks项目下的计算引擎数据源。全增量实时同步至MaxCompute暂不支持非计算引擎数据。实时任务，运行报错：...
资产大盘
数据管理DMS 的资产大盘功能支持T+1离线汇总当前 DMS 租户下的所有实例、数据库、表数据，并图形化展示数据资产的引擎、环境、地域、来源、类目的分布占比及数量趋势。本文介绍如何使用DMS的资产大盘。注意事项 DMS 资产大盘的 表分布占比 ...
创建手动任务
设置手动任务属性 若任务需要在生产环境操作生产环境引擎数据，您可以在节点右侧定义手动任务在生产环境执行时的相关属性。该属性与调度任务属性作用一致。设置属性如下：属性 描述 基础属性 节点的名称、ID、类型、责任人会自动展示，此处...
Kafka兼容说明
流引擎的流表兼容Kafka协议，支持通过开源Kafka客户端写入数据，也支持通过Kafka生态工具将MySQL、日志等数据投递至流引擎。本文介绍通过开源Kafka客户端将数据写入流表的操作...具体操作，请参见 通过开源Kafka客户端写入Lindorm流引擎数据。
离线同步写入MongoDB数据
选择上述步骤中绑定的MaxCompute引擎数据源、创建的MongoDB数据源、和对应的独享数据集成资源组，测试完成连通性。配置任务：选择数据源。选择上述准备数据步骤中准备的MaxCompute分区表和MongoDB数据集合。任务关键参数配置详细介绍如下。...
入门概览
本文介绍 云原生多模数据库 Lindorm 时序引擎的使用流程，帮助您快速连接使用Lindorm时序引擎。操作流程 从创建Lindorm实例到Lindorm时序引擎的应用开发，您需要完成以下操作：创建Lindorm实例，创建时选择数据引擎为时序引擎，具体操作请...
使用MaxCompute访问
hadoop fs-cat/maxcompute2lindormstore/*验证文件引擎数据同步至MaxCompute 以下示例用来验证文件引擎数据是否同步到了MaxCompute上。说明 在验证文件引擎数据同步到MaxCompute中时，文件引擎上的测试数据是使用 验证MaxCompute数据同步至...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
Kyuubi概述
使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...
简介
空间/时空数据（Spatial/Spatio-temporal Data，统称时空数据）是带有时间/空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。概述 ApsaraDB PostgreSQL Ganos时空引擎（简称Ganos）提供一系列的数据类型...
连接并使用实例
本文汇总了 云原生多模数据库 Lindorm 各引擎类型的连接方式和参考文档。引擎类型 连接方式 参考文档 宽表引擎 通过Lindorm宽...通过客户端连接并使用Lindorm流引擎 通过开源Kafka客户端连接流引擎 通过开源Kafka客户端写入Lindorm流引擎数据
冷数据归档常见问题
如果原表位于X-Engine引擎，归档后的数据的数据量可能会变大。归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在...
Flink概述
Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。背景信息 EMR Flink完全兼容开源Flink，相关内容请参见...
引擎简介
云原生多模数据库 Lindorm 向量引擎提供面向海量向量数据的存储、索引和检索服务，支持多种索引算法和距离函数，并支持丰富的融合检索方式。不仅能为大模型RAG系统提供必需的全文-向量融合检索能力，提升大模型回答准确度，还适用于个性化...
EMR Studio概述
覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 优势 描述 兼容开源 EMR Studio提供深度优化的开源组件使用体验，100%兼容开源大数据生态。您无需修改任务代码，即可平滑迁移上云。通过EMR ...
数据库管理
每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：如果一个Lindorm时序引擎实例计划包含不相关的项目数据，在很大程度上，彼此之间是隔离的。那么在这种情况下，建议将它们放到单独的...
简介
空间/时空数据（Spatial/Spatio-temproal Data，以下统称时空数据）是带有时间/空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、...
通过DataX导入RDS数据
本文主要介绍如何使用阿里巴巴的开源工具DataX实现从关系型数据库到时序引擎的数据迁移。背景信息 DataX是阿里巴巴集团内被广泛使用的离线数据同步工具，实现包括MySQL、Oracle、SQL Server、PostgreSQL、HDFS、Hive、ADS、HBase、...
查看连接地址
本文介绍通过云原生多模数据库Lindorm控制台查看各引擎类型的连接地址。专有网络和公网 网络类型 说明 专有网络 ...通过开源Kafka客户端连接Lindorm流引擎（连接地址为图示中②）Lindorm 专有网络 通过开源Kafka客户端写入Lindorm流引擎数据
将时空数据写入宽表引擎
写入数据，使用Kafka客户端写入数据到数据流表，具体操作请参见 通过开源Kafka客户端写入Lindorm流引擎数据。完整的代码示例如下：import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer....
简介
空间/时空数据（Spatial/Spatio-temproal Data，以下统称时空数据）是带有时间/空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、...
Transaction Table2.0概述
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lamdba...
访问实例
Lindorm通过访问实例满足大量数据库读取需求，本文介绍如何从Lindorm控制台获取Lindorm消息引擎Kafka访问地址。获取连接地址 登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在 实例列表 页，单击目标实例ID或者目标实例所在...
功能简介
洞察是一款自助式数据挖掘分析型，面向业务管理者、运营、业务分析师等人员提供低使用门槛的智能、自动化、全面、精准的数据诊断和分析能力，智能发现数据规律或异常，实现从数据到知识的提取，辅助业务决策。几乎每个业务每天都存在业务...
TPC-H
TPC-H Benchmark是由国际事务处理性能委员会（Transaction Processing Performance Council）发布的数据库领域权威测试标准之一，是被工业界和学术界普遍认可的决策支持测试标准，也是数据库选型的重要参考指标之一。经过严苛的大规模分析...
- 产品推荐
- 这些文档可能帮助您