支持的数据源
大数据 MaxCompute Lindorm宽表 支持，由 Lindorm LTS 提供服务。不支持。文件 CSV Lindorm宽表 支持，由 Lindorm LTS 提供服务。不支持。Parquet Lindorm宽表 支持，由 Lindorm LTS 提供服务。不支持。数据导出 源集群 目标集群 全量导出 ...
云数据源Alibaba Lindorm宽表
添加Alibaba Lindorm宽表数据源用于连通阿里云数据库Alibaba Lindorm宽表与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网连接阿里云数据库Alibaba Lindorm宽表，本文为您介绍如何添加阿里云Alibaba ...
添加Lindorm宽表数据源
本文介绍如何添加Lindorm宽表数据源。前提条件 已登录LTS页面，具体操作请参见 开通并登录LTS。添加Lindorm SQL数据源 进入LTS操作页面，在左侧导航栏选择 数据源管理>添加数据源。在 添加数据源 页面设置相关参数。参数 说明 名称 自定义...
功能特性
计算引擎访问宽表数据 宽表引擎 动态列 Lindorm宽表引擎支持动态列功能，用于在实际业务中动态写入数据并执行查询，减少了数据结构设计的复杂性。动态列 二级索引 Lindorm宽表引擎提供了Tabular模型下的二级索引功能。在非主键匹配的查询...
使用须知
访问宽表数据 lindorm_cdc 读写Lindorm CDC数据使用的数据源。访问Lindorm CDC数据的介绍 访问语法示例：Lindorm宽表引擎（lindorm_table）中有一个Database名称为DB1，DB1中有一个表名为tableX，可以通过以下两种方式查询表的数据。示例一...
访问增强版HBase数据
以访问宽表数据的方式，通过Lindorm计算引擎访问增强版HBase表。如何访问，请参见 访问宽表数据。如果增强版HBase表的主键字段 ROW 在Lindorm计算引擎中映射为BINARY类型。您可以使用以下内置函数，将BINARY类型转化为相应的HBase数据类型...
快速入门
提交流引擎计算任务 使用Flink SQL提交Lindorm流引擎计算任务，读取开源Kafka topic中的数据并结合宽表数据做计算。连接到Lindorm流引擎，详情请参见 使用流引擎。创建地理围栏计算任务。下面的计算任务将流入Kafka的点与Lindorm表做地理...
通过Push模式创建数据订阅
已添加Lindorm宽表数据源，具体操作请参见 Lindorm宽表数据源。已添加Kafka数据源，具体操作请参见 Kafka数据源。已开通数据订阅功能，具体操作请参见 开通数据订阅。创建Lindorm Streams 进入LTS（原BDS）页面，在左侧导航栏中，选择 数据...
自动备份Lindorm数据
如需全量或增量备份Lindorm宽表数据，您可以通过备份恢复功能将数据备份至阿里云OSS，不占用Lindorm实例的存储空间。功能开通后，系统将按照默认全量备份周期自动备份宽表数据，您可以在控制台修改全量备份周期和范围。增量备份功能无需...
访问CDC数据
为HBase表设置LINDORM_HBASE_CATALOG属性，设置方法请参见 访问宽表数据。说明 LINDORM_HBASE_CATALOG属性表示SparkSQL Schema与HBase表Schema的对应关系，Lindorm CDC数据源根据该属性的内容提取HBase表Schema。使用限制 仅支持HBase表...
通用批量导入服务
添加Lindorm宽表数据源，具体操作请参见 Lindorm宽表数据源。添加HDFS数据源，具体操作请参见 添加HDFS数据源。在左侧导航栏中，选择。单击 创建任务，配置以下参数。配置项 参数 描述 选择数据源 源数据源 选择添加的ODPS数据源或者HDFS...
添加体验空间数据库
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。删除数据表 登录 DataV-Atlas控制台。在 数据中心 页面下方，单击数据库列表的 体验空间。在 public 文件夹下选择需要删除的数据表，单击当前数据表右侧的...
数据查询
Lindorm宽表引擎在集群管理系统中提供了SQL查询入口，您可以使用SQL语法来查询Lindorm宽表数据。本节介绍通过集群管理系统查询宽表数据。前提条件 已登录目标实例的集群管理系统，具体操作请参见 登录集群管理系统。使用限制 为确保数据...
数据归档至Lindorm
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过Lindorm查询归档数据 宽表引擎 数据查询。周期调度 配置项 说明 调度...
数据归档至Lindorm
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过Lindorm查询归档数据 宽表引擎 数据查询。周期调度 配置项 说明 调度...
管理数据树
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。刷新数据库/文件夹/表 选择需要查看的层级，单击右上角的 图标，完成刷新操作。改变数据库/文件夹显示模式 选择需要查看的层级，单击右上角的 图标或 图标...
RDS全增量同步
说明 添加Lindorm宽表数据源。添加RDS数据源。添加DTS数据源。单击 编辑 可以查看默认配置说明，也可以修改配置说明，请参见 配置说明。选择要同步的表，单击 生成配置。说明 RDS全增量同步先进行全量历史数据迁移，迁移完成后在进行增量...
数据扫描和识别
当存在大量数据表时（例如：表数量超过10000张），或者OSS文件总量特别大（例如：OSS总量超过PB）时，扫描周期会相应延长。在 DSC 扫描数据的过程中，已经完成扫描的阶段性结果，会在 数据安全中心控制台 概览 页面展现。更多信息，请参见 ...
基本概念
D 多模 云原生多模数据库 Lindorm 支持宽表、时序、对象、文件、队列、空间等多种数据模型，提供标准SQL和开源接口两种方式，各数据模型之间数据互融互通，使得应用开发更加敏捷、灵活和高效。DMS 数据管理（Data Management Service，简称...
迁移自带二级索引的表
如何添加，请参见 添加Lindorm宽表数据源。注意事项 迁移前请确认目标实例的HDFS容量，确保可用容量足以支撑数据迁移，避免迁移过程中出现容量已满导致任务失败的情况。步骤一：确定需要迁移的表 以迁移数据库 default 下的主表 dt 和其...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
存储类型
宽表引擎、时序引擎、搜索引擎、文件引擎、流引擎 支持选购容量型存储。性能型云存储 0.2ms~0.5ms 广告竞价投放、用户画像、人群圈选、实时搜索、风控大脑等低延迟访问数据。宽表引擎、时序引擎、搜索引擎、文件引擎、流引擎 支持选购容量...
数据归档至DBS内置OSS
本文介绍如何将大表数据归档至DBS内置OSS中。前提条件 支持如下类型的源数据库：MySQL类型：RDS MySQL、PolarDB MySQL版。PolarDB PostgreSQL版。PolarDB分布式版。说明 MySQL数据库账号必须具有REPLICATION CLIENT权限。您的系统角色需要...
功能特性
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
如何对JSON类型进行高效分析
列数扩展 当半结构化数据相关属性通过虚拟列转换为大宽表的列时，大宽表的列数会随着半结构化数据属性增加而不断扩大。而原生MySQL的最大列数限制，一般取决于表的存储引擎的限制，例如InnoDB存储引擎支持最大列数为1017列（约1K列）。对于...
基本介绍
背景信息 云数据库HBase增强版是由 云原生多模数据库Lindorm宽表引擎 提供的、完全兼容HBase的云上托管数据库，从2011年开始云数据库HBase增强版正式承载阿里内部业务的海量数据实时存储需求，支撑服务了淘宝、支付宝、菜鸟、优酷、高德等...
宽表模型介绍
宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
导入MongoDB数据
本文介绍通过DataWorks将MongoDB的离线数据迁移至Lindorm宽表。背景信息 有关大数据开发治理平台DataWorks，具体请参见 什么是DataWorks。注意事项 将MongoDB的离线数据迁移至Lindorm宽表时，需要将MongoDB嵌套的JSON数据展开成水平结构，...
查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
将时空数据写入宽表引擎
参数说明如下：参数 是否必选 描述 table_type 是 表示将宽表数据关联到流引擎，固定为 lindorm.table。table_name 是 Lindorm宽表的表名。endpoint 是 Lindorm宽表引擎中HBase兼容的专有网络连接地址，具体操作请参见 查看连接地址。创建...
搜索索引介绍
云原生多模数据库 Lindorm 宽表引擎除了支持高性能原生二级索引，也支持一种新的索引类型，称为搜索索引（SearchIndex），搜索索引主要面向复杂的多维查询场景，能够覆盖分词、模糊查询、聚合分析、排序翻页等场景。本文介绍搜索索引的功能...
访问宽表引擎数据
本文介绍如何在Lindorm计算引擎中通过SQL访问Lindorm宽表引擎数据。准备工作 通过SQL访问Lindorm宽表引擎数据前，需要了解 使用须知。根据作业的提交方式，请确保...查询Lindorm宽表引擎中的表数据。SELECT*FROM test;更多SQL语法请参见 DML。
通过流引擎实现地理围栏监控
参数说明如下：参数 是否必选 描述 table_type 是 表示将宽表数据关联到流引擎，固定为 lindorm.table。table_name 是 Lindorm宽表的表名。endpoint 是 Lindorm宽表引擎中HBase兼容的专有网络连接地址，具体操作请参见 查看连接地址。创建...
管理列映射
通过开源客户端使用搜索索引需要将宽表的数据同步至索引表，同步的方法是建立宽表和索引表的列映射，列映射配置完成后，需要对列映射进行管理操作，包括创建列映射、查看列映射、增加列映射、删除列映射。前提条件 已安装Java环境，要求...
ALTER SYSTEM
已支持的配置项列表 配置项名称 数据类型 适用引擎 描述 FILE_FORMAT_VERSION Integer 宽表引擎 设置宽表引擎中数据文件的版本。宽表引擎数据文件的默认版本是2。说明 如果您在使用过程中遇到报错 Cell Tag is not supported since ...
典型应用
海量数据实时多维查询 在数亿至数百亿记录规模大宽表，数百以上维度自由查询，响应时间通常在100毫秒以内。让业务人员能持续探索式查询分析，无需中断分析思路，便于深挖业务价值，具有非常好的查询体验。用户画像分析 随着数据时代的发展...
列存索引
在创建列存索引时，若宽表数据的主键字段不能直接作为列存索引的普通分区表达式，可以在普通分区表达式中包含计算逻辑，示例如下。对宽表所有字段创建列存索引，将列存索引数据按时间戳字段 ts 按天分区：CREATE INDEX my_ts_idx ...
- 产品推荐
- 这些文档可能帮助您