访问增强版HBase数据
云原生多模数据库 Lindorm 支持通过Lindorm计算引擎访问云数据库HBase增强版集群中的数据。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已阅读并了解通过Lindorm计算引擎访问数据时的使用须知。详细内容，请参见 使用...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
导入MongoDB数据
本文介绍通过DataWorks将MongoDB的离线数据迁移至Lindorm宽表。背景信息 有关大数据开发治理平台DataWorks，具体请参见 什么是DataWorks。注意事项 将MongoDB的离线数据迁移至Lindorm宽表时，需要将MongoDB嵌套的JSON数据展开成水平结构，...
数据归档
通过数据归档OSS功能，用户能够将低频访问、数据量大的表转储至OSS，并通过原生InnoDB的访问方式去读取冷表数据。数据归档DDL操作如下：归档 ALTER TABLE$table_name ENGINE_ATTRIBUTE='{"OSS":"Y"}';取回 ALTER TABLE$table_name ENGINE_...
ALTER SYSTEM
示例 将宽表引擎的数据文件版本号设置为5。ALTER SYSTEM SET FILE_FORMAT_VERSION=5;打开宽表引擎中记录慢查询的视图，并设置慢查询记录的阈值。 ALTER SYSTEM SET SLOW_QUERY_RECORD_ENABLE=TRUE;启用慢查询记录 ALTER SYSTEM SET SLOW_...
基本概念
K 宽表引擎 负责宽表与对象数据的管理和服务，具有全局二级索引、多维检索、动态列、TTL等能力，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容SQL、HBase、Cassandra（CQL）、S3等标准接口。更多信息，请参见 宽表引擎...
云数据源Alibaba Lindorm宽表
添加Alibaba Lindorm宽表数据源用于连通阿里云数据库Alibaba Lindorm宽表与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网连接阿里云数据库Alibaba Lindorm宽表，本文为您介绍如何添加阿里云Alibaba ...
通过MySQL命令行连接并使用宽表引擎
本文提供详细的操作步骤，从工具下载到完成简单的数据读写，带您快速上手Lindorm宽表引擎。前提条件 宽表引擎为2.6.0及以上版本。如何查看或升级当前版本，请参见 宽表引擎版本说明 和 升级小版本。已将客户端IP地址添加至Lindorm白名单。...
表
表是MaxCompute的数据存储单元。它在逻辑上是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段。MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中...
构建全量数据索引
宽表和索引表的列映射关系配置完成后，实时写入宽表中的数据将自动同步到索引表中。对于宽表中的全量数据，需要手动执行全量构建索引才可以完成数据同步。本文介绍通过构建索引完成全量数据同步。前提条件 已安装Java环境，要求安装JDK 1.8...
增量导入
本章节介绍搜索引擎如何进行增量导入。请参见 RDS增量导入，将增量数据导入到宽表引擎中。导入宽表引擎后，后台会通过BDS服务自动将宽表引擎的增量数据同步到搜索引擎中。重要 同步到搜索引擎的数据仅限于已经配置好的schema映射。
增量导入
本章节介绍搜索引擎如何进行增量导入。请参见 RDS增量导入，将增量数据导入到宽表引擎中。导入宽表引擎后，后台会通过BDS服务自动将宽表引擎的增量数据同步到搜索引擎中。注意 同步到搜索引擎的数据仅限于已经配置好的schema映射。
大数据安全治理的难点
如此多类型的用户，授权、管理难度加大，什么样的人员需要授予什么样的权限？如果他们离职、换部门了怎么办？这其中很有可能出现 权限蠕变、过度授权、离职撤权不彻底 的情况，这些都为数据安全事件埋下了隐患。入口 由于大数据系统要服务...
查询结果不符合预期的常见原因
未指定列簇（column family）：Lindorm宽表是支持多列簇的，如果在建表时未指定family，则写入的列默认被添加至名为 f 的family下，在数据查询时无需在查询条件中指定family。但如果使用了多family功能，则必须在查询条件中指定family，...
常见问题
原因：为避免由于数据类型等因素引发的脏数据问题，在您执行删除列的操作后，宽表引擎还需要异步清理内存、热存储和冷存储上该列的数据。在数据全部清理完之前，系统不允许重新添加同名的新列。解决方案：由于数据清理由系统自行完成，可能...
算子级别诊断结果
表扫描数据量倾斜 问题 AnalyticDB MySQL版 是分布式执行架构，大表的数据一般需要指定分布字段，数据写入时根据分布字段分散到不同的存储节点上。如果分布字段的值分布不均匀，那么数据存储在各个节点上时也会不均匀，最终导致数据读取时...
分区索引
分区索引是为了解决大宽表的存储和高并发访问问题而设计的一种新特性。创建搜索索引时可以指定数据分区策略，服务端自动将数据进行拆分并存储，查询数据时系统自动进行分区裁剪。本文介绍数据分区的策略和使用方法。前提条件 已开通 云原生...
如何统计表行数
注意事项 云原生多模数据库 Lindorm 是基于LSM-Tree存储结构的NoSQL数据库，如果您要精确查询Lindorm宽表的行数，需要扫描全表，表越大，耗时越长，所以不建议频繁在Lindorm宽表中进行COUNT操作。如果您确实需要获取表的行数，可以通过以下...
HBase Shell使用介绍
truncate:清空表中的数据，其内部实现是将指定的表下线、删除、重建，该操作会丢失Region分区 truncate_preserve：清空表中的数据，其内部实现是将指定的表下线、删除、重建，并且Region分区与旧表保留一致 进入和退出Shell环境 执行以下...
列存索引
示例三：大数据关联 如果您为多个宽表创建了列存索引，也可以将宽表间的数据进行关联。SELECT/*+_use_ldps_*/*FROM lindorm_columnar.my_index_db.my_index_tbl0 as t0 JOIN lindorm_columnar.my_index_db.my_index_tbl1 as t1 ON t0.pk0=t...
配置流引擎的宽表连接器
在使用流引擎处理计算任务时，Lindorm支持将宽表作为维表或结果表使用。本文介绍使用Flink SQL提交计算任务时的宽表连接器配置。背景信息 在流引擎中通过Flink SQL提交计算任务时，需要使用 CREATE TABLE 语句并配置连接器（Connector）...
使用须知
了解Lindorm计算引擎SQL 根据您已开通的引擎类型（即宽表引擎、时序引擎、搜索引擎或者文件引擎等），Lindorm计算引擎为您新增对应的数据源（Catalog）。您可以使用 SHOW CATALOGS 语句来查看当前可以使用的数据源，数据源名称和说明如下：...
配置流引擎的时空宽表连接器
在使用流引擎处理计算任务时，Lindorm支持将宽表作为维表或结果表使用，您可以通过宽表连接器关联在宽表引擎中创建的结果表，并设置相关参数开启时空内存索引。本文介绍通过连接器配置构建时空内存索引的方法。背景信息 在流引擎中通过...
基于Python的应用开发
本文介绍如何在Python中通过PyMySQL连接Lindorm宽表引擎。前提条件 已安装Python环境，且Python为3.7及以上版本。已开通MySQL协议兼容功能。如何开通，请参见 开通MySQL协议兼容功能。已将客户端IP添加至白名单，具体操作请参见 设置白名单...
常见问题
如果在很长一段时间内无法查询到写入宽表的数据，可能是由于服务端资源难以支撑当前的写入TPS，导致数据同步较慢。您可以通过以下步骤，在LTS管理页面查看实时数据同步的延迟情况。登录 Lindorm管理控制台。在页面左上角，选择实例所属的...
数据导入方式
Lindorm宽表引擎支持通过DataWorks配置导入任务，将MySQL、PolarDB、PostgreSQL、Oracle、SQL Server和Cassandra中的数据 全量导入 至Lindorm宽表引擎中。本文介绍如何通过DataWorks配置Lindorm导入任务。前提条件 已将客户端IP添加至...
产品架构
也可以作为宽表引擎、时序引擎的索引存储，对用户保持透明，即宽表/时序中的部分字段通过内部的数据链路自动同步搜索引擎，而数据的模型及读写访问对用户保持统一，用户无需关心搜索引擎的存在，跨引擎之间的数据关联、一致性、查询聚合、...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
快速入门
提交流引擎计算任务 使用Flink SQL提交Lindorm流引擎计算任务，读取开源Kafka topic中的数据并结合宽表数据做计算。连接到Lindorm流引擎，详情请参见 使用流引擎。创建地理围栏计算任务。下面的计算任务将流入Kafka的点与Lindorm表做地理...
LTS（原BDS）服务介绍
可以通过LTS将RDS数据实时同步到Lindorm宽表实现冷热数据分离，Lindorm宽表提供自动水平扩展、高并发查询、多维索引、轻量分析，Lindorm Streams提供变更数据有序订阅，LTS还支持将Lindorm 宽表数据同步到其它分析系统进行复杂数据分析。
常见问题
Q：索引表已开启冷热分离，且查询时设置了 HOT_ONLY 或_l_hot_only_(true)，为什么查询索引表和查询主表返回的数据不一致？A：这是因为主表和索引表的冷数据归档过程是独立的，并且归档主表和索引表冷数据的操作是周期性触发的，导致了主表...
名词解释
在宽表引擎中创建的表称为 宽表，在时序引擎中创建的表称为 时序表。PRIMARY KEY 〇 〇 Primary Key（主键）用于唯一标识表中每个记录的一列或一组列。主键的值在表中是唯一的，且不允许为空。在宽表中，主键可以由一个或多个列组成。在...
按时间戳冷热分离
如何通过HBase Shell连接宽表引擎，请参见 通过Lindorm Shell访问宽表引擎。如何通过HBase Java API连接宽表引擎，请参见 基于HBase Java API的应用开发。如何通过Lindorm-cli连接宽表引擎，请参见 通过Lindorm-cli连接并使用宽表引擎。表...
宽表模型介绍
宽表（WideColumn）模型是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景，支持数据版本、生命周期、主键列自增、条件更新、过滤器等功能。宽表模型在车联网场景中主要用于车辆元数据的存储与分析。说明 关于宽表模型的更多信息...
云数据库MongoDB版迁移至云原生多模数据库Lindorm
说明 若Lindorm中的宽表是用HBase创建的，建议您为表添加列映射关系（即宽表的列为普通列），详情请参见 HBase表添加列映射示例。建议目标实例的存储空间比源数据库已使用的存储空间大10%。注意事项 类型 说明 源库限制 带宽要求：源库所属...
云数据库MongoDB版同步至云原生多模数据库Lindorm
说明 若Lindorm中的宽表是用HBase创建的，建议您为表添加列映射关系（即宽表的列为普通列），详情请参见 HBase表添加列映射示例。注意事项 类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
二级索引
Lindorm宽表支持Tabular模型下的二级索引功能，此功能在非主键匹配的查询场景下，可以降低应用的开发复杂性、保证数据的一致性和提高写入效率。本文介绍Lindorm Tabular模型下二级索引的基本特性和使用示例。背景信息 对于Lindorm Tabular...
添加及管理监控对象
您可以根据 我负责的、表名称/数据源名称、校验开关、最近一次校验状态、质量负责人、数据源类型、数据源名称、资源负责人 条件进行精确筛选。② 列表区 为您展示 表名称、校验开关、生效/总质量规则数、最近一次校验状态、质量负责人、...
- 产品推荐
- 这些文档可能帮助您