添加及管理监控对象
您可以根据 我负责的、表名称/数据源名称、校验开关、最近一次校验状态、质量负责人、数据源类型、数据源名称、资源负责人 条件进行精确筛选。② 列表区 为您展示 表名称、校验开关、生效/总质量规则数、最近一次校验状态、质量负责人、...
添加及管理监控对象
您可以根据 我负责的、表名称/数据源名称、校验开关、最近一次校验状态、质量负责人、数据源类型、数据源名称、资源负责人 条件进行精确筛选。② 列表区 为您展示 表名称、校验开关、生效/总质量规则数、最近一次校验状态、质量负责人、...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
常见问题
数据安全中心对于结构化数据源的扫描机制是什么样的？数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据，只通过字段值无法判断数据是否敏感。例如：年龄数据。敏感数据识别是如何实现的？敏感数据识别是在完成数据...
创建Lindorm数据源
背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、海量数据低成本存储和分析。更多阿里云Lindorm信息，请参见 云原生多模数据库 Lindorm。权限说明 Dataphin仅支持 超级管理...
消除数据重分布
确定成本最高的查询使用的表，并评估它们在查询执行中的作用，考虑表是如何join和聚合的。对于一个大表join多个小表的场景，类似star schema，采用大表（fact表）和最大的小表（dimension表）的共同列作为数据分布列。根据参与最常见join的...
基本介绍
背景信息 云数据库HBase增强版是由 云原生多模数据库Lindorm宽表引擎 提供的、完全兼容HBase的云上托管数据库，从2011年开始云数据库HBase增强版正式承载阿里内部业务的海量数据实时存储需求，支撑服务了淘宝、支付宝、菜鸟、优酷、高德等...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
搜索索引介绍
数据同步服务LTS实时监听宽表WAL，筛选出宽表WAL中带有SearchIndex的表，并将筛选的数据写入至搜索引擎。搜索引擎收到数据后实时构建倒排索引。数据查询的流程如下：查询操作发送至Lindorm宽表引擎，计算层自动进行查询编译，基于优化器...
区域统计
其中，Lindorm宽表 HBase Java API访问地址 的获取方式，请参见 查看宽表引擎连接地址。说明 计算任务中使用到的函数，请参见 关系函数、Count函数 和 TUMBLE窗口函数。步骤四：查看结果 通过Lindorm-cli连接并使用宽表引擎。执行以下语句...
管理健康报告
Top导入热表分析 按表粒度对导入任务数量进行排序并选取Top 20的表，这些表的导入任务执行最为频繁且涉及的数据导入事务最多。导入热节点分析 可以通过对各节点的统计数据进行导入，来分析数据的均衡度。例如，您可以从 写入总大小 指标...
配置列映射
type：宽表中需要映射的列的数据类型，配置时区分大小写，包括以下数据类型：INT LONG STRING BOOLEAN FLOAT DOUBLE 说明 确保宽表的数据类型与配置的数据类型一致，否则会影响到索引数据的生成。在宽表引擎中需要您通过调用 Bytes.toBytes...
创建Lindorm数据源
背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、海量数据低成本存储和分析。更多阿里云Lindorm信息，请参见 云原生多模数据库 Lindorm。权限说明 Dataphin仅支持 超级管理...
常见问题
由于DTS的传输性能受DTS内部、源端和目标端数据库实例的负载、待传输的数据量、DTS实例是否存在增量任务、网络等多种因素影响，所以无法预估DTS任务所需的时间，若对性能有较高要求，建议选择性能上限较大的规格。关于规格的更多信息，请...
实时同步常见问题
当您在查询实时同步任务产出的表数据，发现数据未同步时，原因可能是实时同步任务出现延迟，您可以进入运维中心的 实时同步任务 界面，查看任务的 业务延迟 数值是否过大。详情请参见 实时同步任务延迟解决方案。若业务延迟较大，其可能...
车联网数据存储处理方案
Lindorm宽表引擎、Lindorm文件引擎、Lindorm LTS数据同步服务、DLA数据湖分析具备了一体化的数据存储、实时归档、离线数据高压缩比存储、高效数据分析的能力 Lindorm LSM架构使得bulkload数据回流成为可能，高效并且对在线业务影响很低。...
引擎简介
Lindorm宽表引擎是面向海量半结构化、结构化数据设计的分布式存储，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容HBase、Phoenix（SQL）、Cassandra等开源标准接口，支持单表百万亿行规模、千万级并发、毫秒级响应、跨...
基于Go ORM框架的应用开发
否则longtext类型不支持 Code string `gorm:"type:varchar"` Price float64 } func main(){/user是lindorm宽表引擎的用户名/password是用户对应的密码/lidnorm_mysql_url是lindorm宽表引擎MySQL协议的接入域名/database是需要连接的数据库 ...
将时空数据写入宽表引擎
本文介绍将流引擎中的时空数据写入宽表的具体方法。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。如果客户端没有部署在ECS，需要将客户端IP地址添加至Lindorm实例...通过宽表SQL查询宽表的数据。SELECT*FROM gps_data;查询结果如下：
Tablestore Stream数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } 行模式读取宽表 {"type":"job","version":"2.0",/版本号。steps":[{"stepType":"otsstream",/插件名。parameter":{"datasource":"$srcDatasource",/数据源。dataTable":"",/...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
通过开源客户端访问并使用搜索索引
宽表和索引表的列映射关系配置完成后，实时写入宽表中的数据将自动同步到索引表中。登录LTS操作页面。在Lindorm控制台上单击目标实例ID，左侧导航栏选择 宽表引擎>搜索索引(SearchIndex)，在 数据同步管理 UI 后单击 ClusterManager公网 或...
CREATE TABLE
CREATE TABLE语句用于在Lindorm宽表引擎或时序引擎中创建表，支持多种数据类型，例如VARCHAR、TIMESTAMP、BIGINT等；支持多种表属性，例如数据有效期TTL、压缩算法COMPRESSION等。您可以灵活搭配各种表属性和数据类型，设计出更贴合业务...
离线同步常见问题
目标端的数据类型定义的大小需要可以接收源端映射字段实际数据大小，源端是long、varchar、double等类型的数据，目的端均可用string、text等大范围类型接纳。脏数据报错不清晰时，需要复制出打印出的脏数据的一整条，观察其中的数据，和...
添加OSS数据源
添加OSS数据源用于实现 云原生多模数据库 Lindorm 宽表引擎读取OSS的数据。如果您要将OSS数据导入到 云原生多模数据库 Lindorm 宽表中，需要先添加OSS数据源。本文介绍如何添加OSS数据源。前提条件 已购买LTS服务，具体操作请参见 购买并...
通过Kafka写入数据
本文介绍如何使用Flink SQL提交流引擎计算任务将Kafka Topic中的数据导入至Lindorm宽表。前提条件 已开通Lindorm流引擎。如何开通，请参见 开通流引擎。已将客户端IP地址添加至Lindorm实例的白名单中。具体操作，请参见 设置白名单。注意...
多版本数据管理
如果宽表的列要存储多个版本的数据，需要在创建表时设置版本属性 'VERSIONS'='n'（n为正整数，表示每列最多保留的版本数）。通过时间戳查询多版本的数据时需要指定多版本属性，多版本的相关属性如下表：属性名称 说明 适用语句_l_ts_(N)...
深度解析Lindorm搜索索引（SearchIndex）特性
Lindorm宽表是一个KV数据库，天然支持更新部分列，但是搜索引擎Lucene只能整行更新，不能够局部更新。因此，在构建索引时需要回读原表获取历史数据，才能够拼接出完整的索引WAL。Lindorm将这个回读操作按照业务场景进行分类，支持不同的...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
免费体验Lindorm宽表性能&价格力
宽表引擎负责宽表与对象数据的管理和服务，具备全局二级索引、多维检索、动态列、TTL等能力，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容SQL、HBase、Cassandra（CQL）、S3等标准接口。Lindorm宽表引擎支持千万级高...
访问宽表引擎数据
本文介绍如何在Lindorm计算引擎中通过SQL访问Lindorm宽表引擎数据。准备工作 通过SQL访问Lindorm宽表引擎数据前，需要了解 使用须知。根据作业的提交方式，请确保已完成了相应的初始化工作：JDBC开发实践 JAR作业开发实践 Python作业开发...
操作项目权限
数据表 选择该表类型下需授权项目权限的数据表。权限类型 根据表类型不同，申请的权限也不同。详细说明如下：表类型为 标签逻辑表、逻辑视图、物理视图 时：仅支持 查表数据。表类型为 物理表 时：支持选择 查表数据、改表数据、删除表、改...
操作项目权限
数据表 选择该表类型下需授权项目权限的数据表。权限类型 根据表类型不同，申请的权限也不同。详细说明如下：表类型为 标签逻辑表、逻辑视图、物理视图 时：仅支持 查表数据。表类型为 物理表 时：支持选择 查表数据、改表数据、删除表、改...
开通备份恢复
云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据...
通过流引擎实现地理围栏监控
操作步骤 通过Lindorm-cli连接宽表引擎，并在宽表引擎中创建一张记录地理围栏数据的宽表，具体操作请参见 通过Lindorm-cli连接并使用宽表引擎。语句示例如下：CREATE TABLE route_table(route_id varchar,region geometry(polygon),/地理...
归档为CSV或ORC格式
归档分区表是对表的分区进行归档，归档后的表为混合分区表，归档后分区的数据文件保存在OSS上。执行完归档操作后，分区在PolarStore上占用的空间会自动释放。语法 归档为 CSV 格式的文件：ALTER TABLE table_name CHANGE PARTITION part_...
Tunnel命令常见问题
如何在Shell脚本中将一个TXT文件中的数据上传到MaxCompute的表中？导入文件夹中的文件数据时，提示字段不匹配，但是文件夹下的文件可以单独导入，如何解决？使用Tunnel Upload命令上传两个文件时，第一个文件上传结束之后，第二个文件没有...
确定需求
建议您思考下列问题，对后续的数据建模将有巨大的帮助：业务数据是根据什么（维度、粒度）汇总的，衡量标准是什么？例如，成交量是维度，订单数是成交量的度量。明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的...
- 产品推荐
- 这些文档可能帮助您