应用场景
该场景可实现：实时多源数据同步 支持多业务数据源，结构化非结构化数据的实时同步。营销效果实时反馈 支持对海量日志数据和业务进行即时的复杂关联计算，提高营销效果反馈及时性。商业智能报表 该场景要求支持海量数据实时入库和计算，...
冷热分层
海量结构化数据Delta Lake架构 针对结构化冷热分层的数据场景，阿里巴巴集团推出了海量结构化数据的Delta Lake架构。基于Tablestore的通道服务，原始数据可以利用变更数据捕获CDC（Change Data Capture）技术写入多种存储组件中。示例 本...
创建数仓分层
ODS层对原始数据的操作具体如下：将原始的结构化数据增量或全量同步至数据仓库中。将原始的非结构化数据（例如，日志信息）进行结构化处理，并存储至MaxCompute。根据实际业务需求，记录原始数据的历史变化或对原始数据进行简单的清洗。ODS...
非结构化数据向量检索
数据写入 非结构化数据向量检索的数据写入方式与普通的数据写入方式一致。UPSERT INTO vector_table(id,name,age,vector_column)VALUES('1','test',19,'[0.067985594,0.94134957,0.9174301]');UPSERT INTO vector_table(id,name,age,vector...
产品概述
数据总线 DataHub 同时支持强Schema的结构化数据（创建Tuple类型的Topic）和无类型的非结构化数据（创建Blob类型的Topic），您可以自由选择。高可用 服务可用性不低于99.9%。规模自动扩展，不影响对外服务；数据持久性不低于99.999%。数据...
基本概念
数据模板：用于对非结构化数据的解释，当创建数据同步任务时，且源端数据类型为消息中间件时，通过数据模板对其进行解释。Oracle CDC：实时数据同步模式，对源表进行INSERT、UPDATE或DELETE等操作的同时可以提取数据，变化的数据被保存在...
数据可视化概览
数据集是数据的结构化形态，一切逻辑、权限、服务等都是从数据集展开。图表是数据的可视化形态，一切展示、交互、引导等都是从图表展开。说明 作为数据的两种不同形态，二者相辅相成，让您拥有一致的体验和认识。仪表盘和大屏是图表的组合...
概述
数据集是数据的结构化形态，一切逻辑、权限、服务等都是从数据集展开。仪表盘是数据分析和数据展示的画布，在仪表盘中可以做实时的数据分析，也可以将数据制作为报表进行展示或分享。大屏是针对大屏幕的特殊数据展示画布，支持灵活自定义的...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
概述
表格存储是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储且可以无限水平扩展。同时，表格存储提供强大查询功能，还支持在线、离线数据分析。此外，表格存储提供全托管服务，使用表格存储您无需担心软硬件预置、配置、故障、...
数据扫描和识别
支持扫描的数据源类型如下：结构化数据：RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据：OSS 大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，...
2023年
2023-03-30 全部地域 向量计算（Proxima CE）概述 支持External Volume非结构化数据存储能力 External Volume是MaxCompute提供的非结构化大数据存储方案，是OSS路径在数仓中的映射和管理对象。2023-03-30 全部地域 External Volume操作 ...
概述
表格存储是阿里云自研的多模型结构化数据存储，支持多种数据模型，包括宽表模型和时序模型。您可以将Kafka数据同步到表格存储中的数据表（宽表模型中的表类型）或者时序表（时序模型中的表类型）。具体操作，请分别参见 同步数据到数据表 ...
什么是云数据库HBase
云数据库HBase全面提供海量半结构/非结构化数据下的实时存储、高并发吞吐、轻SQL分析（参见 云原生多模数据库Lindorm）、全文检索（参见Lindorm产品）等能力，结合完备的工具服务，丰富的生态融合，一站式高效满足企业在大数据量场景下的...
从RDS MySQL同步至Tablestore
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）同步至Tablestore...
数据存储目录结构说明
本章介绍文件引擎(LindormDFS)默认的数据存储目录结构。目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如...
表
MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。您可以 创建表、删除表以及向表中导入数据。说明 DataWorks的数据开发模块...
引擎简介
Lindorm宽表引擎是面向海量半结构化、结构化数据设计的分布式存储，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容HBase、Phoenix（SQL）、Cassandra等开源标准接口，支持单表百万亿行规模、千万级并发、毫秒级响应、跨...
数据集成概述
即数据集成仅支持传输能够抽象为逻辑二维表的数据同步，不支持同步OSS中存放完全非结构化的数据（例如一段MP3）至MaxCompute。网络连通：支持单地域内及部分跨地域的数据存储相互同步、交换的数据同步需求。部分地域之间可以通过经典网络...
混合检索使用指南
当结构化数据与非结构化数据需要同时检索时，您可以使用 AnalyticDB PostgreSQL版 向量数据库的混合查询，既支持结构化字段过滤，也支持半结构化字段过滤，同时支持和文本字段的全文检索一起进行双路召回。混合检索简介 ANNS（Approximate ...
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
识别任务说明
扫描速度 不同类型数据库的扫描速度说明如下，该扫描速度仅供参考：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据（TableStore、MaxCompute等）：对于较大的数据库（即表数量大于1000个），扫描速度为1000列/分钟。非结构化...
基本概念
元数据管理 对非结构化类型的数据表进行统一的结构化（二维化）配置及管理。网络配置 应用能够成功调用API或Dataphin数据源的基础网络配置，包括域名配置和VPC白名单配置。说明 如果您是公共云用户，则需要配置VPC白名单。调用示例 应用...
典型场景
多模数据分析 面对多种非结构化数据源的挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持PostGIS插件扩展，实现地理数据分析处理。通过MADlib插件扩展，内置多种机器学习算法，实现AI Native DB。支持通过向量检索，...
功能简介
数据源可以是Table Store、ApsaraDB for RDS和AnalyticDB MySQL等数据存储中的数据表。流式数据服务的源头为DataHub或RocketMQ的Topic，服务封装为DataHub Topic的读取API，返回Topic中的数据。数据源可以是DataHub和RocketMQ。批量离线...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
数据源可以是Table Store、ApsaraDB for RDS和AnalyticDB MySQL等数据存储中的数据表。流式数据服务的源头为DataHub或RocketMQ的Topic，服务封装为DataHub Topic的读取API，返回Topic中的数据。数据源可以是DataHub和RocketMQ。批量离线...
典型场景
数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。机器学习：DLA支持Spark，支持开源算法库。交互式分析：DLA提供Presto交互式分析，支持BI、分析师的数据分析诉求。联邦分析：同时连接多个数据源做...
功能特性
通过Kafka导入数据 通过Flink导入数据 云数据库 SelectDB 版支持通过SelectDB提供的Flink连接器（SelectDB Connector for Apache Flink），将Kafka中的非结构化数据以及MySQL等上游业务数据库中的变更数据，实时同步到云数据库 SelectDB 版...
方案选择
表格存储作为面向海量结构化数据提供的Serverless表存储服务，具有海量数据存储、热点数据自动分片、海量数据多维检索等功能，能有效解决订单数据大爆炸的挑战。同时，多元索引 功能在保证用户数据高可用的基础上提供了数据多维度搜索、...
引擎类型
面向海量半结构化、结构化数据设计的分布式宽表引擎，具备全局二级索引、多维检索、动态列、TTL等能力，支持千万级高并发吞吐，支持百PB级存储，吞吐性能是开源HBase的3-7倍，P99时延为开源HBase的1/10，支持冷热分离，压缩率比开源HBase...
功能特性
Spark访问湖仓一体外部数据源 基于External Volume处理非结构化数据 通过创建External Volume挂载OSS的路径，利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制，同时利用 MaxCompute引擎处理External Volume内部的...
离线同步数据质量排查
在半结构化数据同步时往往涉及多个文件同步，您需要确认数据读取、写出的文件集合是否完整。依赖产出未完成 如果是周期产出的数据（周期的数据同步任务、周期的全增量数据融合Merge任务等），需要检查下对应的数据产出任务是否正常执行并...
冷热数据分层存储
冷热数据分层存储提供了两种存储策略，具体如下：存储策略 详情 默认存储策略 将新写入的数据存储在热数据盘中，提供高效查询。当热数据存储量达到业务使用阈值时，自动将当前热数据盘中占用空间最大的part数据文件移动到冷数据盘存储，...
创建Kudu数据源
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
访问列存数据
Lindorm计算引擎支持将半结构化、结构化数据以列存方式进行存储，相较于行式存储，列式存储的查询响应时间更短，消耗IO更少。本文介绍如何通过计算引擎访问Lindorm列存数据。背景信息 Lindorm列存是面向海量半结构化、结构化数据设计的列...
时序分析存储概述
分析存储与时序表的数据存储相互独立，允许用户自定义数据的生命周期（TTL），对分析存储的查询操作不会对时序表的读写性能产生影响。分析存储能够自动同步时序表数据，在数据写入速率稳定的情况下，同步操作的延迟通常在10分钟内，如果...
产品优势
特性对比 Lindorm VS 开源HBase VS 开源Cassandra Lindorm宽表引擎是面向海量半结构化、结构化数据设计的分布式存储，兼容HBase、Phoenix(SQL)、Cassandra等开源标准接口，下表介绍Lindorm与开源HBase和开源Cassandra的区别。特性 云原生多...
冷热分离介绍
冷热分离功能支持将冷热数据存储在不同的介质上，冷存储的存储类型为容量型存储，热存储的存储类型为标准型云存储、性能型云存储、本地SSD盘或本地HDD盘。冷存储的价格仅为标准型存储的20%，大大降低了存储成本。原理简介 在功能实现上，...
常见问题
DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对数据进行高效压缩，所以数据量最多可降低为旧版的30%，从而极大降低了存储成本。如何查看企业...
- 产品推荐
- 这些文档可能帮助您