混合检索使用指南
具体是通过优化器的RBO（Ranked-Biased Overlap）代价估算规则，生成不同的执行计划来解决结构化数据与非结构化数据需要同时检索的问题。下文通过一个例子来说明混合检索的原理。假设有一个带条件的拍图查找商品需求：查找与输入图片相似度...
如何对JSON类型进行高效分析
针对海量半结构化数据计算与分析，本文将以半结构化数据JSON为例，首先简述传统数据库与数据仓库的解决方案，然后详细描述 PolarDB IMCI列式JSON、虚拟列、秒级加减列与表列数扩展等技术点，最后给出 PolarDB IMCI列式JSON实时分析与扩展流...
搜索结构化数据
结构化数据页面可以查看计算服务分析的实时或历史结构化数据信息。操作步骤 登录 城市视觉智能引擎控制台，进入实例详情页面,单击页面左侧菜单栏的搜索服务下的结构化数据。在结构化数据页面设置查询条件，单击搜索。搜索实时数据时，需要...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
非结构化分析
功能说明 向量分析实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。AnalyticDB PostgreSQL版 向量检索分析基于MPP查询架构构建，帮助用户实现基于SQL...
功能概述
实现原理 分析型数据库MySQL版的向量分析旨在帮助您实现非结构化数据的近似检索和分析，其实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。...
外部表常见问题
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
品牌升级
无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB for MySQL 构建企业的数据分析平台，同时完成高吞吐离线处理和高性能在线分析，实现降本增效。此次品牌升级，存量分析型数据库MySQL版（ADS）...
查询非结构化数据
MaxCompute Studio对此提供了一些代码模板方便您快速进行非结构化数据查询开发。本文为您介绍如何使用MaxCompute Studio查询非结构化数据。前提条件 您需要完成以下操作：管理项目连接 创建MaxCompute Java Module 编写StorageHandler、...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
未来规划
结构化与非结构化数据如何融合异构处理，比如如何用向量处理引擎把非结构化数据变成结构化数据，高维向量、多源异构数据处理的技术。数据处理与分析：海量数据分析在线化（实时在线交互式分析）。如何对海量数据进行在线分析和计算，支持...
产品优势
支持防护常见的结构化数据、非结构化数据和大数据产品，例如对象存储OSS、云数据库RDS、MaxCompute等。智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控...
表
MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。您可以 创建表、删除表以及向表中导入数据。说明 DataWorks的数据开发模块...
识别任务说明
结构化数据识别配置 结构化数据识别范围 选择结构化数据（例如RDS、PolarDB）的扫描范围。可选项：全局扫描：扫描您在 作用域 中选择的全部结构化数据资产。指定扫描：选择需要扫描的实例名和实例库名。如需添加多个实例，可单击 添加识别...
功能优势
为了让您对非结构化数据拥有更多的自主控制权，您可以把非结构化数据保存在OSS或者图片服务器上（下图使用OSS），非结构化数据的保存地址即URL存储在分析型数据库MySQL版中，整体架构如下所示。通过分析型数据库MySQL版控制台注册特征提取...
典型场景
多模数据分析 面对多种非结构化数据源的挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持PostGIS插件扩展，实现地理数据分析处理。通过MADlib插件扩展，内置多种机器学习算法，实现AI Native DB。支持通过向量检索，...
应用场景
2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步分析做准备。2.2 收益 实时ETL 接入多种数据源，实时进行清洗、过滤、关联与...
什么是图数据库GDB?
分类 图数据库 关系型数据库 模型 图结构 表结构 存储信息 结构化/半结构化数据库 高度结构化数据库 2度查询 高效 低效 3度查询 高效 低效/不支持 空间占用 高 中 开始使用 您可以通过 入门概览 了解如何购买实例、重置密码以及链接实例和...
功能简介
支持创建、编辑和测试API，支持的API类型包括实时查询类、离线批量类、流式数据类、非结构化数据类。数据服务API：将数据库中的表通过向导模式和SQL模式配置生成API，方便开发者申请使用或调用。目前支持的云计算资源有ApsaraDB for RDS、...
Trino概述
应用场景 Trino是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应用场景：ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Trino是一个数仓类产品，因为其对事务支持有限，所以不适合在线业务...
非结构化数据向量检索
Lindorm向量索引旨在帮助您实现非结构化数据的检索分析。您可以通过AI算法提取非结构化数据的特征，并利用特征向量唯一标识非结构化数据。这些向量数据可以被Lindorm高性能地存储和检索。同时，Lindorm也支持向量数据与标量数据的混合检索...
功能简介
数据模板管理 针对半结构化、非结构化数据，支持创建数据模板，支持自定义数据字段及字段类型，并提供编辑、删除等功能。支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线...
统一服务
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
Presto概述
应用场景 Presto是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应用场景：ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Presto是一个数仓类产品，因为其对事务支持有限，所以不适合在线...
数据同步
数据模板管理 针对半结构化、非结构化数据，支持创建数据模板，支持自定义数据字段及字段类型，并提供编辑、删除等功能。支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线...
功能简介
数据模板管理 针对半结构化、非结构化数据，支持创建数据模板，支持自定义数据字段及字段类型，并提供编辑、删除等功能。支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线...
2023年
2023-04-06 全部地域 作业运维（新版）2023-03 功能名称 功能描述 发布时间 发布地域 相关文档 支持使用Spark和MapReduce任务处理External Volume中的非结构化数据 MaxCompute支持使用Spark和MapReduce任务在仓内处理基于OSS的External ...
产品简介
应用场景 数据分析场景，通过元数据发现、数据探索能力，可以快速的对OSS内结构化、半结构化数据进行分析、探索。结合 E-MapReduce、OSS 两个产品，DLF协助客户快速构建云上数据湖。结合 MaxCompute、DataWorks、E-MapReduce 3个产品，DLF...
集成与开发概览
功能简介 数据集成与开发功能模块支持多种计算、存储引擎，支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务，能够满足企业各类数据加工、集成、开发、服务需求。您可以通过流批一体的数据集成对在线数据进行入仓、...
构建数据仓库
用户的应用场景复杂，对非结构化的语音、自然语言文本进行语音识别、语义分析、情感分析等，同时融合结构化数据搭建企业级的数据管理平台，并且计算和存储成本最低。平台支撑多种形式的应用，包括使用机器学习算法进行复杂数据分析、使用BI...
添加对象存储OSS数据源
使用阿里云对象存储服务（Object Storage Service，简称OSS），您可以通过网络随时存储和调用文本、图片、音频和视频等各种非结构化数据文件。前提条件 已准备好待添加的对象存储OSS数据源。添加对象存储OSS数据源操作步骤 登录 DataV控制...
产品概述
数据总线 DataHub 同时支持强Schema的结构化数据（创建Tuple类型的Topic）和无类型的非结构化数据（创建Blob类型的Topic），您可以自由选择。高可用 服务可用性不低于99.9%。规模自动扩展，不影响对外服务；数据持久性不低于99.999%。数据...
添加对象存储OSS数据源
使用阿里云对象存储服务（Object Storage Service，简称OSS），您可以通过网络随时存储和调用文本、图片、音频和视频等各种非结构化数据文件。前提条件 已准备好待添加的对象存储OSS数据源。添加对象存储OSS数据源操作步骤 登录 DataV控制...
大数据安全治理的难点
说明 此处的资产不单单局限于结构化、非结构化数据资产，还包括硬件资产、IAAS/PAAS/SAAS、甚至人员资产，因为任意一个资产被攻破，都会导致企业关键信息被侵害。这些资产存在哪些风险？在真实的业务场景下，企业数据资产不可避免地会经历...
22.8版本新特性概览
CREATE table github_JSON(event JSON)ENGINE=MergeTree ORDER BY tuple()动态子列的支持，大幅提高了非结构化数据的分析效率和扩展性。对于常见的导入OSS数据到ClickHouse，在22.8之前版本中如果要实现JSON对象子列的独立存储和高效分析，...
创建数仓分层
ODS层对原始数据的操作具体如下：将原始的结构化数据增量或全量同步至数据仓库中。将原始的非结构化数据（例如，日志信息）进行结构化处理，并存储至MaxCompute。根据实际业务需求，记录原始数据的历史变化或对原始数据进行简单的清洗。ODS...
Schema约束
无论是在APM领域，还是IoT领域，或者是更偏传统的工业领域，时序数据所表现出的数据模型更像是一个半结构化数据——有其遵循结构化定义的一面、也有可灵活扩展的一面，而不是完全等同于关系型数据库的纯结构化。而在实际应用中，随着设备的...
冷热分层
海量结构化数据Delta Lake架构 针对结构化冷热分层的数据场景，阿里巴巴集团推出了海量结构化数据的Delta Lake架构。基于Tablestore的通道服务，原始数据可以利用变更数据捕获CDC（Change Data Capture）技术写入多种存储组件中。示例 本...
功能特性
通过Kafka导入数据 通过Flink导入数据 云数据库 SelectDB 版支持通过SelectDB提供的Flink连接器（SelectDB Connector for Apache Flink），将Kafka中的非结构化数据以及MySQL等上游业务数据库中的变更数据，实时同步到云数据库 SelectDB 版...
- 产品推荐
- 这些文档可能帮助您