商品属性提取和多模搜索
实现架构 分析型数据库MySQL版作为商品属性提取和图片管理的核心组件，数据读写流程如下所示。插入数据 应用端通过以下步骤向商品库中插入数据。应用端调用OSS服务，将图片插入OSS，获得对应的URL。说明 当前只支持HTTP和HTTPS协议的URL。...
读API
说明 从返回值中提取的数据必须是数组类型。以下是返回值和映射关系配置的示例：{"code":"SUCCESS","data":{"pageSize":20,"pageNum":1,"list":[/需要提取的数组 {"name":{"firstName":"Alice","lastName":"Brown"},"age":22,"email":...
我是普通用户
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
我是安全管理员
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
DML无锁变更概览
DBA提取目标数据手动拆分：人工拆分非常繁琐，工作量大，且易出错，并且很难进行动态调整。为解决上述问题，DMS提供了DML无锁变更。具体操作，请参见 DML无锁变更。适用场景 历史数据清理 全表更新字段 支持的数据库类型 MySQL：RDS MySQL...
我是DBA
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
我是管理员
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
产品概述
可视化的数据资产：系统化构建业务数据资产大图，从数据视角还原业务系统、提取业务数据，快速感知业务关键环节及数据。数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。...
SQL查询概述
应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持下载数据，以满足数据分析和报表生成的需求。数据可视化：通过SQL查询可以对计算源中提取的业务数据以图表的形式展示，可有效的帮助...
SQL查询概述
应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持下载数据，以满足数据分析和报表生成的需求。数据可视化：通过SQL查询可以对计算源中提取的业务数据以图表的形式展示，可有效的帮助...
数据脱敏
当数据出现泄露时，管理员可以在获取到泄露的数据后，通过提取水印，将数据中的备注信息提取出来，就可以定位到泄漏数据的是员工A。水印使用限制详情，请参见 水印使用限制。设置敏感数据要移动的目标位置，测试 写入权限，并单击 下一步。...
什么是Dataphin
可视化的数据资产：系统化构建业务数据资产大图，从数据视角还原业务系统、提取业务数据，快速感知业务关键环节及数据。数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。...
功能优势
通过Web App调用分析型数据库MySQL版的自定义函数生成向量特征，分析型数据库MySQL版后台通过调用特征提取服务从OSS读取非结构化数据，提取特征，并把特征向量保存在分析型数据库MySQL版中。所有这些操作只需要一条SQL便可轻松完成，SQL...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
东软案例
在运维过程中，用户通过实时监控仪表盘、统计分析报表或风险定位、检测工具对接Lindorm多模引擎海量数据检索、分析能力，来满足不同应用场景的运维大数据信息提取需要。图 3.东软新型IT智能运维系统部署方案 适用场景 实时状态大屏展现。...
无感集成（Zero-ETL）
为了解决这些问题，阿里云瑶池数据库提供了无感集成（Zero-ETL）功能，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统（OLTP）的数据自动进行提取、转换清洗和加载到数据仓库（OLAP），从而一站式完成数据...
无感数据集成（Zero-ETL）
为了解决这些问题，阿里云瑶池数据库提供了无感集成（Zero-ETL）功能，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统（OLTP）的数据自动进行提取、转换清洗和加载到数据仓库（OLAP），从而一站式完成数据...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
概述
本地Federated表中未存储任何数据，查询本地Federated表会通过远程方式提取远程表数据。当您使用 PolarDB MySQL版 或社区MySQL标准存储引擎创建表时，该表由表定义和相关数据组成。创建Federated表时，表定义是相同的，但是数据的物理存储...
非结构化分析
功能说明 向量分析实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。AnalyticDB PostgreSQL版 向量检索分析基于MPP查询架构构建，帮助用户实现基于SQL...
逻辑结构说明
通过维度逻辑表可以设计及加工处理公共对象明细数据，以便提取业务中对象的明细数据。事实逻辑表 用于描述业务过程的详细信息。通过创建事实逻辑表可以设计及加工处理公共事务明细数据，以便提取业务中事务的明细数据。原子指标 对指标统计...
核心概念
通过创建事实逻辑表，设计及加工处理公共事务明细数据，便于提取业务中事务的明细数据。原子指标 对指标统计口径、具体算法的抽象。Dataphin创新性地提出了设计即开发的理念，指标定义同时也明确了设计统计口径（即计算逻辑），提升了研发...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
功能概述
实现原理 分析型数据库MySQL版的向量分析旨在帮助您实现非结构化数据的近似检索和分析，其实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。...
维度建模概述
维度表 结合业务的数据域的规划，提取出各业务数据域中进行数据分析时可能存在的维度，并将维度及其属性通过维度表的方式存储下来。例如，在进行电商业务数据分析时，可用的维度及其属性有：订单维度（属性包括订单ID、订单创建时间、买家...
关系图
逻辑模型-维度表：结合业务的数据域规划，提取出各业务数据域中进行数据分析时可能存在的维度，并将维度及其属性通过维度表的方式进行存储。逻辑模型-明细表：结合业务过程的规划，梳理分析各业务过程中可能产生的实际数据，将这些实际数据...
SQL结果集导出
数据管理DMS 支持导出SQL结果集，您可以在DMS中按需编写查询的SQL语句，提取并导出相关数据。前提条件 数据库类型如下：数据库类型 关系型数据库：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL SQL ...
概述
维度建模 DataWorks的数据建模理念遵循维度建模思想，使用DataWorks的维度建模功能进行数据仓库建模设计时：维度表 结合业务的数据域的规划，提取出各业务数据域中进行数据分析时可能存在的维度，并将维度及其属性通过维度表的方式存储下来...
区域热力层（v3.x版本）
地理边界geojson数据接口 通过配置地理边界geojson数据接口，可将提取到的区域GeoJSON边界数据应用到DataV中，配置方法如下。登录 DataV.GeoAtlas，选择 范围选择器。参见 范围选择器功能详解，提取并保存定海区的JSON API。...
访问Kafka数据
使用Spark函数提取Kafka中的数据。例如，查询表Kafka_tbl中Value为 {"content":"kafka record"} 的数据。SELECT get_json_object(cast(value as string),'$.content')FROM kafka_tbl LIMIT 10;返回结果：Output:kafka record（可选）实践：...
自定义区域下钻层（v4.x版本）
自定义topojson数据接口：通过配置自定义topojson数据接口，可将提取到的topojson数据接口应用到DataV中，配置方法如下。选择 自定义区域下钻层 组件 数据源 页签下的 自定义topojson数据接口。在 设置数据源 面板中，选择 数据源类型 为 ...
自定义区域下钻层（v3.x版本）
自定义topojson数据接口：通过配置自定义topojson数据接口，可将提取到的topojson数据接口应用到DataV中，配置方法如下。选择 自定义区域下钻层 组件 数据 页签下的 自定义topojson数据接口。单击 配置数据源，在 设置数据源 面板中，选择 ...
SQL查询
执行查询语句 编写代码后，您可以运行代码，提取需要查询的数据。查询结果操作 SQL执行完成后，您可在查询结果页面查看运行日志、查看运行结果、查看查询结果对应的SQL内容等，还支持您使用折线图、柱状图、条形图、饼图、交叉表等对查询...
地理围栏
数据 数据接口：通过配置地理围栏位置数据，可将提取到的地理位置GeoJSON数据应用到DataV中，要求数据类型为LineString。配置方法如下：选择 地理围栏>数据>数据接口。单击 配置数据源，选择 数据源类型 为 静态数据。获取地理围栏的位置...
从游标提取行
是将从提取的行接收字段数据的 SPL 变量。record 或 variable,variable_2.中字段的数字和顺序必须与 SELECT 列表（属于游标声明中给出的查询）中返回的字段相匹配。对于 SELECT 列表中的字段，其数据类型必须与 record 中字段的数据类型或 ...
水印使用限制
由于嵌入水印的原理是将水印原子信息嵌入到不同特征的数据中去，因此源数据特征越多，越能嵌入完整的水印信息、提高提取成功率，并且即使缺失部分数据也不影响水印提取。所以对需要嵌入水印的数据有如下要求：待嵌入水印的源数据需要大于...
Delta Lake概述
实时机器学习：在机器学习场景中，通常需要花费大量的时间用于处理数据，例如数据清洗、转换、提取特征等等。同时，您还需要对历史和实时数据分别处理。而Delta简化了工作流程，整条数据处理过程是一条完整的、可靠的实时流，其数据的清洗...
区域下钻热力层（v1.x版本）
修改默认全国范围的 area_tree.json 文件，提取浙江省范围的数据。区域层级关系为 省或直辖市>地市级>区县级。重要 用户如果有自定义的层级关系，可以自定义 area_id，只要保证 area_id 是唯一值。由于获取的JSON数据量比较大，不支持静态...
区域热力层
地理边界 通过配置地理边界geojson数据接口，可将提取到的区域GeoJSON边界数据应用到DataV中。配置方法同 基础平面地图 组件的 区域热力层 配置，具体请参见 地理边界geojson数据接口。表 1.配置项说明 配置项 说明 受控模式 打开开关，...
- 产品推荐
- 这些文档可能帮助您