区域热力层
地理边界geojson数据接口 通过配置地理边界geojson数据接口，可将提取到的区域GeoJSON边界数据应用到DataV中。配置方法同 基础平面地图 组件的 区域热力层 配置，具体请参见 地理边界geojson数据接口。区域面数据接口 配置字段说明 字段 ...
区域下钻热力层（v2.x版本）
修改默认全国范围的 area_tree.json 文件，提取浙江省范围的数据。区域层级关系为 省或直辖市>地市级>区县级。文件的部分数据内容如下图所示。注意 用户如果有自定义的层级关系，可以自定义 area_id，只要保证 area_id 是唯一值。由于获取...
Iceberg概述
实时机器学习 通常在机器学习场景中，需要花费大量的时间处理数据，例如，数据清洗、转换和提取特征等，还需要对历史数据和实时数据进行处理。而Iceberg简化了工作流程，整个数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换和...
区域热力层
数据源面板 地理边界geojson数据接口：通过配置地理边界geojson数据接口，可将提取到的区域GeoJSON边界数据应用到DataV中。配置方法同 基础平面地图 组件的 区域热力层 配置，具体请参见 数据源面板。区域面数据接口 字段 说明 adcode 地区...
ETL工作流快速体验
智慧城市人口财产主题分析 DataWorks MaxCompute 数据开发 以人口、房产等相关数据整合与人口特征提取为例，使用DataStudio 数据开发 模块。通过数据加工处理，并设置调度策略，实现数据处理的自动化，从而向您展示智慧城市项目下数据加工...
应用场景
在EMR集群中，利用Hive和Spark对原始数据进行清洗和加工，提取业务所需的指标，例如日活跃用户、用户留存、某SKU的新增订单等。白天可以通过弹性伸缩机制，只保留部分节点。同时，可以启动一个包含Trino或Presto的环境，以满足白天数据分析...
案例：搭建以图搜图系统
例如，商品以图搜图特征提取模型通常需要在商品数据集上进行迁移学习，以便能更加准确地提取不同商品的视觉特征。您可以选择适合当前使用场景的方法，提取图像的特征，生成特征向量。向量检索 向量检索又称为最近邻(Nearest Neighbor ...
系统函数分类
函数分类 数据探索系统函数的类型包含分为以下几种：函数类型 说明 时间函数 处理日期、时间类型数据，实现加减日期、提取日期字段、获取当前时间、转换日期格式等业务处理能力。字符串函数 处理字符串类型数据，实现截取字符串、替换字符...
访问CDC数据
Lindorm CDC数据源输出的Schema介绍 Lindorm CDC数据源根据LINDORM_HBASE_CATALOG属性提取HBase表的Schema作为Lindorm CDC数据源的Schema。Lindorm CDC数据源从Kafka中读取数据，每一条操作记录都会被保存。Lindorm CDC数据源的Schema支持...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
数据传输服务（上传）场景与工具
数据同步服务：您可以通过 数据集成（DataWorks）任务，提取、转换、加载（ETL）数据到MaxCompute。数据投递：您可以通过DataHub、SLS、Kafka版服务的MaxCompute Sink Connector、Blink 将数据投递至MaxCompute。开源工具及插件：您可以...
通过自定义模型识别
单击完成训练的模型 操作 列的 图标，即可查看通过该模型提取的样本特征对样例数据识别的准确率。建议当准确率为100%时，再投入上线使用该模型。说明 如果模型训练的评估结果准确率达不到100%，则投入上线使用识别的数据可能会有较大误差。...
层级生成器功能介绍
层级生成器是一款用于生成自定义下钻区域树形结构数据...单击 自定义区域下钻层 组件的数据源面板，选择 数据接口 页签，将 数据源类型 选择为 API，在下方URL编辑框内，将提取到的JSON API粘贴到数据输入框内。如下图所示。示例API链接如下。...
自定义区域下钻层（v3.x版本）
将提取到的JSON API粘贴到数据输入区。发布大屏，即可查看配置的自定义区域下钻层。表 1.配置项说明 配置项 说明 受控模式 打开开关，资产 初始化状态下不请求数据，仅通过回调ID或蓝图编辑器配置的方法发起请求数据；关闭开关，可以使用...
JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。在DataWorks上完成创建业务流程，本例使用...
动态特征提取
功能说明 动态特征提取组件是对输入变量的历史数据序列按照特定的计算方式进行处理，返回处理结果作为新的特征值。支持8种计算方式，包括最大值、最小值、平均值、标准差、线性趋势、变化趋势、一阶差分和二阶差分。计算逻辑原理 最大值：...
JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程。在MongoDB上准备测试数据 ...
基于向量分析的个性化推荐系统
然后，利用分析型数据库MySQL版向量内置的文本转换为向量函数，将从新闻标题和新闻内容中提取出的关键词转换为新闻向量导入分析型数据库MySQL版向量数据库中，用于用户新闻推荐，具体实现流程如下图所示。整个新闻推荐系统由以下两个步骤...
新功能发布记录
极简模式控制台 07月 功能名称 变更类型 功能描述 相关文档 数据水印 新增 新增水印嵌入和水印提取两个功能。水印嵌入是指将标识信息嵌入到数据或文件中，使其具备一定的标识度。对于不易察觉的水印，可以通过DMS的水印提取功能检测文件...
功能特性
开通敏感数据保护 管理敏感数据 管理分类分级模板 管理识别模型 新增脱敏算法 数据水印 可用于数据的散布或分发过程中追溯源头，其包含水印嵌入和水印提取。水印嵌入是指将标识信息嵌入到数据或文件中，使其具备一定的标识度；水印提取是指...
地图数据格式
您可以使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，获取区域边界的地理数据信息，最低层级为区县级。坐标拾取器—高德地图 您可以通过高德地图的坐标拾取器，将详细地址转换为精准的基于 的坐标。例如，在搜索框中输入 西溪湿地，...
地图数据格式
您可以使用GeoJSON行政区划边界提取小工具 DataV.GeoAtlas，获取区域边界的地理数据信息，最低层级为区县级。坐标拾取器—高德地图 您可以通过高德地图的坐标拾取器，将详细地址转换为精准的基于 GCJ-02坐标系 的坐标。例如，在搜索框中...
通过日志服务导入至数仓版
字段映射 系统自动提取日志服务中最近10分钟的日志字段，同时自动映射对应的AnalyticDB MySQL数据表中的字段。左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志...
新建数据探查任务
使用场景 集成任务中来源表的核心字段为JSON类型，需要使用 get_json_object 函数提取关键字段信息后再同步到目标数据表。您可以为目标表创建一个自动数据探查任务，指定在该集成任务运行成功后触发探查，校验该核心字段的解析结果是否符合...
新建数据探查任务
使用场景 集成任务中来源表的核心字段为JSON类型，需要使用 get_json_object 函数提取关键字段信息后再同步到目标数据表。您可以为目标表创建一个自动数据探查任务，指定在该集成任务运行成功后触发探查，校验该核心字段的解析结果是否符合...
数据可视化展现
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
分析平台概述
Dataphin提供了简单、快速、高效的数据分析平台，您可通过数据分析对数据仓库中的数据进行洞察、在线查询及可视化分析，提取出有效信息而形成结论，辅助决策。前提条件 需开通智能研发版。分析平台简介 在分析平台上，您可选择您有权限的...
分析平台概述
Dataphin提供了简单、快速、高效的数据分析平台，您可通过数据分析对数据仓库中的数据进行洞察、在线查询及可视化分析，提取出有效信息而形成结论，辅助决策。前提条件 需开通智能研发版。分析平台简介 在分析平台上，您可选择您有权限的...
内置时空数据引擎Ganos
PolarDB PostgreSQL版（兼容Oracle）的自研Ganos时空SQL引擎支持直接在数据库中就完成不同时空维度数据的信息检索及处理，相比传统需要跨库信息提取再汇总，在性能及程序开发效率上都有大幅度的提高，为用户应对5G、卫星遥感、行业时空大...
普通数据变更
数据管理DMS的普通数据变更功能支持INSERT、...在备份文件中提取备份语句，确认备份语句无误后，重新提交普通数据变更工单并根据实际情况进行数据恢复。说明 如果是 UPDATE 语句的误操作，且备份语句为 INSERT，需要自行确认恢复的方式。
身份证加工函数
EXTRACT_AGE 从身份证号中提取年龄。EXTRACT_BIRTH_DATE 从身份证号中提取出生日期。EXTRACT_BIRTH_DAY_OF_MONTH 从身份证号中提取出生日期的日部分。EXTRACT_BIRTH_MONTH 从身份证号中提取出生日期的月份。EXTRACT_BIRTH_YEAR 从身份证号...
功能特性
数据库自治 功能集 功能 功能描述 参考文档 监控告警 7 x 24小时异常检测 基于机器学习和细粒度的监控数据，实现7 x 24小时异常检测，全天侯监控数据库异常变化。异常检测 性能趋势 提供了丰富的性能监控指标并支持自定义图表；能够展示...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
查看敏感数据识别结果
敏感数据识别任务扫描完成后，您可以查看敏感数据识别结果。数据安全中心支持以 数据对象、数据库实例为基本单位查看敏感数据的扫描结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。查看数据对象的识别结果 说明 您可以在 ...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
- 产品推荐
- 这些文档可能帮助您