管理敏感数据
涉敏字段-数据类型分布：可查看数据库中敏感字段的数据类型分布。数据类型即根据数据语义对数据进行的分类。默认包含如下分类：一级分类：个人信息、企业信息、位置信息等。二级分类：手机号、邮箱、银行卡等。说明 用户可自定义新的数据...
配置离线数据集成节点
功能特性 不限制来源表和目标表数据库类型。支持字段映射，包含修改源表和目标表字段的命名和类型映射。可配置并发迁移数据。支持通过WHERE语句，对迁移数据进行预过滤。支持前置及后置SQL语句，在导入数据前后实现数据处理。使用限制 系统...
常见问题
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
数据类型
您在创建索引时，可将字段的数据类型设置为text、long、double或JSON。本文介绍各个数据类型的配置示例及注意事项。text类型 如果您要查询和分析字符串类型的字段，需在配置索引时，将字段的数据类型设置为text，并开启统计功能。说明 开启...
从游标提取行
这样，即使更改了数据库列的数据类型，也不必更改 SPL 程序中的目标变量声明。TYPE 将自动选取指定列的新数据类型。CREATE OR REPLACE PROCEDURE cursor_example IS v_empno emp.empno%TYPE;v_ename emp.ename%TYPE;CURSOR emp_cur_3 IS ...
数据集常见问题
在数据库中修改某字段类型后，如何处理数据集该字段类型没有更新的问题？如何处理重新加载被删除的数据源后，表结构同步成功但数据同步依然失败的问题？如何在数据集中添加已删除的维度或度量？MaxCompute数据源同步表结构是否有延迟？源...
无感数据集成（Zero-ETL）
上述参数配置完成后，单击 配置库表字段，配置信息如下：库表字段配置 说明 数据库名称 选择已有的数据库。表名称 选择已有的数据表。主键列 已选数据表中的主键所在字段。分布键 已选数据表中的分布键所在字段。类型 数据表类型，包括分区...
扩展字段
字段类型：输入框 Input 选择输入框类型后，需要填写如下字段：数据类型：指定数据为字符串或数字。默认值：指该字段不传入值时系统将默认采用的值。可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型...
创建多物理表服务单元
注意事项 只有当主物理表与非主物理表中某字段值和字段类型相同时，后续基于该多物理表服务单元创建的API才可以实现联合数据查询，否则无法实现联合数据查询。步骤一：选择服务单元类型 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模...创建好字段标准后，后续在建模过程中涉及到会员ID这个字段的设置时，即可直接关联此标准，以此来保障所有会员ID字段的标准统一。DataWorks中字段标准的创建操作请参见 字段标准。
新建普通维度逻辑表
④ 字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号：表字段序号。每新增1个字段，自增+1。字段名称：表字段名称。您可...
添加识别特征
按内容扫描：根据采样读取目标字段数据内容进行识别和判断。正则（大小兼容）：在输入框中输入正则表达式。例如您需要匹配所有名称中带有test，则正则表达式定义为.*test.*。正则表达式：在输入框中输入正则表达式。例如您需要匹配所有名称...
新建和管理公共标准属性
如果该字段的数据类型配置为int，则不符合标准约束。当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据...
新建和管理公共标准属性
如果该字段的数据类型配置为int，则不符合标准约束。当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据...
新建普通维度逻辑表
数据类型：单击 图标，批量修改已经选中的数据类型。字段类别：单击 图标，批量修改已经选中的字段类别。词根命名：单击 图标，系统将对字段的 说明 内容进行分词并匹配已经创建的词根，进行字段名称推荐。您可以在 词根命名 对话框中，将...
数据集成侧同步任务能力说明
说明 支持的变量解释：DATASOURCE_NAME_SRC：源端数据源名称 DB_NAME_SRC：源端数据库名称 TABLE_NAME_SRC：源表名称 DATASOURCE_NAME_DEST：目标端数据源名称 DB_NAME_DEST：目标端数据库名称 TABLE_NAME_DEST：目标表名称 DB_NAME_SRC_...
新建事实逻辑表
③ 字段列表 字段列表为您展示字段的 序号、字段名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 等字段的详细信息。序号：表字段序号。每新增1个字段，自增+1。字段名称：表字段名称。您可...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
创建数据集
数据集是基于特定数据库和特定SQL查询所产生的，以二维表表现的数据集合。本文介绍创建数据集的方法。创建数据集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 传输与加工>数据可视化。说明 更多访问方式，请参见 访问数据可视化功能。在 ...
新建事实逻辑表
数据类型：单击 图标，批量修改已经选中的数据类型。字段类别：单击 图标，批量修改已经选中的字段类别。词根命名：单击 图标，系统将对字段的 说明 内容进行分词并匹配已经创建的词根，进行字段名称推荐。您可以在 词根命名 对话框中，将...
新建行为关系
说明 非E-MapReduce 5.x、亚信DP 5.3 Hadoop、AnalyticDB for PostgreSQL计算引擎，行为时间 属性的字段名称支持选择date、datetime、string、char、varchar、int、bigint、double、decimal等数据类型的字段。非timestamp字段类型，系统将...
公共规范
说明 更多MaxCompute与其他数据库的映射关系，请参见 与Hive、MySQL、Oracle数据类型映射表。MySQL数据类型 MaxCompute数据类型 TINYINT TINYINT SMALLINT/MEDIUMINT SMALLINT INT INT BIGINT BIGINT FLOAT FLOAT DOUBLE DOUBLE DECIMAL ...
虚拟列
使用虚拟列功能时，您可以通过修改多元索引Schema或者新建多元索引来实现新字段新数据类型的查询功能，而无需修改表格存储的存储结构及数据。功能概述 虚拟列功能支持用户在创建多元索引的时候将表中一列映射到多元索引中的虚拟列。新的...
新建及管理识别特征
按内容扫描：根据采样读取目标字段数据内容进行识别和判断。正则（大小兼容）：在输入框中输入正则表达式。例如，如果您需要匹配所有名称中带有test，则正则表达式定义为.*test.*，同时进行扫描结果的大小写兼容处理。正则表达式：在输入框...
新建指标
值域设置 数据类型 指标字段数据值的类型。存储类型 字段存储的类型，和数值类型一一对应。引用数据字典 选择已新建的数据字典，或新建新的数据字典后进行选择，新建数据字典的具体操作，请参见 新建数据字典。质量校验函数 选择已创建的...
新建指标
值域设置 数据类型 指标字段数据值的类型。存储类型 字段存储的类型，和数值类型一一对应。引用数据字典 选择已新建的数据字典，或新建新的数据字典后进行选择，新建数据字典的具体操作，请参见 新建数据字典。质量校验函数 选择已创建的...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
数据规范
物品详情表 物品详情表至少需要有两个数据字段，其中一个字段为 主键，同时也是 分片字段，其他字段为物品属性字段。表中的记录和物品一一对应，主键 为物品的唯一标识，因此 主键 必须是唯一的。主键 的字段类型必须为 STRING。其他物品...
DML操作常见问题
MaxCompute SQL中使用到新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY）时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上 set odps.sql.type.system.odps2=...
字段标准
字段标准是对含义相同但字段名称不同的数据进行统一规范管理的数据准则，字段标准可定义字段的取值范围、度量单位等内容。当字段标准发生变化时可快速定位或变更对应的表，极大地提升了应用效率和准确率。本文将为您介绍字段标准的创建方法...
通用参考
status字段的初始类型为VARCHAR|where cast(status as BIGINT)>=500-将status字段的类型转为BIGINT，再进行比较 类型保持 在SPL处理数据过程中，使用extend指令对字段进行数据类型转换后，后续的处理逻辑将沿用转换后的数据类型。...
配置DataWorks平台GDB Reader
本文为您介绍GDB Reader支持的数据类型、字段映射和数据源等参数及配置示例。说明 GDB Reader仅支持使用 独享数据集成资源组 和 自定义资源组。开始配置GDB Reader插件前，请首先配置好数据源，详情请参见 配置Graph Database数据源。由于...
新建及管理识别特征
按内容扫描：根据采样读取目标字段数据内容进行识别和判断。正则（大小写兼容）：在输入框中输入正则表达式。例如，如果您需要匹配所有名称中带有test的内容，则正则表达式定义为.*test.*，同时进行扫描结果的大小写兼容处理。正则表达式：...
SPL指令
extend server_protocol_version=regexp_extract(server_protocol,'\d+')示例3：提取JSON路径内容，并转换部分字段的数据类型。SPL语句*|extend a=json_extract(content,'$.body.a'),b=json_extract(content,'$.body.b')|extend b=cast(b ...
GetMetaTableColumn-获取表的字段信息
说明 字段的数据类型返回值不唯一，例如：bigint、int。bigint(1)AutoIncrement boolean 字段是否自增，返回值说明如下：true：自增 false：不自增 false ColumnId string 字段 ID。63513*ColumnName string 字段名。has_promotion ...
管理视图
列：查看视图对应基表的 字段名称、数据类型 和 字段注释 等信息。工具栏中单击刷新图标，刷新字段信息。代码：当前视图的定义脚本。工具栏中单击下载图标，下载 DDL 为本地文件；单击格式化图标，格式化语句以方便查看。数据页签：展示...
从自建Db2迁移至RDS MySQL
DTS基于Db2的CDC复制技术将自建Db2数据库的增量更新数据同步到目标库中，但是CDC复制技术自身具有限制，请参见 CDC复制技术所支持数据类型的限制。费用说明 迁移类型 链路配置费用 公网流量费用 结构迁移和全量数据迁移 不收费。通过公网将...
新建及管理数据分类
按内容扫描：根据采样读取目标字段数据内容进行识别和判断。正则（大小兼容）：在输入框中输入正则表达式。例如：您需要匹配所有名称中带有test，则正则表达式定义为.*test.*，可匹配存在test、Test、TEST等大小写兼容的名称。正则表达式：...
新建及管理数据分类
按内容扫描：根据采样读取目标字段数据内容进行识别和判断。正则（大小兼容）：在输入框中输入正则表达式。例如：您需要匹配所有名称中带有test，则正则表达式定义为.*test.*，可匹配存在test、Test、TEST等大小写兼容的名称。正则表达式：...
管理Schema
在Milvus中，Schema定义了向量数据库中数据的组织结构，包括字段名称和类型等。通过定义Schema来管理和查询数据，以支持高效的搜索和分析操作。本文为您介绍Collection和字段的Schema定义以及如何在Milvus中创建Schema。前提条件 已在本地...
- 产品推荐
- 这些文档可能帮助您