配置数据识别规则
说明 数据内容识别的信息为字段的数据内容，例如，字段name，包含张三、李四等数据。则识别的内容为张三、李四等具体的数据内容。规则类型选择 正则表达式 时：在 正则表达式 文本框中手动输入该类型的正则表达式，并在 测试数据 输入框中...
MongoDB数据源
对于支持读取的数据类型，数据集成在读取时：基本类型的数据，会根据同步任务配置的读取字段（column，详见下文的 附录：MongoDB脚本Demo与参数说明）中的name自动读取对应path下的数据，并根据数据类型做自动转换，您无需指定column的type...
配置敏感数据分类分级
数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围对数据进行敏感级别和类型的划分，不同敏感级别的数据其管控原则和数据开发要求存在差异，划分分类分级后，后续可通过分类分级管控不同程度的敏感数据。本文为您介绍如何...
通用参考
status字段的初始类型为VARCHAR|where cast(status as BIGINT)>=500-将status字段的类型转为BIGINT，再进行比较 类型保持 在SPL处理数据过程中，使用extend指令对字段进行数据类型转换后，后续的处理逻辑将沿用转换后的数据类型。...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
修改地图区域样式
area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在浙江省范围内的区域数值，如台州市331000数值。value value字段有以下两个作用：...
修改地图区域样式
area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在浙江省范围内的区域数值，如台州市331000数值。value value字段有以下两个作用：...
索引、属性、字段作用详解
字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系型数据库对比 索引 索引是...
落标监控概述
例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据类型为INT，则不符合标准定义，监控结果为不通过。Dataphin的公共系统属性...
索引、属性、字段作用详解
字段 在es中索引创建完了之后，是类型，类型之后，是字段 通俗说就是某个表里面的属性的名称 属性 字段的类型（string、int、double.）字段的类型（string、int、double.）OpenSearch：名词 OpenSearch解释 与关系型数据库对比 索引 索引是...
管理Schema
dtype 字段的数据类型。description 字段的描述信息。is_primary 是否将该字段设为主键。取值为True或False。auto_id（主键字段）是否为主键字段启用自动递增ID。取值为True或False。max_length（Varchar属性）设置 Varchar 类型字段的最大...
OpenSearch数据源
支持的字段类型 OpenSearch Writer支持大部分OpenSearch类型，请注意检查您的数据类型。OpenSearch Writer针对OpenSearch类型的转换列表，如下所示。类型分类 OpenSearch数据类型 整数类 INT 浮点类 DOUBLE和FLOAT 字符串类 TEXT、LITERAL...
列存索引
普通分区表达式和bucket分区表达式共同决定了索引数据的分区数量，建议将每个分区的数据量设置在50 MB到512 MB之间。例如：普通分区表达式为日期字段 dt，宽表单日数据量为50 GB，宽表主键字段为(id,dt)，可以将分区表达式配置为 PARTITION...
通过自定义模型识别
DataWorks支持通过您提供的样本字段，进行模型训练，帮助您寻找目标字段的内容特征，生成相应的规则模型。该功能通常用于发现您的数据资产中与该特征内容相似的数据。本文为您介绍如何生成自定义的数据识别模型。使用限制 DataWorks不支持...
管理明细及汇总表任务字段
筛选：汇总逻辑表支持根据指标（字段）的 运维负责人、所属项目 和 调度周期 进行筛选。③ 指标列表（字段列表）逻辑表所包含的指标（字段）列表。维度/事实逻辑表：包括 字段名称、字段说明、字段类型。支持的操作包括 补数据、查看生产...
管理明细及汇总表任务字段
筛选：汇总逻辑表支持根据指标（字段）的 运维负责人、所属项目 和 调度周期 进行筛选。③ 指标列表（字段列表）逻辑表所包含的指标（字段）列表。维度/事实逻辑表：包括 字段名称、字段说明、字段类型。支持的操作包括 补数据、查看生产...
资源角色
可查询实例下所有数据库中的数据（不包含敏感字段），提交各类数据方案与库表结构的工单。对应于审批节点中 动态计算 的DBA。实例Owner 每个实例可以设置3个实例Owner。云数据库资源默认主账号为实例Owner。非云数据库默认当前录入的云账号...
扩展字段
字段类型：输入框 Input 选择输入框类型后，需要填写如下字段：数据类型：指定数据为字符串或数字。默认值：指该字段不传入值时系统将默认采用的值。可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型...
通过Mongo Shell管理数据库账号
roles":[{"role":"readAnyDatabase","db":"admin"}]} 查询目标数据库的所有数据库账号 说明 您可以通过 use database_name 命令切换数据库，其中 database_name 为目标数据库的名称。方式一：在目标数据库执行查询命令。show users 说明 ...
BI分析模式数据面板功能介绍
使用BI分析模式配置组件数据是一个全新的数据配置功能，需要与您准备的数据集内容相结合，您可以使用BI分析模式，为组件自由分配所需数据集的字段内容，合理配置图表数据映射和其他数据筛选等功能。本文介绍BI分析模式下组件数据配置面板...
创建多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。index_sort 索引预排序设置，包含sorters设置。如果不设置，则默认按照主键排序。...
数据集常见问题
创建计算字段时，指定返回值的数据类型为 日期时间。如何处理重新加载被删除的数据源后，表结构同步成功但数据同步依然失败的问题？数据源被删除后，基于该数据源的数据集也将失效。您需要重新创建相关数据集。如何将地理数据应用到地图...
配置逻辑表关联字段标准
背景信息 将逻辑表字段关联已创建的数据标准字段后，质量规则页面，可以快速批量生成字段的质量规则。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。...
配置逻辑表关联字段标准
背景信息 将逻辑表字段关联已创建的数据标准字段后，质量规则页面，可以快速批量生成字段的质量规则。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明...
附录：消息格式
数据库类型 dbVersion：String类型，数据库版本 dbName：String类型，数据库名 schemaName：String类型，Schema名（针对Postgres和SQL Server等）tableName：String 类型，数据表名 payload before JSONObject类型，修改前的数据。...
数据类型转换
支持的转换类型 数值类型 分类 MySQL 数据库 OceanBase 数据库 MySQL 租户 整型 支持指定字段长度，SIGNED、UNSIGNED、ZEROFILL。INT INT TINYINT TINYINT SMALLINT SMALLINT MEDIUMINT MEDIUMINT BIGINT BIGINT BOOL/BOOLEAN BOOLEAN 定点...
使用Kafka客户端消费订阅数据
subscribe_example-master/javaimpl/src/main/java/boot/RecordPrinter.java 3、将反序列化后的数据中的dataTypeNumber字段转换为对应数据库的字段类型。说明 关于对应关系的详情，请参见：MySQL字段类型与dataTypeNumber数值的对应关系 ...
FTP数据源
支持的字段类型 远程FTP文件本身不提供数据类型，该类型是DataX FtpReader定义。DataX内部类型 远程FTP文件数据类型 LONG LONG DOUBLE DOUBLE STRING STRING BOOLEAN BOOLEAN DATE DATE 数据同步任务开发 FTP数据同步任务的配置入口和通用...
从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
OpenSearch-高性能检索版表结构
注意：数据源字段数据类型如果是FLOAT或DOUBLE类型，建议改为DECIMAL类型，否则可能会出现精度不正确的情况。创建应用结构方式介绍 OpenSearch提供如下4中方式创建应用结构（OpenSearch的表结构）：通过数据源的方式创建（RDS数据源配置、...
行业算法版表结构
注意：数据源字段数据类型如果是FLOAT或DOUBLE类型，建议改为DECIMAL类型，否则可能会出现精度不正确的情况。创建应用结构方式介绍 行业算法版提供如下4中方式创建应用结构（行业算法版的表结构）：通过数据源的方式创建（RDS、MaxCompute...
新建及管理质量规则模板
数据源类型：选择该物理表的数据源类型。数据源：选择该物理表所属的数据源。选择比较表：选择物理表中需要比较的表及该物理表需要比较的字段。有效性 当 模板类型 选择为 有效性 大类时，对应的参数如下所示。数据标准码表参照对比（需...
新建及管理质量规则模板
数据源类型：选择该物理表的数据源类型。数据源：选择该物理表所属的数据源。选择比较表：选择物理表中需要比较的表及该物理表需要比较的字段。有效性 当 模板类型 选择为 有效性 大类时，对应的参数如下所示。数据标准码表参照对比（需...
Sensors Data（神策）数据源
parameter":{"type":"item",/写入Sensors Data的数据类型，可取值有：track/user/item，分别对应神策系统中的事件/用户/属性。item":{/因为type参数取值为item,因此此处需要定义item参数。itemType":"course",/定义item的类型为学生课程...
数据去重
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
查看敏感数据血缘（公测）
查看字段信息 单击字段，将为您打开字段详情页面，字段详情页面展示当前字段的数据位置信息、敏感字段类型，以及上、下游关联字段列表、字段之间的关联关系（例如，SELECT、SELECT_CONCAT、SELECT_REPEAT等关系）等。对于识别结果不准确的...
快速入门
Ganos FDW提供了对于多种空间数据类型的统一访问，会自动将几何空间数据类型映射为Geometry字段类型，从而允许与数据库内部表进行统一地访问与查询。操作步骤 创建时空引擎FDW插件。您可以通过以下两种方式创建扩展。直接创建Ganos_FDW扩展...
快速入门
Ganos FDW提供了对于多种空间数据类型的统一访问，会自动将几何空间数据类型映射为Geometry字段类型，从而允许与数据库内部表进行统一地访问与查询。操作步骤 创建时空引擎FDW插件。您可以通过以下两种方式创建扩展。直接创建Ganos_FDW扩展...
- 产品推荐
- 这些文档可能帮助您