字段加密
参数 类型 是否必选 说明 SourceKey String数组 是 原始字段名。EncryptionParameters Object 是 密钥相关配置。Key String 是 设置密钥，需为64个十六进制字符。IV String 否 设置加密的初始向量，需为32个十六进制字符，默认值为 ...
Quick BI如何设置自动用字段备注作为字段名
问题描述 数据库的建表语句已经给字段加了备注名称，希望创建数据集时，可以直接用该备注名称作为字段名 解决方案 需要修改工作空间的配置信息，个人空间与群空间配置入口不一样。要确认数据集是在哪个工作空间创建的，然后进入相应工作...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见 ...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见...
查询接口
函数原型 public QueryBlockHeaderResponse queryBlockHeader(Hash hash)请求参数 参数 必选 类型 说明 hash true Hash 区块 hash 返回字段 返回字段 字段类型 说明 response QueryBlockHeaderResponse 查询区块头的响应 ...
展开JSON字段
将原始字段名作为展开字段名前缀 选中该选项后，系统会将原始字段名作为所有JSON展开字段名的前缀。解析失败保留原始日志 选中该选项后，如果解析日志失败，系统将保留原始日志。配置示例 对 s_key 字段进行JSON展开，并使用 j 和原始字段...
查询接口
函数原型 public QueryBlockHeaderResponse queryBlockHeader(Hash hash)请求参数 参数 必选 类型 说明 hash true Hash 区块 hash 返回字段 返回字段 字段类型 说明 response QueryBlockHeaderResponse 查询区块头的响应 ...
图文解释
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。图片文件支持常见的JPG、PNG等格式。sam_embedding_url 用于SAM分割的embedding数据，目前使用前需要用户自行预...
Schema探索
SHOW DATABASES 示例 运行SHOW DATABASES查询>SHOW DATABASES name:databases name-NOAA_water_database_internal 该查询以表格的形式返回数据库的名称。当前账号有权限查看数据库 NOAA_water_database 和_internal。SHOW RETENTION ...
单元格填报
选择 已有表 为对应的 控件 选择写入的 表字段名，将自动匹配表字段名的 字段描述、字段类型，您也可以自定义设置该字段是否为 主键。您可以 添加 和 删除 字段映射行。选择 新建表 您可以新建一张物理表，并自定义填写 表名、表字段名、...
数据库返回“Data truncation:Truncated incorrect”...
问题描述 在DMS控制台中执行变更时，出现类似如下报错：Data truncation:Truncated incorrect XXX 问题原因 数据变更：表上的字段定义和执行的SQL类型不符合，常见的场景为表上定义是字符串类型，...适用于 数据管理DMS 云数据库RDS MySQL版
Quick BI报错“column xxx is ambiguous”
产品名称 Quick BI 产品模块 数据集、仪表板 问题描述 数据集预览报错，报错内容是“column xxx is ambiguous”问题原因 添加计算字段时，字段名是手动填写的，数据集又有表关联的操作，关联的表里的某个字段与原表字段名重复，无法识别...
查看敏感数据血缘（公测）
筛选 在上图的模块②区域，支持您输入要查询的字段 所属项目、所属表 和 字段名，单击 查询，页面将为您展示对应字段的一层血缘关系，查询的字段会高亮显示。过滤条件 在上图模块③区域，您可以根据需求选择过滤条件：关联但识别结果不一致...
Webhook配置指南
【工作项数据】为JSON对象，其中字段如下所示：字段名 字段类型 字段描述 identifier String 工作项的唯一标识 gmtCreate Long 创建时间，时间戳，单位毫秒 gmtModified Long 更新时间，时间戳，单位毫秒 creator User 创建者 modifier ...
表格填报
选择 已有表 为对应的 控件 选择写入的 表字段名，将自动匹配表字段名的 字段描述、字段类型，您也可以自定义设置该字段是否为 主键。您可以 添加 和 删除 字段映射行 选择 新建表 您可以新建一张物理表，并自定义填写 表名、表字段名、...
数据探查
数据输入、合并、清洗加工、聚合和关联节点支持数据探查。本文为您介绍数据探查的操作。入口 您可以通过图示的方式进入数据探查界面。说明 合并、清洗加工、聚合和关联节点进入 数据探查 的方式同上。预览设置 数据探查支持快速采样、随机...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
元数据
背景信息 元数据（字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
CSV格式
如果您的日志中存在同名字段（例如都为 request_time），则日志服务会将其中一个字段名显示为 request_time_0，底层存储的字段名仍为 request_time。因此您在投递时，只能使用原始字段名 request_time。存在同名字段时，系统只随机投递其中...
Quick BI维度或度量字段如何重命名
产品名称 Quick BI 产品模块 仪表板 概述 本文主要介绍Quick BI中如何对报表中显示的数据字段重...3.第二种方法，引用原来字段，在数据集中新建计算字段使用新的字段别名，然后在仪表板中使用此新字段名进行图表制作。更多信息 无 相关文档 无
数据类型
配置索引 相关说明如下：IP 字段和 data 字段的值为JSON数组，所以您无法为 IP 字段和 data 字段建立索引，也无法通过这两个字段进行查询和分析。region 字段和 CreateTime 字段在JSON数组中，所以您无法为 region 字段和 CreateTime 字段...
字段标准
字段标准是对含义相同但字段名称不同的数据进行统一规范管理的数据准则，字段标准可定义字段的取值范围、度量单位等内容。当字段标准发生变化时可快速定位或变更对应的表，极大地提升了应用效率和准确率。本文将为您介绍字段标准的创建方法...
创建字段
如果需要的字段超出范围，则可以 自定义字段，单击 新建字段，并填写以下信息：字段名称：系统入参的字段名。为防止与系统默认字段冲突，自带DE前缀（不需要输入）。建议取有业务含义的名称，例如：DEorderId。字段显示名：字段在决策引擎...
告警日志字段
result type is not bool Results 查询参数和结果，数组类型，字段说明请参见 Result字段说明。[{"EndTime":1642334900,"FireResult":null,"LogStore":"test-logstore","Query":"*|select count(1)as count","RawResultCount":1,...
CreateRule-创建授权规则
[{"HostGroupId":"1","HostAccountNames":["root"]}]Hosts 数组 Host 结构 字段 类型 描述 HostId string 主机 ID HostAccountIds array[string]主机账号 ID 数组 HostGroups 数组 HostGroup 结构 字段 类型 描述 HostGroupId string 主机...
配置HDFS输入组件
同步HDFS数据源的数据至其他数据源的场景中，您需要先配置HDFS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置HDFS输入组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性...
设置数据库索引
使用数据库时，对成为查询条件的字段设置索引可以有效提高查询效率，更快的获取信息。缺省情况下会对_id_字段默认创建一个非唯一索引。前提条件 创建数据表 添加记录 操作步骤 登录 EMAS管理控制台。查找您的项目，单击项目，进入EMAS 概览...
find
字段名 类型 必填 说明 query Object 否 数据库操作时的查询条件。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 limit Number 否 查询的文档数量限制，最大值和默认值均为500。skip Number 否 跳过的文档数量。sort...
原生存证接口
同步返回字段 返回字段 字段类型 说明 result int 发送返回值 异步返回字段 返回字段 字段类型 说明 errorCode int SDK发送消息返回的错误码，success时为0。response Response 平台返回的响应，其中 response.getErrorCode()是平台返回的...
原生存证接口
同步返回字段 返回字段 字段类型 说明 result int 发送返回值 异步返回字段 返回字段 字段类型 说明 errorCode int SDK发送消息返回的错误码，success时为0。response Response 平台返回的响应，其中 response.getErrorCode()是平台返回的...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
配置数据聚合
您可以将数据聚合节点类比为Flink SQL的窗口函数，该节点的作用是将解析任务中流转的消息按照窗口进行聚合计算。通过该节点聚合生成多样化的数据，可用于后续分析或输出。使用说明 目前支持的Flink SQL的窗口函数规则为滚动时间窗口...
定义SQL组件
参数定义的格式建议为：字段1名 字段1类型 字段1注释 字段2名 字段2类型 字段2注释 …… 字段n名 字段n类型 字段n注释 除此之外，输出参数定义还可根据您所需的处理结果，添加汇总输出结果字段。例如，排名、总收入等。示例如下：area_id ...
操作流程
新建逻辑表 手动新建逻辑表 通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。具体操作，请参见 手动新建逻辑表。通过...
贸易单证识别
出口报关单识别 针对出口报关单（预录入报关单）、非固定格式的报关草单，提供关键字段的内容抽取能力，如报关单号、出口日期、申报日期、申报单位、商品规格等字段，最终返回结构化的识别结果。进口报关单识别 针对进口报关单，提供关键...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
操作流程
新建逻辑表 手动新建逻辑表 通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。具体操作，请参见 手动新建逻辑表。通过...
数据编码与解码
参数 说明 原始字段 原始字段名。结果字段 编码后的结果字段名。原始字段缺失报错 选中该选项后，如果原始日志中无您所指定的原始字段，系统将报错。JSON配置方式 配置 type 为 processor_base64_encoding，detail 说明如下表所示。参数 ...
字段安全级别
根据存储业务的数据性质差异，字段如手机号码、身份证号码等属于敏感数据，常规查询数据时此类字段的值应该加密展现。为了根据数据的敏感程度对数据进行不同策略的脱敏和管理，数据管理DMS将敏感数据分为3个安全级别。根据数据的敏感程度，...
- 产品推荐
- 这些文档可能帮助您