INSERT
每组对应的 return_expression 与 collection 字段的类型必须兼容。subquery 子查询语句。示例 将单个行插入表 emp：INSERT INTO emp VALUES(8021,'JOHN','SALESMAN',7698,'22-FEB-07',1250,500,30);在以上第二个示例中，列 comm 被省略，...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
记录类型和记录变量
记录类型 记录类型是由一个或多个标识符及其相应数据类型组成的记录的定义，记录类型本身不能用于操作数据。您可以使用 TYPE IS RECORD 语句创建记录类型的定义。TYPE IS RECORD 语句的语法为：TYPE rec_type IS RECORD(fields)其中 fields...
配置OSS输入组件
同步OSS数据源的数据至其他数据源的场景中，您需要先配置OSS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OSS输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建OSS数据源。具体操作，请...
配置OSS输入组件
同步OSS数据源的数据至其他数据源的场景中，您需要先配置OSS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OSS输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建OSS数据源。具体操作，请...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
计算列配置
计算列配置规则 配置内容 新增计算列时，需要配置以下内容：英文字段名：若数据源为数据库，即数据库中的字段名称；若数据源为表格文件，指根据表格模板填写的英文字段名称或系统根据表格文件翻译的英文名称。字段业务含义：是对字段所表示...
创建多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。IndexSort 索引预排序设置，包含Sorters设置。如果不设置，则默认按照主键排序。...
创建多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。IndexSort 索引预排序设置，包含Sorters设置。如果不设置，则默认按照主键排序。...
项目的模板切换
工作项字段 项目内的字段类型为单选/多选文本，在新模板上存在但待选值不同，需要进行映射（工作项数据会同步变化）。项目内的字段类型为层级字段，在新模板上存在但待选值不同，不进行映射，工作项数据进行保留。项目内字段在新模板上不...
数据建模
字段类型准确性校验 取表字段的字段类型元数据与期望的类型进行比较，符合规则则通过。标准字典值校验 对应分区，字段值与对应数据字典的值编码进行比较，字段值全部存在于字典的值编码中的，则规则通过。自定义SQL规则：单表自定义SQL：...
filter子句
分词字段类型无法配置为属性，例如 TEXT，SHORT_TEXT等都不支持，只支持数值字段类型及不分词字段类型配置为属性，例如INT，INT_ARRAY，FLOAT，FLOAT_ARRAY，DOUBLE，DOUBLE_ARRAY，LITERAL，LITERAL_ARRAY这些字段类型都支持。功能性函数...
filter子句
分词字段类型无法配置为属性，例如 TEXT，SHORT_TEXT等都不支持，只支持数值字段类型及不分词字段类型配置为属性，例如INT，INT_ARRAY，FLOAT，FLOAT_ARRAY，DOUBLE，DOUBLE_ARRAY，LITERAL，LITERAL_ARRAY这些字段类型都支持。功能性函数...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
新建查询控件
查询条件配置 查询条件配置因选择关联字段的类型不同而不同，以下为时间类型字段年粒度的查询条件配置，更多类型配置详情请参见 查询类型配置展示。当 开启日期前后快捷切换 功能时，则报表页面对应的日期控件处会新增一个快捷箭头，单击...
创建EMR表
背景信息 绑定EMR引擎后，平台将自动在 数据地图 新建EMR元数据采集器来采集该集群元数据，若您绑定EMR引擎后仍无法在此界面选择到EMR库，请前往数据地图找到该集群的元数据采集器重新采集，详情请参见 采集E-MapReduce元数据。操作步骤 ...
创建索引
倒排索引是一种数据存储结构，由关键词和指向实际数据的逻辑指针组成，记录了特定文本内容出现在哪些日志中，用于快速根据关键词定位到具体数据行，类似于数据的目录。创建索引后，您才能对日志数据进行查询和分析。本文为您介绍日志服务...
数据消费格式
schema 根据payload内容自动生成，对整个JSON的结构及所有字段类型进行说明。默认都包括schema信息。整个schema的结构是递归的。field：字段名称。type：field字段名对应的字段类型。name：schema字段所属模式名称。fields：递归说明当前...
从RDS MySQL数据库获取数据进行数据富化
说明 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时，如果RDS MySQL数据库表字段存在多个相同的值（例如RDS MySQL数据库表有多个值为 1 的 cid 字段。e_table_map函数只获取匹配到的第一行数据。e_table_map函数只支持单行匹配，...
任务类型配置
三、在项目中添加和使用任务类型 在企业后台创建好类型后，点击项目右上角的「菜单」，在「项目菜单」-「项目设置」-「任务类型配置」界面就可以选择已有的任务类型，同时在此界面也可以新建任务类型，然后在任务中就可以使用已添加的任务...
配置Kafka输入组件
例如：{"data":{"name":"bob","age":35 } } 为Kafka记录的value值，当源头表字段配置为data.name时，将会读取bob作为这个字段的值并写入对应目标表，支持添加的字段类型为Java类型和datax的映射类型。同时可以对已添加的字段执行如下操作：...
配置Kafka输入组件
例如：{"data":{"name":"bob","age":35 } } 为Kafka记录的value值，当源头表字段配置为data.name时，将会读取bob作为这个字段的值并写入对应目标表，支持添加的字段类型为Java类型和datax的映射类型。同时可以对已添加的字段执行如下操作：...
创建多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。index_sort 索引预排序设置，包含sorters设置。如果不设置，则默认按照主键排序。...
提取字段
FieldType String 是 字段的类型，取值为string或json。ExpondJson Boolean 否 是否进行JSON展开。true：展开。false（默认值）：不展开。仅当 FieldType 为 json 时生效。ExpondConnecter String 否 JSON展开的连接符。默认值为下划线（_...
修改任务字段生成重复字段
一、问题原因 情况一：当在管理后台或者项目中修改自定义字段内容（不包括字段名称）时，选择「同步修改所有引用该字段的场景」，此时出现的结果为：1、使用场景的项目中，修改者拥有修改字段权限，则新字段内容会直接覆盖旧字段；...
添加及管理识别结果
您可单击数据分类名称后的 推荐 或者单击 操作 列下的 查看识别详情 进入字段识别详情对话框，查看系统推荐的更合适的识别结果，并根据业务需求决策是否需要使用推荐的识别结果。③ 操作区 您可对识别结果执行查看识别详情、编辑识别结果、...
添加及管理识别结果
您可单击数据分类名称后的 推荐 或者单击 操作 列下的 查看识别详情 进入字段识别详情对话框，查看系统推荐的更合适的识别结果，并根据业务需求决策是否需要使用推荐的识别结果。③ 操作区 您可对识别结果执行查看识别详情、编辑识别结果、...
几何求差
差集面积阈值 差集面积计算逻辑为主表几何字段的空间面积减去与关联结点空间范围相交部分的面积。如果没有设置差集面积阈值，算子结果默认返回主表空间位置不在关联节点空间范围内部的记录。如果设置差集面积阈值，算子结果只返回差集面积...
空间关联
如果数据表包含多个几何类型的字段，算子默认选择第一个几何字段，可以手动切换其它的几何字段。主表 空间关联算子的 主表 是输入节点中的一个，主表的作用是指定节点在空间计算中的相对位置。系统默认指定第一个输入节点为主表，用户可以...
如何降低索引流量费用？
如果是全文索引，则日志字段名（Key）和字段值（Value）都将作为text类型存储，字段名和字段值都被计入在索引流量中。如果是字段索引，long类型和double类型的字段名不计入在索引流量中。使用字段索引，可降低索引流量费用。例如：对 ...
定制排序模型特征配置规范
字段名 是否必选 含义 feature_name 是 feature_name会被当作最终输出的feature的前缀 feature_type 是 即下文中的类型 id_feature（离散ID特征）id feature是一个sparse feature，是一种最简单的离散特征，只是简单的将某个字段的值与用户...
几何求交
如果数据表包含多个几何类型的字段，算子默认选择第一个几何字段，可以手动切换其它的几何字段。主表 几何求交算子的 主表 是输入节点中的一个。系统默认指定第一个输入节点为主表，用户可以手动将其它节点设置为主表。相交面积阈值 如果...
aggregate子句
目前只支持对 INT，LITERAL，INT_ARRAY，LITERAL_ARRAY 字段类型做统计（注意 INT_ARRAY，LITERAL_ARRAY 这2个字段类型做统计时，以该字段中相同值为单位进行统计）field为要进行统计的字段名，必须配置属性字段 agg_fun 必选参数 count(id...
分析概述
重要 如果您要分析日志，则必须将日志采集到Standard Logstore中，且在配置索引时打开对应字段的 开启统计 开关。更多信息，请参见 Logstore类型对比、创建索引。日志服务默认存在保留字段。如果您要分析保留字段，请参见 保留字段。基础...
名词解释
源字段 组成源数据的最小单元，包含字段名称和字段值，可选数据类型请参见 OpenSearch表结构。索引 索引是用于加速检索速度的数据结构，一个实例可以创建多个索引。组合索引 可将多个TEXT或SHORT_TEXT文本类型的字段配置到同一个索引，用来...
使用限制
30字符 字段名长度 30字符 排序表达式名称长度 30字符 字段个数 256个 512个 源表表名长度 16字符 索引字段名 64字符 INT类字段个数 256个 TIMESTAMP类型的字段个数 4个 GEO_POINT类型的字段个数 2个 LITERAL字段个数（不支持创建为组合...
名词解释
源字段 组成源数据的最小单元，包含字段名称和字段值，可选数据类型请参见 应用结构&索引结构。索引 索引是用于加速检索速度的数据结构，一个实例可以创建多个索引。组合索引 可将多个TEXT或SHORT_TEXT文本类型的字段配置到同一个索引，...
查询和分析
本文介绍日志服务查询和分析的限制。查询 限制项 说明 备注...Double类型的字段值位数 Double类型的字段值最多52位。如果浮点数编码位数超过52位，会造成精度损失。Double类型的字段值最多52位。如果浮点数编码位数超过52位，会造成精度损失。
- 产品推荐
- 这些文档可能帮助您