创建Tablestore Sink Connector
String模式：将Value字段的内容转换为String类型后存储到一列中，列名为value。JSON模式：将JSON中的每一个字段存储一列，列名为value_{fieldName}。String模式 Json消息字段类型转换 选择的各字段值写入Table列中的实际类型。全部作为...
数据编码与解码
参数 说明 原始字段 原始字段名。结果字段 编码后的结果字段名。原始字段缺失报错 选中该选项后，如果原始日志中无您所指定的原始字段，系统将报错。JSON配置方式 配置 type 为 processor_base64_encoding，detail 说明如下表所示。参数 ...
数据类型
text类型 如果您要查询和分析字符串类型的字段，需在配置索引时，将字段的数据类型设置为text，并开启统计功能。说明 开启全文索引后，日志服务默认将整条日志（除_time_以外所有字段）设置为text类型。日志样例 配置索引 查询和分析语句 ...
配置相邻消息计算
通过表达式或筛选器节点解析源节点数据后，可使用相邻消息计算节点，取当前消息的某个数值字段的值（仅支持BIGINT、DOUBLE类型）与前一条消息的相同数值字段的值，按照定义的表达式进行计算，将计算的结果输出到定义的输出字段上。...
路网轨迹层
本文介绍路网轨迹层各配置项的含义。图表样式 路网轨迹层是3D地球的子组件，支持独立的样式和数据配置，包括轨迹线的长宽、运动速度、颜色以及轨迹点经纬度等，适用...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
修改表 ALTER TABLE 的不兼容点
修改列的类型 MySQL 数据库和 OceanBase 数据库 MySQL 租户的被修改列在有约束的情况下，对修改后的字段类型的限制有所不同。详情请参见 有约束的列修改类型。MySQL 数据库和 OceanBase 数据库 MySQL 租户的被修改列在没有约束的情况下，对...
探查数据集
前提条件 已通过上传或者连接数据库完成数据集的创建。操作步骤 输入账户和密码，登录 可视分析创作间。在左侧导航栏，单击分析图标，进入 分析 页面。选择需要探查的数据集，单击 探索，进入卡片推荐页面。单击页面右上角的修改图标，设置...
车辆管理
1.1 添加车辆 Path路径/solution/community/household/user/vehicle/add 请求方式 post 接口版本 1.0.1 请求参数 字段名 类型 必填 备注 identityId String 是 用户Id vehicleList JSONArray 是 车辆信息列表（每人在同一个小区内最多10辆...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
单据票证信息抽取
若同一个字段存在多行内容，则需要逐行标注拉框进行标注，每一行赋予相同的字段名。质检 进入「数据中心-标注任务」界面，选择已标注完成的任务进行质检。质检员可进行标注修改与驳回，完整当前所有标注任务后进行任务提交。注意核对所有...
单据票证信息抽取
若同一个字段存在多行内容，则需要逐行标注拉框进行标注，每一行赋予相同的字段名。质检 进入「数据中心-标注任务」界面，选择已标注完成的任务进行质检。质检员可进行标注修改与驳回，完整当前所有标注任务后进行任务提交。注意核对所有...
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
过滤且表格化输出结果
output 包含以下字段：字段名 描述 补充说明 cols 表格的列名，需要与 JSON 数据中的字段相对应。例如，ECS DescribeInstances 接口返回结果中的字段 InstanceId 以及 Status。rows 指定过滤字段所在的 JMESPath 路径。通过 jmespath 查询...
多表合并
用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表并集 算子的高级版本，满足多张数据表合并的需求。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是...
图文解释
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。图片文件支持常见的JPG、PNG等格式。sam_embedding_url 用于SAM分割的embedding数据，目前使用前需要用户自行预...
配置ClickHouse输出组件
阿里云数据库ClickHouse创建数据表的操作，请参见 创建表；非阿里云数据库ClickHouse创建数据表的操作，请参见 ClickHouse官方文档。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入 ...
创建索引
expression 基于表中一列或多列的表达式。如语法所示，表达式通常必须用括号括起来。然而，如果表达式是函数调用的形式，可以不用写括号。tablespace 用于创建索引的表空间。如果没有指定这个参数，那么使用参数default_tablespace所指定的...
配置ClickHouse输出组件
阿里云数据库ClickHouse创建数据表的操作，请参见 创建表；非阿里云数据库ClickHouse创建数据表的操作，请参见 ClickHouse官方文档。操作步骤 请参 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入 ClickHouse...
删除有约束的列
删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型，通过 ALTER TABLE DDL 语句进行删除列操作时，MySQL 数据库和 OceanBase 数据库 MySQL 租户的区别如下。MySQL 数据库的字段类型 是否允许执行删除 OceanBase...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
对话排序
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。CSV 及 XLSX 格式 post item1 item2 item3 item4 青橘子好吃吗？嗯 橘子好吃 不对不对 晴王好吃 晴王是啥,晴王...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
配置IBM DB2输入组件
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
配置IBM DB2输入组件
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
设置黑名单规则
在 SQL防火墙 页签，找到需要修改的规则，单击 操作 列的 修改，在弹出的 修改SQL防火墙规则 对话框中，根据业务需要修改规则参数。规则参数的具体说明，请参见 配置SQL防火墙规则。说明 修改规则时，不支持修改 规则名称。规则修改完成后...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置参数...
DataV6.0数据集介绍
介绍 DataV数据集支持多种数据源的接入，如数据库、Excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分和地理信息处理等。创建 登录 DataV...
配置Teradata输入组件
使用限制 不支持读取Teradata数据库的视图。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Teradata数据源。具体操作，请参见 创建Tablestore数据源。进行Teradata输入组件属性配置的账号，需具备该数据源的同步读权限。如果...
配置ClickHouse输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或有 索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时每条并发SQL语句...
配置Teradata输入组件
使用限制 不支持读取Teradata数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。按照下图指引，进入 Teradata输入配置 对话框。序号 说明 ① 单击 组件库。② 单击 输入。③ 拖动 Teradata 组件至左侧的...
视频打点
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。CSV 及 XLSX 格式 video_url oss:/*.oss-cn-hangzhou.aliyuncs.com/iTAG/mov/1.mp4 oss://*.oss-...
过滤处理
设置 字段名 为 level，字段值 为 WARNING|ERROR，表示只采集 level 字段值为 WARNING 或 ERROR 的日志。设置 字段名 为 content，字段值 为.*05\/Jan\/2023.*，表示只采集 content 字段值包含 05/Jan/2023 的日志。过滤掉不符合条件的日志...
对话分组
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。CSV 及 XLSX 格式 item1 item2 item3 {""prompt"":""prompt11"",""reply"":""reply11""} {""prompt"":""prompt...
质量规则模板类型
单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行比较。有效性 字段格式校验 用于识别表达式或者正则表达式对单字段的格式进行校验。字段长度校验 用于对单字段的长度进行校验。...
质量规则模板类型
单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行比较。有效性 字段格式校验 用于识别表达式或者正则表达式对单字段的格式进行校验。字段长度校验 用于对单字段的长度进行校验。...
配置Vertica输入组件
切分建 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。...
配置Vertica输入组件
切分建 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。...
配置IBM DB2输出组件
本文为您介绍如何配置IBM DB2输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 IBM DB2输出配置 对话框。在 IBM DB2输出配置 对话框，配置参数。...
- 产品推荐
- 这些文档可能帮助您