如何使用蓝图编辑器自定义开发组件
本文档示例为开发者的自定义组件提供功能开发的参考，主要介绍三个蓝图编辑器内容的实现方法：事件触发、导入数据接口、添加交互动作。前提条件 本文需要操作使用桌面版开发工具，详情请参见开发工具使用说明中的 桌面版开发工具使用说明。...
array
配置项说明 字段名 含义 类型 是否必选 备注 type 类型 string 是 无。name 显示名 string 是 无。default 默认值 array 否 对象数组，对象的属性应与 child 字段中定义的字段名一致。child 对象名 object 否 请将该字段内的 type 设置为 ...
事件分析
基础查询条件 选择查询时间（必选）：选择起始/结束时间，可查询1年内的记录，时间跨度最长3个月，可精确到秒级。选择事件（必选）：选择该账号下创建的事件，可选择1个或多个事件。选择查询字段（可选）：选择需要查询的字段，并输入对应...
表格填报
选择 已有表 为对应的 控件 选择写入的 表字段名，将自动匹配表字段名的 字段描述、字段类型，您也可以自定义设置该字段是否为 主键。您可以 添加 和 删除 字段映射行 选择 新建表 您可以新建一张物理表，并自定义填写 表名、表字段名、...
创建AnalyticDB Schema
其中，order_table1中部分字段名与order_table不同，order1_id数据类型与order_id不同。CREATE EXTERNAL TABLE order_table1(customer1_id bigint NOT NULL COMMENT '',order1_id bigint NOT NULL COMMENT '',order1_time date NOT NULL ...
设计阶段
设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最...
配置DataWorks平台GDB Writer
本文为您介绍GDB Writer支持的数据类型、字段映射和数据源等参数及配置示例。说明 GDB Writer仅支持使用 独享数据集成资源组，不支持使用默认资源组和 自定义资源组。开始配置GDB Writer插件前，请首先配置好数据源，详情请参见 配置Graph ...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
配置数据聚合
您可以将数据聚合节点类比为Flink SQL的窗口函数，该节点的作用是将解析任务中流转的消息按照窗口进行聚合计算。通过该节点聚合生成多样化的数据，可用于后续分析或输出。使用说明 目前支持的Flink SQL的窗口函数规则为滚动时间窗口...
用户标签表数据要求
说明 由于您存储原始数据的 计算源 类型为MaxCompute，Quick Audience使用的 分析源 类型为ADB3.0或Hologres，为了数据能在计算源和分析源之间正常流转，Quick Audience不支持MaxCompute的以下数据类型：BOOLEAN、CHAR、ARRAY、STRUCT、MAP...
创建字段
如果需要的字段超出范围，则可以 自定义字段，单击 新建字段，并填写以下信息：字段名称：系统入参的字段名。为防止与系统默认字段冲突，自带DE前缀（不需要输入）。建议取有业务含义的名称，例如：DEorderId。字段显示名：字段在决策引擎...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
Quick BI查询条件中下拉列表选择单个数据集时，需要...
产品名称 Quick BI 产品模块 可视化查询控件 概述 为您介绍设置查询控件时“查询字段值”、“显示名称字段”、“排序字段"的具体用法和意义。问题描述 客户发现在配置查询控件时，选择下拉列表形式，在点击单个数据集时需要配置“查询字段...
受众推送功能
默认映射为原字段名，修改后，推送到Kafka的字段名将为新的字段名映射，非原字段名。说明 推送的ID字段、标签字段必须来自于受众来源的用户标签数据集，其他类型数据集的字段不能用于推送。若创建受众时保存的ID类型字段不是来自于用户标签...
搜索增强
已适配数据源列表 链接 阿里云 RDS MySQL 云数据库 RDS 控制台 云数据库 RDS MySQL 版 文档 阿里云 MaxCompute MaxCompute 控制台 云原生大数据计算服务 MaxCompute 文档 阿里云 OSS 对象存储OSS 控制台 对象存储 OSS 文档 子路径/库表 ...
GetMetaTableColumn-获取表的字段信息
接口说明 仅管控模式为安全协同的数据库实例可调用此 API。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
本文为您介绍如何同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 RDS PostgreSQL 实例创建专用于数据同步项目的高权限账号。详情请...
配置值转化
前提条件 已配置数据计算的表达式或数据过滤的筛选器，具体操作，请参见 配置数据计算和数据过滤。背景信息 数据解析功能说明，请参见 使用说明。数据解析工作台的使用说明，请参见 数据解析工作台说明。操作步骤 进入数据解析工作台。在...
AddRecognizeRule
调用AddRecognizeRule接口新增数据保护伞分类分级定义的敏感字段。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 ...
配置Kafka输入
输出字段 您可以自定义Kafka数据对外输出的字段名：单击 添加更多字段，输入 字段名，并选择 类型，即可新增自定义字段。取值方式 支持从kafka记录中取得字段值的方式，单击右侧 按钮可以在两类取值方式间切换。预置取值方式：提供6种可选...
查询及分析日志
通过实时查询与分析采集的日志数据，您可以准确把握网络活动的具体情况，并识别出流量的异常情况，从而实现安全监控的加强和安全事件响应效率的提升。本文将指导您如何运用查询和分析语句操作日志分析工具，并展示如何查阅和理解查询结果。...
正则解析
重命名的原始字段 选中 解析失败时保留原始字段 或 解析成功时保留原始字段 后，可重命名原始字段名，用于存放原始的日志内容。配置示例 输入日志 127.0.0.1-[16/Oct/2023:12:36:49+0800]"GET/index....
自定义KV模板
功能简介 自定义KV模板是针对卡证、票据等固定版式的数据提供的一款定制化产品。用户仅需通过一张模板数据的可视化拖拉拽配置，无需进行数据标注和模型训练，即可实现相同版式数据的自定义结构化识别抽取。经过配置调优的模板识别准确率可...
自定义KV模板
功能简介 自定义KV模板是针对卡证、票据等固定版式的数据提供一款定制化产品。用户仅需通过一张模板数据的可视化拖拉拽配置，无需进行数据标注和模型训练，即可实现相同版式数据的自定义结构化识别抽取。经过配置调优的模板识别准确率可达...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
字段提取模式
字段名提取约束 适用于e_json、e_kv，e_kv_delimit、e_regex等函数。提取的字段名必须满足字符条件，否则会被丢弃。不支持正则表达式 u'_*[\u4e00-\u9fa5\u0800-\u4e00a-zA-Z][\u4e00-\u9fa5\u0800-\u4e00\\w\\.\\-]*'。例如 123=abc_1_:...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
用户属性管理
ID Mapping 已实现将跨来源渠道的数据中的同一个用户识别出来，为其赋予Quick Audience中的唯一身份标识QAID，将其名下的数据拉通。导入用户标签表时，通过从拉通后的数据获取用户属性信息，并确立解决数据冲突的规则，实现构建用户属性...
DataV区块编辑器介绍
介绍 DataV区块编辑器是基于基础组件封装的一个黑盒，对内封装了业务相关的组件样式、组件布局、默认数据（不包含除静态数据和API外的数据源）以及蓝图逻辑。对外定义了业务相关的区块接口。内部和外部的数据传输依靠蓝图的数据接口、事件...
自定义表格模板
功能简介 自定义表格模板 是针对固定版式的单页有框线表格表单数据提供的一款定制化产品。用户仅需通过一张模板数据的可视化拖拉拽配置参照字段、识别字段或表头&待识别的列表区域，字段属性等，无需进行数据标注和模型训练，即可实现相同...
自定义表格模板
功能简介 自定义表格模板是针对固定版式的单页有框线表格表单数据提供一款定制化产品。用户仅需通过一张模板数据的可视化拖拉拽配置参照字段、识别字段或表头&待识别的列表区域，字段属性等，无需进行数据标注和模型训练，即可实现相同版式...
字段映射
SubstringBefore(idpUser.email,"@")使用 AD UPN 前缀：SubstringBefore(idpUser.userPrincipalName,"@")使用固定值：Trim("myString")说明 IDaaS 表达式中的字段格式为“idp”+“User/OrganizationUnit”+“.”+“身份提供方中的字段名”...
日志字段说明
审计日志字段说明 audit_type：审计类型说明 字段名 描述 SSH_CLONE SSH 方式拉取代码 HTTP_CLONE HTTP 方式拉取代码 DOWNLOAD 下载代码包 MOD_MEMBER 修改库成员权限 NEW_REPO 新建库 IMPORT_REPO 导入库 DEL_REPO 删除库 NEW_GROUP 新建...
使用canal同步
对于中小规模的数据库或者个人开发者，您可以使用canal将MySQL数据同步到表格存储。canal部署简单，易于运维，适用于中小规模MySQL数据同步。前提条件 已开启MySQL binlog功能，并且配置binlog-format为ROW模式。已创建目标Tablestore表。...
配置HDFS输入组件
同步HDFS数据源的数据至其他数据源的场景中，您需要先配置HDFS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置HDFS输入组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性...
过滤日志
配置示例 采集包含字段名是以 request 开头的日志，配置示例如下：原始日志 日志1"request_time":20"request_length":2314"request_method":"POST""browser":"aliyun-sdk-java"日志2"request_time":70"request_method":"GET""ip":"192.168....
结构设计
校验某些字段是否存在 保存编辑，校验字段 新增字段，禁止字段名为关键字 新增字段，字段必须填写备注 新增字段，限制字段名大小写 原有表新增非空字段必须明确指定默认值 原有字段，可空改为非空必须明确指定默认值 限制新增主键字段必须...
事件创建
本文介绍如何在决策引擎中创建事件。背景信息 什么是事件？...我们可以通过定义业务场景来创建事件，并在该事件下设定和运营一整套风控策略。每个事件有相应的事件编码，当调用决策引擎时，传入事件编码，决策引擎会将不同的事件请求路由到...
- 产品推荐
- 这些文档可能帮助您