数据源开发和生产环境隔离
例如出现DataStudio执行成功，生产调度时执行失败，或DataStudio执行与生产调度时执行数据量不一致等问题时，您可对比开发环境执行成功的日志与生产环境的报错日志进行比对排查。由于任务最终将发布生产环境执行，若数据源开发环境与生产...
实例状态与影响
清除中 Flushing 清除数据 执行清除数据时，选择 所有数据，影响如下：实例将执行 FLUSHALL 命令，清除实例中的所有数据，清除后无法找回。清除数据即刻生效，且会对线上业务造成影响，请谨慎评估并在业务低峰期执行。清除已过期数据中 ...
REF CURSOR 概述
游标变量是一个实际包含指向查询结果集的指针的游标。结果集由使用游标变量执行OPEN FOR 语句确定。游标变量不像静态游标那样绑定到单个特定查询。使用包含不同查询的 OPEN FOR 语句可以多次打开同一游标变量。每次都会从该查询创建一个新...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
SET语句变量设置
您可以通过SET语句设置各类变量，包括用户自定义的变量、session变量和global变量。语法 SET variable=expr[,variable=expr].variable:{ user_var_name|{GLOBAL|@GLOBAL.} system_var_name|[SESSION|@SESSION.|@]system_var_name } 注意...
内容模板变量说明（新版）
存储类型为资源数据时，该变量值为空。int 1616741485 end_time 查询结束时间。存储类型为资源数据时，该变量值为空。int 1616745085 raw_results 实际查询内容，数组格式，最多100行。raw_results 变量值超过2KB，并且查询结果字段内容的...
内容模板变量说明（旧版）
存储类型为资源数据时，该变量值为空。string sls-test-alert store 查询统计目标库名称。string test-logstore query 查询语句。string error|select count(1)as cnt start_time 查询开始时间。存储类型为资源数据时，该变量值为空。int ...
执行分析
如上图所示，选中 SQL 语句并单击执行计划图标，可以在执行 SQL 语句前系统预估执行数据（EXPLAINPLAN 操作的结果），展示的执行数据可能与实际执行语句后的数据略有不同。在 计划详情 页面中，单击 查看格式化信息 切换至格式化展示页面。...
数字翻牌器
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
独享资源组
切换数据集成任务开发环境测试运行时使用数据集成任务执行资源组：在数据开发界面打开离线同步任务，选择右侧的 数据集成资源组配置。说明 如果生产环境执行也需要使用该资源组，请修改资源组后进行节点提交发布操作。切换生产调度运行时...
全局参数
如下所示：运行时指定参数 全局变量设定后，正常触发时都会使用默认值，如果在触发时想改变全局变量的值，可以在手工触发时（请参考触发策略部分文档说明）配置运行参数：设置全局变量的值，然后点击确认，本次执行将使用更改后的变量值...
任务管理
任务是指在DMS发起的变更SQL任务，例如普通数据变更、结构设计、库表同步等，但不包含在SQL窗口中直接执行的SQL。本文为您介绍了如何新建或管理SQL任务。前提条件 您的用户角色为管理员或DBA，关于用户角色信息，请参见 系统角色。操作步骤...
变量
变量数据主动投递 在很多工业应用场景中都需要实时显示设备的监测数据，工业组态提供了实时数据投递能力，允许用户提前进行数据点配置，通过数据主动投递方式，将实时数据同步至组态变量中，以便于在可视化界面中展示设备实时数据。...
使用限制
注意事项 在使用DMS任务编排功能时，可能会出现任务调度延迟或由于SQL及脚本缺少幂等性而影响下游数据正确性的情况。如下为您说明出现这种情况的场景以及处理方案。任务调度延迟 在每日凌晨和每小时整点的任务调度高峰期，可能会出现任务...
交叉透视表
[{"value1":7789,"row1":"浙江省","row2":"杭州市","column1":"家具","column2":"桌子"},{"value1":2367,"row1":"浙江省","row2":"绍兴市","column1":"家具","column2":"桌子"}]当数据单元格选中时 数据单元格选中时返回并经过过滤器处理后...
DROP DATABASE
它会移除该数据库的系统目录项并且删除包含数据的文件目录。它只能由数据库拥有者执行。当你已经连接到目标数据库时，它不能被执行（连接到 postgres 或者任何其他数据库来发出这个命令）。另外，如果其他任何人已经连接到目标数据库，这个...
在变量声明中使用%TYPE
简介 SPL程序中声明用于保存来自数据库中的表的值的变量，为了确保表列与SPL变量之间的兼容性，二者的数据类型应相同。如果您修改了列的数据类型，则需要更改相应的SPL程序中的变量。此时您可以使用列属性%TYPE，无需将特定列数据类型编码...
离线同步日志分析
当任务长时间处于等待数据集成任务执行资源的状态时，可能是其他任务运行占用该资源组上的资源导致当前任务无资源执行而处于等待状态，您可以通过以下方案解决此类问题：待占用该数据集成资源组的任务（即运行在该资源组上的任务）执行成功...
数据质量入门
数据质量帮助您及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，阻断脏数据向下游蔓延。避免任务产出问题数据，影响正常使用和业务决策。本文示例配置表数据质量监控规则，保障产出的表数据...
蓝图编辑器常见案例教学
翻牌器A序列执行节点处理方法：翻牌器B序列执行节点处理方法：说明 数字翻牌器A、B当数据接口请求完成时，通过序列执行第一个节点分别保存页面临时变量 data_a 和 data_b。第二个节点的处理方法实现将当前数字翻牌器请求到的数据与另外一份...
TOP Objects
表 5.TOP Objects列表详情参数说明 参数 说明 对象名 该SQL语句所属的数据库对象名称，包含数据库名、架构名和对象名。Statement(点击详情)该SQL语句详情，可以点击查看完整SQL语句。执行次数 该SQL语句执行总次数。获取执行计划 该SQL语句...
配置组件交互
在DataV中资产交互配置与回调ID配置，是指某个资产在响应用户操作或者自动触发更新时，向其他资产传递的参数，这个参数可以在其他资产中作为数据查询时的动态变量。本文以 数字翻牌器 组件为例，为您介绍DataV的资产交互配置功能。操作步骤...
常用管理
数据源的请求可能发生在组件首次加载时、组件自动更新时和全局变量触发更新时等。过滤器执行错误 组件请求数据源成功返回数据后，经过过滤器时产生报错，将记录为过滤器报错。预览数据看板 在 画布编辑器 页面右上角，单击 预览，预览当前...
将Excel的数据导入数据库
写入方式 选择文件的写入方式：INSERT：插入数据时数据库会检查主键（PrimaryKey），如果出现重复会报错。INSERT_IGNORE：如果表中已经存在相同的记录，则忽略当前新数据；REPLACE_INTO：如果表中已经有某行数据（根据主键或者唯一索引判断...
柱状图
本文介绍柱状图全量选择时各配置项的含义。图表样式 柱状图能够清晰智能地展示各类别之间以及各类别内部的数据差异，在数据看板中所占比重较大。支持自定义选择数据集字段数据，以及配置数据各映射样式。样式面板 搜索配置：单击 样式 面板...
流程管理
2.出参声明 在End节点当中显示声明，如下图 节点的执行的结果存储在一个名叫svcVars的变量当中，存储数据的结构为svcVars.${节点id}.response.${xxx}.${yyy}，xxx和yyy就是具体的结果数据结构。例如返回结果希望是大模型的返回结果，可以在...
模板变量配置
定义模板变量 配置局部变量 在 我的解决方案 页面找到需要定义变量的模板，单击 编辑模板，此处以一个ECS模板为例。双击产品图标，打开配置框，定义参数变量，支持定义变量的属性都有标识 fx。单击右侧 fx 弹出自定义变量对话框，配置项...
区间柱状图
本文介绍区间柱状图全量选择时各配置项的含义。图表样式 区间柱状图能够清晰智能地展示区间范围内的数据差异，但在数据看板中所占空间较大。支持自定义选择数据集字段数据，以及配置数据各映射样式。样式面板 搜索配置：单击 样式 面板右上...
条形图
本文介绍条形图全量选择时各配置项的含义。图表样式 条形图可以在较小的可视化应用空间内，智能展示多维的数据差异。支持自定义选择数据集字段数据，以及配置数据各映射样式。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可...
什么是流程编排
定义 流程编排是一种面向开发者的可视化开发工具，支持LLM、API、脚本等类型节点，旨在简化接入大型语言模型（LLM）流程，同时提供应用流程的全生命周期管理，包括流程的编排、试验、部署等，为开发者提供自定义AI应用开发一站式服务。...
如何配置数字翻牌器组件的回调ID
在DataV中，回调ID是指某个资产在响应用户操作或者自动触发更新时，向其它资产传递的参数，这个参数可以在其它资产中作为数据查询时的动态变量。本文档以 数字翻牌器 组件为例，为您介绍回调ID的使用方法。操作步骤 登录 DataV控制台。选择...
标签层（v3.x版本）
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
如何支持超大事务
即每个事务写入2048条数据时，数据写入总量从512 MB到16 GB不等。实际的写入量比这个值稍大，因为bigint类型的ID也占用一定的空间。重要 受计算节点（CN）的参数 MAX_ALLOWED_PACKET 的影响，每个查询的请求包大小不应超过 MAX_ALLOWED_...
比值控制
不限 REF端口-输入参数 参数名 参数描述 是否必填 输入数据类型 数据源类型 比值参考变量 比值的参考变量 当控制模式为动态时，才需要配置。整数或浮点数 说明 若存在非数值类型数据，则会抛出异常。不限 OUT端口-输出参数 参数名 参数描述...
管理数据集
说明 DMS数据分析在SQL执行成功后，会基于各个字段的SQL数据类型和执行结果数据推测出合适的数据集模型，即区分字段是维度还是度量，因此在SQL执行成功后，您可以对数据类型和可视化类型进行验证和调整（如将字段数据类型调整为国家、省份...
配置同步任务
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
管理问题数据
唯一值个数校验不通过时：当所有数据都唯一，系统会生成问题数据表，但表中不会存放问题数据。若存在数据不唯一，系统生成的问题数据表会保留该字段的重复数据，即重复的数据就是问题数据。唯一值个数/总行数。唯一值个数与总行数的比率与...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
数据筛选
OUT端口-输入参数 参数名 参数描述 输出数据类型 输出 输出包含保留变量和筛选变量。保留变量：与输入数据类型一致。筛选变量：浮点数。其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 筛选规则 配置数据筛选的规则。注意：单个...
管理全局变量
测试数据 来源 全局变量的来源，包括 静态值 和 数据源请求。静态值 初始值 全局变量选择变量类型时的默认值。datav"过滤器 可选，通过添加数据过滤器进一步筛选所需数据。详情请参见 使用数据过滤器。数据响应结果 在全局变量的参数设置...
- 产品推荐
- 这些文档可能帮助您