UDT概述
操作：SQL中的=不是赋值而是判断相等。而对于Java对象来说，判断相等应该用Equals方法，而非=操作。UDT对同一对象的概念是模糊的，这是由数据的Reshuffle导致的。对象有可能会在不同进程、不同物理机器之间传输。在传输过程中，同一个对象...
加工数据
更多关于调度依赖的原理，请参见 调度依赖配置指引。节点和产出表一对一关系。节点名命名与产出表名保持一致。进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作...
设置白名单规则
由于实际业务中使用的SQL语句可能会很多，单个SQL语句录入会相当耗时，为了提升工作效率和使用体验。Proxy提供了以下三种白名单模式：训练模式：Proxy只收集SQL语句，而不进行SQL语句拦截和报警。检验模式：检测到不包含在白名单中的SQL...
Flink_SQL任务开发方式
通过该方式能够避免编写表的DDL语句，以简化Flink SQL编码工作。例如，在Flink_SQL任务中创建 Catalog01 并建表 t1 后，在新的Flink_SQL任务中再次创建 Catalog01，可以直接访问表 t1。重要 仅支持 开源Flink 实时计算引擎。不支持在...
通过脚本模式配置离线同步任务
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开发流程 步骤一：新建离线同步节点 步骤二：配置同步网络链接 步骤三：转脚本模式并导入模板 步骤四：编辑脚本，配置...
通过向导模式配置离线同步任务
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开发流程 步骤一：新建离线同步节点 步骤二：配置同步网络链接 步骤三：配置数据来源与去向 步骤四：配置字段映射关系 ...
新功能发布记录
功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用数据工作站功能可以提高数据交付效率和数据自助...
for-each节点逻辑原理介绍
内置变量 提供遍历节点（for-each节点）变量取值与遍历次数案例说明 上游赋值节点为Shell时取值示例、上游赋值节点为ODPS SQL时取值示例 应用场景 DataWorks的for-each节点主要用于有循环遍历的场景，且需要与 赋值节点 联合使用，将赋值...
do-while节点逻辑原理介绍
节点输出 上游赋值节点为ODPS SQL语法，最后一条Select语句查询出两条数据：+-+|uid|region|age_range|zodiac|+-+|0016359810821|湖北省|30~40岁|巨蟹座|0016359814159|未知|30~40岁|巨蟹座|+-+变量取值 内置变量 第1次循环时取值 第2次...
Insert Into
StarRocks中INSERT INTO语句的使用方式和MySQL等数据库中INSERT INTO语句的使用方式类似，但在StarRocks中，所有的数据写入都是一个独立的导入作业，所以StarRocks中将INSERT INTO作为一种导入方式介绍。本文为您介绍Insert Into导入的使用...
Insert Into
StarRocks中INSERT INTO语句的使用方式和MySQL等数据库中INSERT INTO语句的使用方式类似，但在StarRocks中，所有的数据写入都是一个独立的导入作业，所以StarRocks中将INSERT INTO作为一种导入方式介绍。本文为您介绍Insert Into导入的使用...
变量
单实例SQL赋值输出变量：通过该节点定义SQL查询的结果集，用该结果集充当二维矩阵，在变量定义过程中任意取出一个元素，或者基于任意一个行向量i、列向量j做基于字符的拼接。脚本输出变量：如果脚本最后一行输出的是JSON结构数据，结构格式...
任务编排之电商打标
本文使用任务编排中的 单实例SQL赋值节点、条件分支节点 和单实例SQL节点，在数据库层面实现该需求。前提条件 您需要准备一个数据库，且拥有该数据库的变更权限。如需申请权限，请参见 DMS访问控制权限概述。环境准备 登录 数据管理DMS 5.0...
步骤二：编写SQL分析语句
前提条件 已创建SQL分析任务：您需在SQL数据分析工作台，根据业务需求，编写SQL分析语句。背景信息 下列类型的数据存储表可作为SQL分析的查询对象，您可通过SQL分析语句来处理对应表的数据。平台系统表：更多信息，请参见 查看平台系统表。...
MariaDB数据源
否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句。例如，加上某一个时间戳 alter table tablename add colname timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE ...
开发ODPS Script任务
语法结构 一个ODPS Script脚本的完整形式为 SET语句>DDL语句>DML语句，每种类型语句都可以有0到多个语句，但不同类型的语句不能混合。多个语句以@开始，表示变量连接。语法如下：SET语句 set odps.sql.type.system.odps2=true;[set odps....
开发ODPS Script任务
语法结构 一个ODPS Script脚本的完整形式为 SET语句>DDL语句>DML语句，每种类型语句都可以有0到多个语句，但不同类型的语句不能混合。多个语句以@开始，表示变量连接。语法如下：SET语句 set odps.sql.type.system.odps2=true;[set odps....
新建存储过程
概述 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作封装成一个代码块，以便重复使用，从而减少数据库开发人员的工作量。存储过程旨在完成特定功能的 SQL 语句集，经编译创建并保存...
SQL脚本
是否由系统添加Create Table语句 选中 是否由系统添加Create Table语句 复选框，则 SQL脚本 的最后一行SQL语句必须为Select语句，PAI会自动创建一个临时表，用来存储Select语句查询的结果。取消选中 是否由系统添加Create Table语句 复选框...
时间窗口SQL脚本
您可以在SQL语句中，使用${lifecycle} 参数自动获取当前工作空间设置的临时表生命周期，默认为28天。更多关于工作空间临时表生命周期的内容，请参见 管理工作空间。如果您在可视化参数配置中选中了 是否由系统添加Create Table语句 复选框...
参数化视图
语句相当于其他语言中的 return 语句，用于向一个与视图同名的隐含表变量赋值。在视图参数匹配时，实参和形参匹配的规则和普通的弱类型语言一样，如果传入的视图参数可以被隐式转换，则可与所定义的参数匹配。例如，BIGINT的值可以匹配...
SQL 路由
在分库分表模式下，数据访问代理会根据拆分键（即拆分字段）以及 SQL 语义把 SQL 语句分发到底层中各个存储数据的分表进行执行。执行结束后，数据访问代理会将从各个分表获取的数据合并，然后返回给用户。本文介绍在分库分表场景中数据访问...
Cava 运算符
a的结果为false 赋值运算符 赋值运算符用于将一个变量赋值给另一个变量，下表列出了cava中支持的赋值运算符：赋值运算符 描述 示例(int left=1,right=2;简单赋值：将右边操作数的值赋给左边操作数 left=right;left结果为2+加和赋值：将左边...
Cava 运算符
a的结果为false 赋值运算符 赋值运算符用于将一个变量赋值给另一个变量，下表列出了cava中支持的赋值运算符：赋值运算符 描述 示例（int left=1,right=2;简单赋值：将右边操作数的值赋给左边操作数 left=right;left结果为2+加和赋值：将...
Cost-based SQL诊断引擎
其具体的工作过程如下：SQL解析与验证：引擎对查询语句做解析验证，验证输入查询语句是否符合标准，识别查询语句的组成形成语法树，例如：谓词以及谓词类型、排序字段、聚合字段、查询字段等，识别查询语句相关字段的数据类型。验证SQL使用...
TCL语句
本文介绍了 PolarDB-X 支持的TCL语句及其用法。数据库事务（Database Transaction）是指作为单个逻辑工作单元执行的一系列操作。事务处理可以用来维护数据库的完整性，保证成批的SQL操作全部执行或全部不执行。默认情况下，PolarDB-X 以...
版本发布说明
降低REPLACE/UPSERT语句在包含GSI或UGSI的表上执行时的CPU消耗。缺陷修复 修复包含clustered index的表在创建local索引时，部分旧的执行计划没有清理的问题。修复在DRDS模式数据库中，执行多表 RENAME 时，有概率找不到物理表的问题。修复...
在线客服工作台配置
开启小休后，客服在线工作台可切换小休状态，若客服小休状态下工作台断网，会自动切换成离线状态。3.快捷回复配置 渐进提示方便客服在工作台快速输入相关内容，通过设置话术缩略语和快捷回复内容来实现话术的快速输入。进入【设置】-【在线...
MySQL数据源
常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步MySQL数据报错 实时同步MySQL数据源时速度为什么会变慢？MySQL分库分表如何将分表同步到一张MaxCompute中 目的端MySQL表字符集为utf8mb...
配置节点上下文
部分节点支持赋值参数的功能，赋值参数使用与赋值节点行为大体一致，您可以参考赋值节点使用文档来进行 赋值参数 的配置，关于赋值参数的配置可参考下文。配置节点上下文 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发...
SQL审核优化建议在数据变更工单中的应用
准备工作 本文在演示操作前提前创建了 migration_job 表，建表语句如下：CREATE TABLE `migration_job`(`id` bigint(20)unsigned NOT NULL AUTO_INCREMENT COMMENT '主键',`gmt_create` datetime NOT NULL COMMENT '创建时间',`ref_id` ...
常见问题
可以使用SQL语句 set MEM_LIMIT=Xg 限制，在该语句Session范围内生效。如何提升非JOIN语句的查询效率？对于单条没有JOIN的查询语句，您可以在Impala控制台通过命令设置mt_dop参数为n以提升并发度，其中n为每台机器的并发度。Ranger开启...
Thread Pool
线程池的优势如下：当大量线程并发工作时，线程池会自动调节并发的线程数量在合理的范围内，从而避免线程调度工作过多和大量缓存失效。大量的事务并发执行时，线程池会将语句和事务分为不同的优先级，分别控制语句和事务的并发数量，从而...
CreateTask-创建任务流任务
{"dbId":123456,/数据库 Id"sql":"/*请使用当前节点所选择的数据库语法编写 SQL*/",/sql 语句"dbType":"polardb"/数据库类型 } 单实例 SQL 赋值 DagId NodeName NodeType:32 NodeParam GraphParam NodeOutput:样例如下 {"outputs":[{/*/...
扫描（Scan）分析概述
SELECT api,count(*)AS PV GROUP BY api 工作流程 日志服务接收到扫描请求后，执行流程主要分为如下两步。先执行对应的查询语句进行日志查询。重要 查询语句仍依赖于索引。例如执行 status:200|set session mode=scan;SELECT api,count(*)...
BEGIN（开启事务）
begin 语句用于开启单次事务。对于连续 begin，若用户通过 begin/start transaction/set autocommit=0 开启第一个事务，稍后未进行提交而进行第二个begin/start transaction，那么分布式数据库将隐式地帮助用户 commit 上一个事务，这个 ...
使用流程参数
当需要对业务流程中多个节点的同一参数变量统一赋值或替换其参数值时，可使用流程参数功能实现。本文以替换周期业务流程中节点的ReplaceMe参数取值示例，为您介绍流程参数的使用方法。前提条件 已创建业务流程，用于配置流程参数。详情请...
扫描（Scan）查询概述
日志服务扫描（Scan）查询功能支持免配置索引进行目标字段的扫描，用于查询相关日志，并且支持通过SPL语句对查询结果进行进一步的过滤、转换、解析等操作。本文介绍扫描查询功能的相关信息。背景信息 日志服务基于索引技术，提供快速查询...
SQL审核最佳实践
数据管理DMS 的SQL审核功能，支持对SQL语句进行批量审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。本文以对XML文件中多个SQL语句进行审核为例，向您展示配置SQL审核规则、审核目标文件中SQL语句的流程。背景信息 在...
创建手动任务
流程参数赋值：若手动业务流程存在流程参数，您可在每次执行时通过为流程参数赋值，统一为该业务流程下代码中同名变量赋值。该配置仅在定义了流程参数的情况下会出现。任务执行顺序：任务执行顺序与设置手动任务执行顺序（可选）阶段的说明...
- 产品推荐
- 这些文档可能帮助您