通过整库迁移配置集成任务
如：需将字段名 datawork 替换为 dataphin，则待替换字符为 work，替换的字符为 phin。配置完成后单击 保存并执行，对应目标库表 将展示转换后的目标库表名。说明 替换字符及表名前后缀中的英文字符将自动转换为小写。② 来源表 勾选所需...
通过整库迁移配置集成任务
如：需将字段名 datawork 替换为 dataphin，则待替换字符为 work，替换的字符为 phin。配置完成后单击 保存并执行，对应目标库表 将展示转换后的目标库表名。说明 替换字符及表名前后缀中的英文字符将自动转换为小写。② 来源表 勾选所需...
AnalyticDB for MySQL 3.0数据源
否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。说明 当有多条SQL语句时，不支持事务。否 无 batchSize 一次性批量提交的记录数大小，该值...
字符串函数和操作符
单词是由非字母数字字符分隔的字母数字字符序列。initcap('hi THOMAS')→Hi Thomas left(string text,n integer)→text 以字符串返回第一个 n 字符，或在 n 为负时,返回最后|n|个字符之外的全部字符。left('abcde',2)→ab length(text)→...
MariaDB数据源
否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句。例如，加上某一个时间戳 alter table tablename add colname timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE ...
新建普通维度逻辑表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务实体的创建，具体操作请参见 创建并管理业务实体。步骤一：创建普通维度逻辑表 请参见 规范建模入口，进入规范建模页面。按照下图操作指引，进入 ...
新建普通维度逻辑表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务实体的创建，具体操作请参见 创建并管理业务实体。步骤一：创建普通维度逻辑表 在Dataphin首页，单击顶部菜单栏的 研发。默认进入 开发 页面。按照...
新建事实逻辑表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务活动对象的创建，具体操作请参见 创建并管理业务实体。步骤一：创建事实逻辑表 在Dataphin首页，单击顶部菜单栏 研发，默认进入数据开发页面。按照...
新建事实逻辑表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务活动对象的创建，具体操作请参见 创建并管理业务实体。步骤一：创建事实逻辑表 在Dataphin首页，单击顶部菜单栏 研发，默认进入数据开发页面。按照...
DRDS（PolarDB-X）数据源
执行的SQL语句是 replace into，为避免数据重复写入，需要您的表具备主键（Primary Key）或唯一性索引（Unique index）。DRDS（PolarDB-X）Writer通过数据同步框架获取Reader生成的协议数据，通过 replace into（没有遇到主键/唯一性索引...
HybridDB for MySQL数据源
否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与HybridDB for ...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
PolarDB数据源
否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与PolarDB的网络...
内建函数概述
字符串函数 支持处理STRING类型字符串，实现截取字符串、替换字符串、查找字符串、转换大小写、转换字符串格式等业务处理能力。复杂类型函数 支持处理MAP、ARRAY、STRUCT及JSON类型数据，实现去重元素、聚合元素、元素排序、合并元素等业务...
资源函数
例如 update_time_key="key"，key 字段的值出现如下任意情况则被解析为该数据已被删除：Boolean类型：true Datetime、Timestamp类型：非空 Char、Varchar类型：1、true、t、yes、y Int类型：非零 说明 deleted_flag_key 参数必须和 update_...
字符串函数
当您需要对存储在表中的字符串数据进行截取、拼接、转化、比较、搜索等操作，您可以使用MaxCompute支持的字符串函数对指定字符串进行灵活处理。本文为您介绍MaxCompute支持的字符串函数的命令格式、参数说明及示例。MaxCompute SQL支持的...
V5.4.x系列实例版本说明
修复 show stc 指令返回的dbname为空的问题。发布日期：2023-04-28 大版本：V5.4.12 小版本：16826508 类别 说明 缺陷修复 修复多表JOIN没有区分分库键和分表键导致执行计划生成错误的问题。修复部分场景下优化器转化聚合函数时报错的问题...
错误码
不支持的 SQL 语句表达式 检查分布式事务是否支持 SQL 语法。DTX-403 unknown dbType for in select subquery.嵌套子查询不支持 嵌套子查询不支持，请修改 SQL 语法。DTX-404 insert’s duplicateKeyUpdateClauses is not expression....
SELECT语句
Y FORMAT(X,D)Y FROM_BASE64(str)Y HEX(str),HEX(N)Y INSERT(str,x,y,instr)将字符串str从第x位置开始，y个字符长的子串替换为字符串instr，返回结果。Y INSTR(str,substr)Y LCASE(str)将字符串str中所有字符变成小写，并返回结果。LOWER...
离线同步常见问题
脏数据实时场景分析：场景一：报错现象：{"message":"写入 ODPS 目的表时遇到了脏数据:第[3]个字段的数据出现错误，请检查该数据并作出修改或者您可以增大阈值，忽略这条记录.","record":[{"byteSize":0,"index":0,"type":"DATE"},{...
版本发布说明
修复窗口函数中order by和partition by字段为空时，在某些执行模式下执行可能报错的问题。修复查询information schema下的tables视图可能报错的问题。修复修改拆分区列类型时，如果存在大写列名执行会失败问题。修复XRPC下使用流式早停，小...
数据脱敏
配置示例 示例1 将目标字段值中的所有内容替换为字符串，即设置 Method 为 const，Match 为 full。原始日志"password":"123abcdefg"Logtail插件处理配置 {"type":"processor_desensitize","detail":{"SourceKey":"password","Method":...
自然语言到SQL语言转义（基于大语言模型的NL2SQL）
}]说明 当不需要填写模板参数时，您可以将模板参数值设置为以下任意一种形式：NULL 空字符串 空的list字符串[]创建问题模板索引表。创建问题模板索引表的SQL语句如下：/*创建问题模版索引*/*polar4ai*/CREATE TABLE pattern_index(id ...
SelectObject
OutputSerialization 父节点：None Expression 字符串 以Base64 编码的SQL语句 子节点：None 父节点：SelectRequest InputSerialization 容器 输入序列化参数（可选）子节点：CompressionType、CSV、JSON 父节点：SelectRequest ...
函数列表
property为需要获取的属性，可以传入多个property，为空则表示提取所有属性。示例：使用 thingPropertyFlatMap('Power','Position')，将在消息体中添加"Power":"On","Position_latitude":39.9,"Position_longitude":116.38。timestamp...
SQL Server数据源
parameter":{"postSql":[],/执行数据同步任务之后率先执行的SQL语句。datasource":"",/数据源。column":[/字段。id","name"],"table":"",/表名。preSql":[]/执行数据同步任务之前率先执行的SQL语句。},"name":"Writer","category":...
模式匹配
请注意反斜线在串文本里已经有特殊含义了，所以如果你写一个包含反斜线的模式常量，那你就要在 SQL 语句里写两个反斜线。因此，写一个匹配单个反斜线的模式实际上要在语句里写四个反斜线。你可以通过用 ESCAPE 选择一个不同的逃逸字符来...
使用Hint
pg_hint_plan插件可以用Hint来强制干预和调优SQL语句的执行计划，并注册调优后的SQL语句模板和Hint规则，后续遇到相同SQL语句模板（常数参数数值不同，其它值都相同）的SQL语句将自动生成Hint干预调优后的执行计划，从而提高执行效率。...
查询语法
模糊查询 在查询语句中指定一个64个字符以内的词，在词的中间或者末尾加上模糊查询关键字，即星号（*）或问号?日志服务会在所有日志中为您查询到符合条件的100个词，返回包含这100个词并满足查询条件的所有日志。指定的词越精确，查询结果...
PolarDB-X 2.0数据源
否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句。例如，加上某一个时间戳：tablename为表名，colname为列名 alter table tablename add colname timestamp DEFAULT ...
词法结构
如果你需要使用一个反斜线转义来表示一个特殊字符，为该字符串常量写上一个 E。在 standard_conforming_strings 之外，配置参数 escape_string_warning 和 backslash_quote 也决定了如何对待字符串常量中的反斜线。代码零的字符不能出现在...
DM（达梦）数据源
否 无 postSql 执行数据同步任务之后执行的SQL语句，目前只允许执行一条SQL语句，例如加上某一个时间戳。说明 当有多条SQL语句时，不支持事务。否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据集成与DM（达梦）的网络...
管理数据集
else$and order_date is not null/*若条件1和条件2都不满足，则返回表中order_date字段不为空的数据。endif$if、elseif判断逻辑，若满足层级1则直接返回数据；若不满足层级1，则判断是否满足层级2，若满足，则返回数据；若都不满足，则不...
函数列表
函数返回最后一个字段的值，若最后一个字段不存在或值为空，则函数返回值为null。例如 data 中数据："items":{"Humidity":{"value":25,"time":1626948134319 } } 函数示例如下：getOrNull(data,"items")返回字段 items 值"Humidity":{...
创建账号
拥有实例下所有数据库的所有权限。可以断开任意账号的连接。如果创建的高权限账号的账号名与已有的普通账号的账号名相同，则原来的普通账号会被替换为该高权限账号。普通账号 可以通过控制台、API或者SQL语句创建和管理。一个实例可以创建...
创建数据库和账号
特殊字符为!()_+-=确认密码 再次输入密码。备注说明 备注该账号的相关信息，便于后续账号管理。最多支持256个字符。单击 确定。重置高权限账号 如果高权限账号自身出现问题，比如权限被意外回收（REVOKE），您可以通过重置账号权限的方法...
PostgreSQL数据源
postSql":[],/执行数据同步任务之后率先执行的SQL语句。},"name":"Writer","category":"writer"}],"setting":{"errorLimit":{"record":"0"/错误记录数 },"speed":{"throttle":true,/当throttle值为false时，mbps参数不生效，表示不限流；...
AnalyticDB for PostgreSQL数据源
是 无 preSql 执行数据同步任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如清除旧数据。否 无 postSql 执行数据同步任务之后执行的SQL语句。目前向导模式仅允许执行一条SQL语句，脚本...
DB2数据源
否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与Db2的网络交互...
查询语法说明
注意 默认返回结果为1000条，如果返回结果大于1000条，您可以不断地使用游标查询（直到无cursor返回或者返回结果为空），获取剩余的所有数据。游标查询 查询请求 POST/_alisql?pretty {"cursor":"u5HzAgJzY0BEWEYxWlhKNVFXNWtS*"} 参数类型...
- 产品推荐
- 这些文档可能帮助您