设置白名单规则
由于实际业务中使用的SQL语句可能会很多，单个SQL语句录入会相当耗时，为了提升工作效率和使用体验。Proxy提供了以下三种白名单模式：训练模式：Proxy只收集SQL语句，而不进行SQL语句拦截和报警。检验模式：检测到不包含在白名单中的SQL...
SQL错误码（ODPS-01CCCCX）
FAILED:ODPS-0130071:[1,8]Semantic analysis exception-function or view 'row_number' cannot be resolved 产生原因：SQL语句中使用的内建函数名称有误或者未携带参数，导致MaxCompute处理失败。解决措施：检查函数名称和参数名称，并...
概述
使用列存索引（IMCI）查询复杂的SQL语句时，需要列存索引覆盖SQL语句中使用到的所有列。PolarDB MySQL版 内置了一系列存储过程，您可以使用这些存储过程获取SQL语句中未被索引覆盖的列名，同时可以获取创建列存索引的DDL语句。本文介绍了 ...
2020年
本文为您介绍了MaxCompute 2020年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。2020年12月更新记录 时间 特性 类别 描述 产品文档 2020-12-28 新增Streaming Tunnel服务。...
MaxCompute UDF（Python）常见问题
在SQL语句中使用内建函数 is_encoding 提前过滤掉非UTF-8编码的数据。代码示例如下。select py_udf(input_col)from example_table where is_encoding(input_col,'utf-8','utf-8')=true;将Python代码中的函数签名输入参数类型修改为BINARY，...
设置黑名单规则
表示该规则对该集群中使用特定函数之外的函数，且引用指定列名之外的列名的SQL语句生效。关闭：不拦截含有特定函数且引用特定列名的SQL语句。规则设置完成后，单击 确定。用户自定义SQL参数化模式。选择新建 用户自定义SQL参数化模式 时，...
新建存储过程
存储过程旨在完成特定功能的 SQL 语句集，经编译创建并保存在数据库中，用户可以通过指定存储过程名并指定所需参数来调用执行，利用存储过程可以加速 SQL 语句的执行。新建存储过程，即由用户创建并能够完成某一特定功能的存储过程，存储...
内建函数概述
数学函数 MaxCompute SQL提供了如下数学函数供您在开发过程中使用，您可以根据实际需要选择合适的数学函数，进行数据计算、数据转换相关操作。说明 取余数计算等更多计算请参见 算术运算符。函数 功能 ABS 计算绝对值。ACOS 计算反余弦值。...
数据开发功能索引
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模...
2021年
2021-08-31 全部地域 复杂类型函数 日期与时间函数 字符串函数 数学函数 其他函数 MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化 自2021年8月10日起，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测，开始正式计费。...
并行操作
适用场景 SQL语句并行执行非常适合在大量的raster对象中过滤出符合空间范围要求或属性要求的raster对象，能够极大地降低查询时间。适用范围 所有Ganos Raster的只读函数（例如属性查询）都支持并行查询。并行操作Raster对象 原理 通常情况...
并行操作
适用场景 SQL语句并行执行非常适合在大量的raster对象中过滤出符合空间范围要求或属性要求的raster对象，能够极大地降低查询时间。适用范围 所有Ganos Raster的只读函数（例如属性查询）都支持并行查询。并行操作Raster对象 原理 通常情况...
SQL查询常见错误排查
本文介绍使用SQL查询时的常见错误处理方法，主要包括OTSUnsupportOperation、OTSQuotaExhausted、OTSParameterInvalid和OtsRequestTimeout四种类型的错误。错误码 错误信息 描述 解决办法 OTSUnsupportOperation Operation not supported ...
并行操作
适用场景 SQL语句并行执行非常适合在大量的raster对象中过滤出符合空间范围要求或属性要求的raster对象，能够极大地降低查询时间。适用范围 所有Ganos Raster的只读函数（例如属性查询）都支持并行查询。并行操作Raster对象 原理 通常情况...
公告
本文为您提供关于MaxCompute使用功能的各项更新记录。DataWorks独享资源组PyODPS节点升级公告 尊敬的MaxCompute用户：DataWorks将于北京时间 2024年03月11日（周一）至 2024年04月25日（周四）期间，逐步升级各个地域的独享资源组，以增强...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
概述 相较于 PolarDB PostgreSQL版（兼容Oracle）1.0版本，PolarDB PostgreSQL版（兼容Oracle）2.0版本基于新的兼容性架构，以兼容Oracle语法为基准进行开发。PolarDB PostgreSQL版（兼容Oracle）2.0版本对PostgreSQL在分布式负载前提下的...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
2021年
更新说明 补充SQL语句使用过程中的常见问题。SQL常见问题 2021年3月更新记录 时间 特性 类别 描述 产品文档 2021-03-25 补全MaxCompute错误码列表信息。更新说明 完善MaxCompute错误码列表。错误码概述 Common错误码（ODPS-00CCCCX）SQL...
公共节点
Hologres Hologres节点运行于Hologres云计算资源之上，您可使用标准的SQL语句查询处理MaxCompute和Hologres中的海量数据，具体操作，请参见 新建Hologres类型的公共节点。AnalyticDB PostgreSQL AnalyticDB PostgreSQL节点运行于AnalyticDB...
功能发布记录
优化复杂函数中带有Filter的运算行为，通过调整多个Filter的顺序，减少数据计算量，提升查询效率。推出Serverless Computing，可以将指定的数据导入或ETL等长周期作业运行在共享的Serverless资源池中，减少实例内部的任务竞争和相互干扰，...
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
DataWorks V2.0
既可以作为一个单独标签存在并管理所有函数，也可以作为业务流程中的一个子标签，仅管理该业务流程中所需使用的函数。表查询 整体功能 展示该MaxCompute项目下的所有表，同时能够预览内容、引用表名。相同。表管理（新增）整体功能 无 供...
错误码
建议优化SQL语句，以及在后端数据节点上创建适合的索引以提升SQL语句的执行性能。如果优化后的SQL语句仍然较慢，可以参见如下Hint语法临时设置 PolarDB-X 的超时时间：/*TDDL:SOCKET_TIMEOUT=900000*/SELECT*FROM dual;其中SOCKET_TIMEOUT...
SET
说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在设置该配置项的时候，SQL语句中应避免使用Limit。单位MB，默认值为256 MB。odps.stage.reducer.num 修改每个Reduce阶段的Worker数量。说明 SQL语句中使用Limit，会限制...
数据开发与运行
本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包？如何在节点内使用资源？如何下载上传到DataWorks的资源？超过30M的资源如何上传？通过odpscmd上传的资源如何在DataWorks上使用？在DataWorks如何上传自己本地编写的jar并...
操作流程
自定义函数 流程图 流程说明 操作 说明 新建函数资源 通过上传资源包的方式新建函数资源，为自定义函数中所使用的代码包做准备。具体操作，请参见 新建函数资源。新建自定义函数 通过新建自定义函数，并与公共计算节点相关联，便于快速对...
操作流程
自定义函数 流程图 流程说明 操作 说明 新建函数资源 通过上传资源包的方式新建函数资源，为自定义函数中所使用的代码包做准备。具体操作，请参见 新建函数资源。新建自定义函数 通过新建自定义函数，并与公共计算节点相关联，便于快速对...
SETPROJECT
创建MaxCompute项目空间后，您需要进入项目空间才可以执行后续开发、分析、运维等一系列操作。工具平台 本文中的命令您可以在 MaxCompute客户端、云命令行（odpscmd）或 DataWorks的ODPS SQL节点 中执行。注意事项 项目空间非工作空间。...
Flag参数列表
您可在参数列表页面搜索参数，查看参数的影响范围、属性名称和属性描述。分类 影响范围 属性名称 属性描述 取值范围 主要影响的SQL命令和函数 生态 Session console.sql.result.instancetunnel InstanceTunnel开关。关于Tunnel命令的更多...
配置SQL审核优化建议
DMS的安全规则中新接入了SQL审核优化建议，在SQLConsole或数据变更中，对提交的SQL语句进行规范审核并提出相关优化建议。可协助您在提交变更操作前审核、解决问题SQL，规避潜在问题SQL在变更到数据库后产生异常。前提条件 您的系统角色为 ...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
新建MaxCompute SQL类型的公共节点
MaxCompute SQL节点是离线节点，运行于MaxCompute类型的云计算资源之上，可通过输入SQL语句处理MaxCompute类型的数据源。本文介绍如何新建MaxCompute SQL类型的公共节点。前提条件 已新建MaxCompute类型的云计算资源，具体操作，请参见 ...
新建MaxCompute SQL类型的公共节点
MaxCompute SQL节点是离线节点，运行于MaxCompute类型的云计算资源之上，可通过输入SQL语句处理MaxCompute类型的数据源。本文介绍如何新建MaxCompute SQL类型的公共节点。前提条件 已新建MaxCompute类型的云计算资源，具体操作，请参见 ...
MaxCompute UDF概述
UDF（User-Defined Function）即自定义函数，当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文中的开发流程及使用示例，自行编写代码逻辑创建自定义函数，以满足多样化业务需求。背景信息 广义的UDF定义是 自定义标量...
新建Flink SQL类型的公共节点
（可选）当需要在SQL中使用自定义函数时，单击 引用函数 页签，在自定义函数列表找到需要的自定义函数，再返回编辑页面输入。若函数列表为空，则需要先新建函数，更多操作请参见 新建自定义函数。在 确认节点信息 对话框中，确认节点标识、...
2020年
2020-04-23 全部区域 Policy权限控制 限制单SQL消费 MaxCompute支持监控单个SQL语句的消费，在SQL语句执行前先预估SQL语句的消费，预防单个SQL语句产生意料之外的高额费用。2020-04-14 全部区域 消费监控告警 升级MaxCompute管家 ...
新建Flink Vvp SQL类型的公共节点
Flink Vvp SQL公共节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义开发的公共节点。操作步骤 方式一：写SQL语句方式 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，...
时序引擎版本说明
功能优化 修复SQL子查询语句中包含时序过滤属性的聚合结果未出现在父查询中时，查询失败的问题。修复查询内存释放问题。修复分区的TTL参数值被删除时元数据持久化的问题。实例默认开启tsproxy健康检查。实例默认开启慢查询管理。优化读写...
自建Apache RocketMQ触发器
当Apache RocketMQ中有消息入队时，将会触发函数计算执行，触发时会根据您的攒批配置将一个或多个消息事件以批的形式推送到函数中进行处理。前提条件 事件总线EventBridge 开通事件总线EventBridge并授权 函数计算 创建函数 Apache ...
常见错误码参考
使用Lindorm SQL访问宽表引擎或时序引擎遇到异常时，系统会以错误码的形式将异常或程序错误返回给开发人员。您可以在本文的表格中搜索报错返回的错误编号，快速查找具体的错误信息及处理建议。常见错误 下表中的错误码与MySQL中的部分服务...
- 产品推荐
- 这些文档可能帮助您