通过DataWorks使用Spark Distribution SQL Engine
重要 DataWorks 不支持携带用户名和密码的Spark Distribution SQL Engine，因此在启动Spark Distribution SQL Engine时请勿配置 spark.kubernetes.driverEnv.HIVE_SERVER2_USER 和 spark.kubernetes.driverEnv.HIVE_SERVER2_PASSWORD 参数...
ADAM概览
异构数据库迁移ADAM（Advanced Database&Application Migration）提供数据库平滑迁云解决方案，全面评估上云可行性、成本和云存储选型，内置实施协助、数据迁移、应用迁移等工具，覆盖数据库迁移的全生命周期，帮助企业降低数据库和应用...
基本语句
如果 STRICT 没有在 INTO 子句中被指定，那么 target 将被设置为该查询返回的第一个行，或者在该查询不返回行时设置为空（注意除非使用了 ORDER BY，否则“第一行”的界定并不清楚）。第一行之后的任何结果行都会被抛弃。你可以检查特殊的 ...
RDS PostgreSQL慢SQL问题
在相同业务场景下，架构设计和库表索引设计会影响查询性能，良好的设计可以提高查询性能，反之会出现很多慢SQL（执行时间很长的SQL语句）。本文介绍导致慢SQL的原因和解决方案。查看慢SQL 控制台的 参数设置 中，可以找到名为 log_min_...
配置跨库Spark SQL节点
INSERT INTO mysql_db.dept_sales SELECT dept_name，trade_date,COUNT(*)cnt,SUM(amt)amt FROM mysql_db.sales t1 JOIN oracle_db.users t2 ON t1.emp_id=t2.id WHERE t1.trade_date=${bizdate} GROUP BY t2.dept_name 功能特性 跨库数据...
SQL闪回
背景介绍 PolarDB-X 1.0 SQL闪回针对SQL误操作，提供行级数据的恢复能力。当您在 PolarDB-X 1.0 上执行误操作SQL（如INSERT、UPDATE或DELETE)后，使用SQL闪回，提供相关的误操作SQL信息，即可从BINLOG中找到匹配的事件，生成对应的恢复文件...
常见问题
对于DAS企业版 V1数据总存储时长大于30天的数据库实例，提供异步迁移能力，迁移时长与数据量有关，大约0.2 TB/天，迁移完成后可使用DAS企业版 V3提供的SQL洞察和审计功能。说明 由于迁移存在并发限制，当迁移任务队列拥挤时，预计迁移完成...
使用Copilot+增强分析实现一站式智能数据查询与可视化
在DataWorks的 SQL查询 页面中，默认会创建一个新的SQL查询页面，将上述步骤生成的SQL代码拷贝至该页面。SELECT CASE WHEN CAST(SUBSTR(behavior_time,12)AS BIGINT)>=0 AND CAST(SUBSTR(behavior_time,12)AS BIGINT)点-03点' WHEN CAST...
开发ODPS Script任务
DataWorks为您提供ODPS Script节点，其SQL开发模式是MaxCompute基于2.0的SQL引擎提供的脚本开发模式。本文为您介绍ODPS Script节点的使用。前提条件 已创建ODPS Script节点，详情请参见 创建并管理MaxCompute节点。背景信息 MaxCompute当前...
开发ODPS Script任务
DataWorks为您提供ODPS Script节点，其SQL开发模式是MaxCompute基于2.0的SQL引擎提供的脚本开发模式。本文为您介绍ODPS Script节点的使用。前提条件 已创建ODPS Script节点，详情请参见 创建并管理MaxCompute节点。背景信息 MaxCompute当前...
【活动/调价】SQL洞察和审计价格变更（降价）说明
适用地域 华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）、华北3（张家口）、中国（香港）和新加坡。降价幅度 以华东1（杭州）地域的某一实例为例：重要 计费示例仅供参考，实际费用以账单为准。数据存储时长 数据存储量...
SQL洞察
PolarDB MySQL版 的 SQL洞察 功能已升级为SQL洞察和审计。SQL洞察和审计由数据库自治服务DAS提供，在全量请求和安全审计的基础上，融合了搜索、SQL洞察、安全审计以及流量回放和压测等功能，帮助您更好地获取SQL语句的具体信息、排查各种...
基于Flink+Paimon搭建流式湖仓
'2023-02-15 18:42:56',1),(100004,'user_001',12347,4,2000,'2023-02-15 13:40:56','2023-02-15 18:42:56',1),(100005,'user_002',12348,5,1000,'2023-02-15 12:40:56','2023-02-15 18:42:56',1),(100006,'user_001',12348,1,1000,'2023-...
DescribeSQLLogs-获取SQL执行记录
testadmin 示例 正常返回示例 JSON 格式 {"PageRecordCount":1,"RequestId":"A7941C94-B92F-46A0-BD3E-2D*","PageNumber":1,"Items":[{"OperationClass":"DQL","ExecuteState":"success","ExecuteCost":2,"SQLText":"select 1","SourcePort...
使用Java JDBC接口的应用开发
本文介绍通过Java语言的标准JDBC接口使用SQL开发Lindorm宽表应用的方法和示例。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已将客户端IP地址添加至Lindorm白名单，具体操作请参见 设置白名单。使用限制 本文操作仅适用于Lindorm...
基于Java JDBC接口的应用开发
本文介绍通过Java语言的标准JDBC接口使用SQL开发Lindorm宽表应用的方法和示例。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已将客户端IP地址添加至Lindorm白名单，具体操作请参见 设置白名单。使用限制 本文操作仅适用于Lindorm...
在本地环境上使用PyODPS
PyODPS是阿里云开发的Python SDK，用于在本地环境上使用MaxCompute服务。...python test-pyodps-local.py 运行结果：111 aaa 222 bbb 333 ccc 444 中文 使用open_reader方式读取pyodps_iris表数据：4.9 3.0 4.7 3.2 4.6 3.1
开发及提交SQL脚本
在SQL任务运行前，IntelliJ IDEA会向您提示预估的SQL费用。确认费用后，在 Confirmation 对话框，单击 OK。说明 在工具栏上，单击 图标，可以更新SQL脚本中使用的元数据，例如表、UDF。如果MaxCompute服务端存在表或函数，但MaxCompute ...
DescribeDiagnosisRecords-查询诊断记录
查看目标AnalyticDB MySQL版集群中符合指定检索条件的SQL语句摘要信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
使用前须知
费用说明 CloudLens for RDS中的SQL审计日志采集功能依赖于RDS实例的 SQL审计（PostgreSQL、SQL Server）或 SQL洞察（MySQL）功能。SQL审计或 SQL洞察功能，在RDS产品侧产生相关费用。更多信息，请参见 计费项。说明 三节点企业版（原金融...
更新日志
Visual Studio Code 端插件更新日志 2024-04-17（1.2.10/1.2.11)优化智能问答流式回答流畅性 支持修改插件在本地的存储路径 优化/help 内容 修复缺陷 2024-04-10（1.2.9)选中代码后，支持快捷键触发生成注释、代码优化等操作 修复智能问答...
代码多副本功能
一个程序的代码段第一次被从硬盘读入到内存，加入到Page Cache（文件缓存）中，所在的内存页叫主页。如果内核发现某个程序访问了远端节点上的代码段，就会把这些代码段以页为粒度在本地节点上拷贝一份，那么本地代码段的页就叫副页。使用...
Sql与OpenSearch查询语法的对比
OpenSearch的主战场虽然在“搜索”上，但是对大部分的Sql用法也是有很好的支持的，虽然语法可能不尽相同，但是实现的效果大致一样，因此，下文将一一介绍Sql主流的功能，在OpenSearch里是如何实现的。常见用法对比 大部分的开发者应该对SQL...
创建并管理数据集
YYYY-Q季度（例：2020-01季度）YYYYQ（例：2020Q1）YYYY年第Q季度（例：2020年第1季度）中文YYYY年第Q季度（例：二〇二〇年第一季度）FYYYYY-Q（例：FY2020-Q1）YYYY财年Q（例：2020财年Q1）YYYY财年第Q季度（例：2020财年第一季度）年粒度...
基于Python的应用开发
python(c1 integer,c2 integer,primary key(c1))"print(sql_create_table)statement.execute(sql_create_table)#插入一行数据 sql_upsert="upsert into test_python(c1,c2)values(1,1)"print(sql_upsert)statement.execute(sql_upsert)#...
新建及管理质量规则模板
多表查询 select sum(${t1.c1})from${t1} join${t2} on$[t1.id]=$[t2.id]where$[t1.ds]=${bizdate};自定义数据详情校验：通过自定义SQL指定正常、异常数据内容的定义口径，可配置总行数SQL、异常行数SQL、异常数据SQL。总行数SQL：必填，...
SQL语句示例
DATE)-1 AND 省区='四川' AND QUARTER(日期)IN(2,3))AS subquery 同比 当前周期相对于历史同一时间段的数据变化情况 经销商"毛龙"今年第一季度的销售总额同比增长了多少？SELECT(Q1_sales_this_year-Q1_sales_last_year)/Q1_sales_last_...
DescribeSQLLogsV2-查询SQL执行记录
调用DescribeSQLLogs接口查询指定时间段的SQL执行记录。接口说明 该接口不支持实例资源类型为存储预留模式的实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK...
SQL其他常见问题
如果运行SQL，Filename文件的第一行是 SQL 表示已经进入SQL模式。命令示例如下。SQL select.from table_name where xxx;如果只运行一个SQL语句，您可以使用MaxCompute SQL中的 sqltext 方法，命令示例如下。odpscmd-e"select*from dual;您...
构建模型
您可以选择数据表关联数据表、数据表关联SQL代码创建表、SQL代码创建表关联数据表和SQL代码创建表关联SQL代码创建表。说明 SQL代码的编辑操作请参见 自定义SQL。数据表关联数据表 在数据集编辑页面，按照下图步骤，拖拽数据表至画布中。...
DownloadDiagnosisRecords-下载诊断记录
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
导入数据
说明 保证整体SQL事务指执行的所有SQL中，如果有一条SQL执行失败，则全部的SQL都会被取消执行资格，并回滚到执行前的状态。操作步骤 如下以安全协同管控模式的数据库操作举例。登录 数据管理DMS 5.0。在首页左侧的数据库实例列表中，找到...
MaxCompute分区表数据导入
向分区写入数据 INSERT OVERWRITE TABLE odps_sale_detail PARTITION(sale_date='20210815')VALUES('s1','c1',100.1),('s2','c2',100.2),('s3','c3',100.3);向源表增加分区20210816 ALTER TABLE odps_sale_detail ADD IF NOT EXISTS ...
Flink
Append模式要求第一列数据类型是TIMESTAMP，代码中的 start_time 就是TIMESTAMP类型。flink.ssql(type=append,parallelism=1,refreshInterval=2000,threshold=60000)select TUMBLE_START(event_ts,INTERVAL '5' SECOND)as start_time,...
Spark-2.x示例
本文为您介绍Spark-2.x依赖的配置以及Spark-2.x示例说明。配置Spark-2.x的依赖 通过MaxCompute提供的Spark客户端提交应用时，需要在 pom.xml 文件中添加以下依赖。pom.xml 文件请参见 pom.xml。spark.version>2.3.0</spark....
Sql与OpenSearch查询语法的对比
OpenSearch的主战场虽然在“搜索”上，但是对大部分的Sql用法也是有很好的支持的，虽然语法可能不尽相同，但是实现的效果大致一样，因此，下文将一一介绍Sql主流的功能，在OpenSearch里是如何实现的。常见用法对比 大部分的开发者应该对SQL...
【新功能/规格】2023年11月23日起RDS SQL Server基础...
Web版 共享型（基础系列）规格代码 CPU和内存 每月单价 对比独享入门型 规格代码 每月单价 月付下降比例 mssql.share1.medium.w1 2核 2GB 54-mssql.share2.medium.w1 2核 4GB 130 mssql.u2.medium.w1 187 30%mssql.share4.medium.w1 2核 8...
Java UDF最佳实践
为了满足复杂的数据开发场景，Dataphin智能研发版支持自定义Java UDF函数。本教程以Java自带函数（toLowerCase）为例，为您介绍如何基于Dataphin自定义Java UDF函数。...如果开发模式是Basic模式，则提交成功的SQL任务，即可进入生产环境。
稀疏备份
RDS SQL Server在常规备份能力的基础上支持稀疏备份。您可更灵活地设置备份策略并保留最少的备份集。该功能在有效缩短备份集恢复时间的同时，降低了备份集存储成本。本文介绍配置稀疏备份的方法。常规备份与稀疏备份的区别 对比项 常规备份...
PolarDB for PostgreSQL 11
pgbench是一种在PostgreSQL上运行基准测试的简单程序，它可以在并发的数据库会话中重复运行相同的SQL命令。本文介绍如何使用pgbench测试 PolarDB PostgreSQL版 集群的最大性能。测试环境 所有测试均在华北1（青岛）地域完成，PolarDB 集群...
- 产品推荐
- 这些文档可能帮助您