查询管理SQL
单击右上角的，导出经过过滤的慢SQL数据。管理正在运行的SQL 云数据库ClickHouse 可以通过控制台将当前运行中的SQL进行实时展现，同时，您也可以选择终止选定的SQL，达到临时释放资源的目的。使用阿里云账号登录 云数据库ClickHouse控制台...
查询并下载数据
根据项目的计算源或数据库SQL类型，编写查询数据的代码，单击 运行。如下图所示：查询语句执行成功后，可以在 结果 页签查看数据。下载结果数据 查询语句执行成功后，按照下图操作指引，可下载查询到的结果数据。支持完整数据下载或样例...
计算任务概述
Dataphin的计算任务页面支持创建多种类型的计算任务，包括SHELL、PYTHON、数据库SQL、VIRTUAL以及基于计算引擎的SQL和MapReduce（MR）等任务。本文将为您介绍计算任务页面及支持的管理功能。计算任务页面概述 计算任务页面主要由计算任务...
计算任务概述
Dataphin的计算任务页面支持创建多种类型的计算任务，包括SHELL、PYTHON、数据库SQL、VIRTUAL以及基于计算引擎的SQL和MapReduce（MR）等任务。本文将为您介绍计算任务页面及支持的管理功能。计算任务页面概述 计算任务页面主要由计算任务...
MaxCompute后付费消费突增排查
说明 一次SQL计算费用=计算输入数据量×SQL复杂度×单价（0.3元/GB）。示例中的 task_type='SQL' 表示SQL作业；task_type='SQLRT' 表示SQL查询加速作业。查看消费较高SQL作业的 SKYNET_ID（DataWorks调度任务ID）。如果有ID，请在DataWorks...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
计算与分析概述
表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...
Kyuubi概述
使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...
SQL窗口-关系型数据库
SQL窗口模块检测点 检测点 规则说明 基础配置项 规则集的基础配置，包括单次查询最大返回行数、结果集是否支持编辑、是否允许对敏感数据进行计算等。SQL执行数量规范 控制单次提交SQL的个数。DQL SQL规范 增加执行DQL SQL类型的限制。其他...
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
查询并下载数据
根据项目的计算源或数据库SQL类型，编写查询数据的代码，单击 运行。如下图所示：查询语句执行成功后，可以在 结果 页签查看数据。下载结果数据 查询语句执行成功后，按照下图操作指引，可下载查询到的结果数据。支持完整数据下载或样例...
RDS SQL Server云数据库的磁盘空间被占满
您可参考本文操作解决RDS SQL Server数据库的磁盘空间被占满的情况。说明 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据...
SQL查询计量计费
不同的SQL复杂度涉及到的数据查询与扫描会有较大差别，请避免使用涉及全表扫描的SQL语句，且尽量与索引配合来最大化使用资源。计费项 计费项 计费方式 描述 按量读吞吐量 按量付费 资源包 单条SQL读吞吐量是执行该SQL时调用表与索引所产生...
产品优势
AnalyticDB MySQL版 提供融合数据库、大数据技术于一体的云原生企业级数据仓库服务，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建...
从自建SQL Server增量迁移至RDS SQL Server
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
2.0版SQL开发规范
分布式计算，本地计算&并行计算 大数据计算情况下，本地计算时充分利用分布式多计算资源的能力，避免数据跨节点。高QPS，分区裁剪 业务系统要求高QPS、毫秒级RT时，表和SQL必须设计为分区裁剪模式。常见SQL优化细节 去掉不必要的列 云原生...
数据查询最佳实践
分布式计算，本地计算&并行计算 大数据计算情况下，本地计算时充分利用分布式多计算资源的能力，避免数据跨节点。高QPS，分区裁剪 业务系统要求高QPS、毫秒级RT时，表和SQL必须设计为分区裁剪模式。SQL优化技巧 去掉不必要的列 云原生数据...
SQL查询介绍
常见问题 使用SQL查询数据时如何选择查询方式 SQL查询常见错误排查 使用SQL查询数据时报错The sql scanned rows of main table exceeds the quota,main table rows quota is 100000 相关文档 如果要加速SQL数据查询和计算，您可以通过创建...
SQL Review
SQL Review功能提供全局SQL负载分析能力（包括SQL样本、平均执行耗时，耗时比例，执行次数比例，平均扫描行数，总执行次数，首次出现时间等内容的分析），辅助用户快速定位到数据库实例中的可疑SQL（资源消耗过大、趋势变化过大、性能恶化...
通过DataWorks管理作业
Lindorm计算引擎兼容CDH（Cloudera's Distribution Including Apache Hadoop），支持通过大数据开发治理平台DataWorks开发、管理、调度、运维分布式计算作业。作业类型包括交互式SQL查询、SQL作业、JAR作业、Python作业等。本文介绍如何...
SQL处理优化
为了方便用户操作Transactional Table 2.0，MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持，并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍...
SQL闪回
获取误操作SQL数据中的 sql_time、table_name、sql_type 和 trace_id 字段。精确匹配与模糊匹配 SQL闪回根据您提供的误操作SQL信息，在Binlog中查找对应的匹配事件，反向生成对应的恢复SQL。受实例版本、参数设置的影响，SQL闪回支持两种...
SQL闪回
获取误操作SQL数据中的 sql_time、table_name、sql_type 和 trace_id 字段。开启精确匹配 前提条件：您的 PolarDB-X 1.0 实例版本需为5.3.4-15378085及以上，如果低于该版本，建议升级后开启。登录 PolarDB分布式版控制台，前往指定实例的...
数据集成支持的数据源
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至...
时序引擎应用开发简介
2.数据建模 针对业务场景进行数据建模，需要确定创建数据库和时序数据表，确定时序数据表的标签、时间戳和量测值，并根据数据特征确定PRIMARY KEY用于数据分片。关于数据模型，请参见 数据模型。时序引擎提供了三种Schema约束策略，分别为...
Spark SQL执行方式
适用场景 临时进行数据计算，无需返回所有数据。需要执行大量的DDL语句。希望在提交DQL语句后，可以立即开始执行，且对资源隔离不敏感，能允许一定的失败。特点 同一个资源组中的SQL由共享的ThriftServer引擎执行，并返回1000条结果到控制...
概述
配置跨库Spark SQL节点 Lindorm Spark 通过Lindorm计算引擎高效地完成分布式计算任务，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。配置Lindorm Spark节点 ADB Spark 支持周期性、有顺序地调度Spark作业。配置...
Transaction Table2.0概述
同样可提供离线&近实时增量处理一体化解决方案，在保持经济高效的批处理优势下，同时具备分钟级的增量数据读写和处理的业务需求，另外，可提供Upsert，Timetravel等一系列实用功能来扩展业务场景，可有效地节省数据计算，存储和迁移成本，...
公告
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
查询账单
当 产品明细 为 DAS企业版 时，表示使用DAS企业版 V1和企业版 V0：在 计费项 为 SQL数据量 的消费明细中，查看SQL洞察和审计占用的存储空间及计费情况。在 计费项 为 版本 的消费明细中，查看DAS专业版的包年包月费用。当 产品明细 为 数据...
某历史养成类游戏开发公司实时计算和数据仓库方案
一站式解决方案：Spark服务原生支持通过SQL读取Lindorm SQL数据能力，具备列裁剪、谓词下推、分区裁剪等优化；高效地把Lindorm SQL在线库的数据ETL后归档到Spark数据仓库；聚焦业务：全托管的Spark服务保证了作业运行的稳定性，释放运维...
2023年
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
使用DataWorks连接
DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定计算引擎后，您即可在DataWorks上创建对应引擎...
常见问题
MaxCompute支持多种计算模型数据通道，满足多场景需求。所以您只需要会使用SQL、Python、Java等开发语言就可以使用MaxCompute进行数据分析。如何理解开源与云原生的大数据技术与产品？推荐您阅读 从开源到云原生，你不得不知的大数据实战。...
快速入门
本文介绍如何快速通过Lindorm计算引擎使用SQL语言进行数据读写。前提条件 已开通Lindorm宽表引擎。具体操作，请参见 创建实例。已开通Lindorm计算引擎。具体操作，请参见 开通与变配。已将客户端IP地址添加至Lindorm白名单。具体操作，请...
SET
某些UDF在内存计算、排序的数据量比较大时，会报内存溢出错误，这时候可以调大该参数，但该方法只能暂时缓解，您需要从业务上去优化UDF代码。取值范围：256 MB~12288 MB。默认值为1024 MB。odps.sql.udf.timeout 设置UDF超时时间。取值范围...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
安全联合分析TrustDA/MPCSQL
3、大数据场景优化 对大数据场景下的分布式数据分析，进行了优化升级，可支持小时级10亿级数据的多方联合SQL分析，支持ODPS/FLINK计算引擎，支持常用JDBC/文件常用数据源。五、如何进行联合分析 步骤一：打开【通用计算-合作数据】设置字段...
Flag参数列表
部分UDF在内存计算、排序的数据量比较大时，会报内存溢出错误，这时候可以调大该参数，但该方法只能暂时缓解，您需要从业务上去优化UDF代码。取值范围：256 MiB~12288 MiB。默认值为1024 MiB。UDF SQL Session odps.sql.udf.timeout 设置...
- 产品推荐
- 这些文档可能帮助您