引用SQL组件
您可通过创建数据开发（DataStudio）的SQL组件节点使用组件，基于组件快速新建数据处理节点，提高开发效率。本文为您介绍如何引用组件。前提条件 已准备所需使用的组件，详情请参见 定义SQL组件。已创建SQL组件节点，详情请参见 创建并管理...
引用SQL组件
您可通过创建数据开发（DataStudio）的SQL组件节点使用组件，基于组件快速新建数据处理节点，提高开发效率。本文为您介绍如何创建SQL组件节点并使用组件。前提条件 已准备所需使用的组件，详情请参见 定义SQL组件。已创建SQL组件节点，详情...
查询报错问题
当SQL所需处理单表或者多表join时的结果较大时，计算节点内存会成为系统瓶颈。分析型数据库MySQL版CN节点为避免SQL压垮系统，会进行自我保护，自动将查询消耗内存较大的SQL fail掉，保证其它查询正常。因此当查询分析型数据库MySQL版报错...
管理定时SQL任务
处理数据量 SQL分析相关的数据量。具体说明如下：SQL处理行数：该执行实例在SQL时间窗口内读取到的日志行数。参与计算的数据量。SQL结果行数：该执行实例在执行SQL分析后，分析结果中对应的日志行数。写入目标库（Logstore、MetricStore）...
构建模型
您可以选择数据表关联数据表、数据表关联SQL代码创建表、SQL代码创建表关联数据表和SQL代码创建表关联SQL代码创建表。说明 SQL代码的编辑操作请参见 自定义SQL。数据表关联数据表 在数据集编辑页面，按照下图步骤，拖拽数据表至画布中。...
SQL表达式
JSON数据可以映射为虚拟的表，其中Key对应表的列，Value对应列值，因此可以使用SQL来进行数据处理。数据流转规则的SQL表达示意图如下：数据流转规则SQL示例：处理自定义Topic数据的SQL示例。某环境传感器可以采集温度、湿度及气压数据。...
通过SQL Server Management Studio导入SQL Server...
背景信息 本文中的源数据库和目标数据库均以Windows操作系统云虚拟主机SQL Server 2008数据库为例，其中，源数据库数据以从SQL Server 2008数据库中导出的数据表（SQL脚本类型）为例。导入数据前，请您了解SQL Server数据库的相关基础知识...
步骤二：编写SQL分析语句
背景信息 下列类型的数据存储表可作为SQL分析的查询对象，您可通过SQL分析语句来处理对应表的数据。平台系统表：更多信息，请参见 查看平台系统表。产品存储表：作为查询对象前，需备份数据源。否则，仅可查询30天内的数据。更多信息，请...
SQL Console初体验
创建表的常见问题 Q：若系统执行创建表SQL失败，且提示匹配到的安全规则禁止执行CREATE_TABLE，该如何解决？A：仅安全协同的数据库会出现该提示，请联系管理员或DBA将CREATE_TABLE命令添加至实例关联的安全规则中。在顶部菜单栏中，选择 ...
配置离线数据集成节点
支持前置及后置SQL语句，在导入数据前后实现数据处理。使用限制 系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后，若连续运行失败10次及以上，离线集成任务直接执行失败，且不会...
外部表概述
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
计算费用（按量付费）
大部分的SQL作业有分区过滤和列裁剪，所以通常该值会远小于源表数据大小。分区过滤：例如SQL语句中含有 WHERE ds>20130101，ds 是分区列，则计费的数据量仅包括实际读取的分区，不包括其他分区的数据。列裁剪：例如SQL语句 SELECT f1,f2,f3...
数据准备与预处理
本示例的数据预处理主要包括三个处理流程：将原始数据表中，取值为非数值类型的字段，通过SQL替换为数值类型的取值，以保证此预处理后，表中所有字段的取值都是数值类型。将表中字段转换为double类型，以保证此预处理后，表中字段均满足...
自动SQL限流
当数据库存在突发流量导致SQL并发量急剧上升、部分SQL占用大量数据库资源、或者大量未创建索引的SQL被调用等问题影响正常业务时，需要限制问题SQL的并发度，保障大部分的业务正常运转。数据库自治服务DAS支持自动SQL限流，会自动提取SQL...
自动SQL限流
当数据库存在突发流量导致SQL并发量急剧上升、部分SQL占用大量数据库资源、或者大量未创建索引的SQL被调用等问题影响正常业务时，需要限制问题SQL的并发度，保障大部分的业务正常运转。数据库自治服务DAS支持自动SQL限流，会自动提取SQL...
时序引擎应用开发简介
2.数据建模 针对业务场景进行数据建模，需要确定创建数据库和时序数据表，确定时序数据表的标签、时间戳和量测值，并根据数据特征确定PRIMARY KEY用于数据分片。关于数据模型，请参见 数据模型。时序引擎提供了三种Schema约束策略，分别为...
SQL查询
SQL查询功能适用于在海量数据中进行在线数据访问类型的场景，SQL访问的延时从毫秒、秒到分钟级别不等，包括基于数据表主键的Point Query（GetRow操作）、多元索引的精确查询（TermQuery）等以及通过多元索引的统计聚合能力进行查询，例如...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
SQL查询
SQL查询功能适用于在海量数据中进行在线数据访问类型的场景，SQL访问的延时从毫秒、秒到分钟级别不等，包括基于数据表主键的Point Query（GetRow操作）、多元索引的精确查询（TermQuery）等以及通过多元索引的统计聚合能力进行查询，例如...
实例状态显示“锁定中”时如何解决？
执行以下SQL语句，查看数据库的表大小，确认其中可以删除的历史数据或无用数据。SELECT TABLE_NAME,concat(round((DATA_LENGTH+INDEX_LENGTH)/1024/1024,2),'MB')AS DATA FROM information_schema.TABLES WHERE TABLE_SCHEMA='<数据库名>' ...
SQL查询介绍
物联网存储IoTstore是表格存储基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求推出的一站式物联网解决方案，可为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、...
实例状态显示“锁定中”时如何解决？
执行以下SQL语句，查看数据库的表大小，确认其中可以删除的历史数据或无用数据。SELECT TABLE_NAME,concat(round((DATA_LENGTH+INDEX_LENGTH)/1024/1024,2),'MB')AS DATA FROM information_schema.TABLES WHERE TABLE_SCHEMA='<数据库名>' ...
实例状态显示“锁定中”时如何解决？
执行以下SQL语句，查看数据库的表大小，确认其中可以删除的历史数据或无用数据。SELECT TABLE_NAME,concat(round((DATA_LENGTH+INDEX_LENGTH)/1024/1024,2),'MB')AS DATA FROM information_schema.TABLES WHERE TABLE_SCHEMA='<数据库名>' ...
实例状态显示“锁定中”时如何解决？
执行以下SQL语句，查看数据库的表大小，确认其中可以删除的历史数据或无用数据。SELECT TABLE_NAME,concat(round((DATA_LENGTH+INDEX_LENGTH)/1024/1024,2),'MB')AS DATA FROM information_schema.TABLES WHERE TABLE_SCHEMA='<数据库名>' ...
实例状态显示“锁定中”时如何解决？
执行以下SQL语句，查看数据库的表大小，确认其中可以删除的历史数据或无用数据。SELECT TABLE_NAME,concat(round((DATA_LENGTH+INDEX_LENGTH)/1024/1024,2),'MB')AS DATA FROM information_schema.TABLES WHERE TABLE_SCHEMA='<数据库名>' ...
Kafka实时入湖
数据预处理支持使用Spark SQL函数定义预处理算子，目前支持map与filter两种算子。定义预处理算子需要注意以下几点：第一个预处理算子需要基于Kafka入湖的schema来编写，请参考如上字段列表。每一个预处理算子的处理逻辑可以看作一个SQL的子...
SQL Server节点
背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且安全的数据管理和分析服务。更多介绍请参见 SQL Server。前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体...
DataV读取数据源超时
问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口内部业务调用链路较长。解决方案 执行以下操作，通过优化查询时间的方式进行解决：使用SQL查询的业务数据表数量太大 针对查询条件所使用的字段添加索引，减少扫描行...
SQL Workbench/J连接MaxCompute
MaxCompute支持您通过数据库管理工具SQL Workbench/J访问MaxCompute项目，进行数据管理...查看表数据 创建SQL Workbench/J和MaxCompute数据连接后，SQL Workbench/J会自动跳转到SQL执行界面，您可以直接执行SELECT查询语句查看表数据信息。
某历史养成类游戏开发公司实时计算和数据仓库方案
一站式解决方案：Spark服务原生支持通过SQL读取Lindorm SQL数据能力，具备列裁剪、谓词下推、分区裁剪等优化；高效地把Lindorm SQL在线库的数据ETL后归档到Spark数据仓库；聚焦业务：全托管的Spark服务保证了作业运行的稳定性，释放运维...
外部表常见问题
通过外部表处理OSS数据时，报错Inline data exceeds the maximun allowed size，如何解决？如何在MaxCompute中使用OSS外部表读取JSON数据？如何通过OSS外部表将多个小文件输出为一个文件？性能问题 基于外部表执行SQL作业时，运行慢，如何...
SQL数据类型映射
SQL中所用字段对应于表中同名字段，两者的数据类型必须相匹配。本文介绍了SQL中字段数据类型、数据表中字段数据类型和多元索引中字段数据类型的映射关系。使用SQL过程中请确保SQL中和数据表中字段数据类型相匹配。重要 SQL中主键列的数据...
Insert Into
Insert Into Select 通过SelectDB提供的大量SQL函数、联邦查询能力，Insert Into Select可以对SelectDB内部数据、外部数据湖数据等进行高效的计算处理，然后导入SelectDB的新表中，用来进一步进行数据分析服务。内表数据ETL 如果数据已经在...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
库表结构优化
SQL特征差异 即席查询的SQL变化较大，包括参与JOIN的表个数、JOIN条件、分组聚合的字段个数以及过滤条件等。数据特征差异 用户的数据分布和查询特征会随着业务特征的变化而变化，若一直按照最初的建模方式和SQL语句，将无法保障SQL引擎发挥...
SQL其他常见问题
但您需要注意，MaxCompute支持的DECIMAL类型数据的最大长度为38位，但实际业务处理过程中如果数据存储为最大长度，在数据处理过程中很容易出现数据溢出问题，建议调小数据长度。新创建的MaxCompute项目不支持数据类型自动隐式转换，如何...
配置循环SQL节点
循环SQL节点可循环生成SQL语句，再将其分批提交给DMS管理的任意关系型数据库执行，同时，还可以搭配变量，控制SQL循环次数，达到简化SQL循环逻辑、平衡SQL语句对源库产生压力的目的。本文介绍配置循环SQL节点的操作步骤。背景信息 任务编排...
自建SQL Server迁移至RDS SQL Server
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
DMS数据管理预案助力业务大促
背景信息 大型活动期间，公司业务量可能出现大幅度上涨，数据库的使用与数据安全管理将面临巨大挑战。例如如下场景：临近双十一，数据库即将面临一次访问流量上的大考。筹备业务大促期间，您可评估您现有数据库的使用情况，预估活动期间的...
SQL查询计量计费
SQL语句 涉及资源类型 计量数据测算 SELECT*FROM sample_table WHERE user_id="user1"数据表 查询条件中的列为主键列，表格存储能够直接通过数据表快速查询到对应user_id。消耗的读吞吐量为100行*1 KB/4 KB=25 CU SELECT sum(order_cost)...
- 产品推荐
- 这些文档可能帮助您