可选：运维SQL分析任务
SQL分析任务上线后，您可以查看SQL分析任务的基本信息和配置情况，以及SQL分析任务的调度情况。本文介绍运维SQL分析任务的操作步骤。前提条件 已配置并发布SQL分析任务，具体操作，请参见 步骤三：设置任务调度策略并发布。背景信息 SQL...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
存储过程
设置数据库在线 数据库全局授权 删除数据库 设置更改跟踪 开启数据库变更捕获 关闭数据库变更捕获 配置实例参数 增加链接服务器Linked Server 设置跟踪标志 更改数据库的名称 Server级别角色授予 关于SQL Server存储过程的更多介绍，请参见...
步骤三：设置任务调度策略并发布
数据写入策略 SQL分析任务在调度生产数据过程中，写入数据时的策略。根据选择的自定义存储表类型，自动选中对应策略，不支持修改。分区表 和 时序表 使用 分区覆盖：每次任务重跑后，会覆盖掉整个分区的数据。事务表 使用 主键覆盖：每次...
体验智能SQL转换领航助手（Migration on Pilot）
例如，基于上述返回的目标数据库SQL示例中，您可以输入 请帮我改成存储过程，然后观察进一步的改造结果：CREATE OR REPLACE PROCEDURE SHOPTEST.GET_TAB_PTF(p_rows IN NUMBER)AS TYPE tab_t IS TABLE OF t_tf_row INDEX BY PLS_INTEGER;...
体验智能SQL转换领航助手（Migration on Pilot）
例如，基于上述返回的目标数据库SQL示例中，您可以输入 请帮我改成存储过程，然后观察进一步的改造结果：CREATE OR REPLACE PROCEDURE SHOPTEST.GET_TAB_PTF(p_rows IN NUMBER)AS TYPE tab_t IS TABLE OF t_tf_row INDEX BY PLS_INTEGER;...
时序模型计量计费
重要 写入数据大小不足1 KB的部分向上取整为1 KB，读取数据大小不足4 KB的部分向上取整为4 KB。时间线元数据 数据存储 按量付费 资源包 按照高性能存储计费。时间线元数据存储时会有额外的索引存储，目前单条时间线元数据的大小均按照4 KB...
功能发布记录
2022-03-18 华东1（杭州）、华东2（上海）、华北2（北京）数据备份概述 备份Tablestore数据 恢复Tablestore数据 SQL查询优化 支持通过多元索引查询匹配指定字符串的数据，实现全文检索。2022-03-09 华东1（杭州）、华东2（上海）、华北2...
创建Microsoft SQL Server数据源
通过创建Microsoft SQL Server数据源能够实现Dataphin读取Microsoft SQL Server的业务数据或向Microsoft SQL Server写入数据。本文为您介绍如何创建Microsoft SQL Server数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，...
dbms_sql.flush_trace
存储过程 dbms_sql.flush_trace 用于清理 information_schema.sql_sharing 系统表中的所有SQL Trace统计信息和跟踪记录。语法 dbms_sql.flush_trace()示例 清理 information_schema.sql_sharing 系统表中的所有SQL Trace统计信息和跟踪记录...
读取优化
Short-Circuit Local Read（已经默认开启）当前HDFS读取数据需要经过DataNode，开启Short-Circuit Local Read后，客户端可以直接读取本地数据。Hedged Read（已经默认开启）优先会通过Short-Circuit Local Read功能尝试本地读。但是在某些...
读写Elasticsearch数据
云原生数据湖分析DLA（Data Lake Analytics）中支持接入Elasticsearch，通过标准SQL语句读取Elasticsearch中的数据，从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。本文档主要介绍了DLA读写Elasticsearch数据的操作...
产品概述
主要功能 易适配，免调优 支持SQL 2003，部分兼容Oracle语法，支持PL/SQL存储过程。新一代SQL优化器，实现复杂分析语句免调优。PB级数据秒级分析 MPP水平扩展架构，支持PB级数据查询秒级响应。向量化计算及列存储智能索引，相比较传统数据...
步骤一：创建SQL分析任务
数据写入策略：SQL分析任务在调度生产数据过程中，写入数据时的策略，默认 主键覆盖，不支持修改。主键：数据的主键字段，显示自定义存储表的主键字段。调度策略生效日期：调度SQL分析任务的时间范围。调度周期：调度SQL分析任务的频率。...
读取数据
重要 如果未记录自增主键列的值，您可以使用范围读取数据按照第一个主键列确定范围读取数据。读取单行数据 调用 GetRow 接口读取一行数据。适用于能确定完整主键且要读取行数较少的场景。读取单行数据时，您可以配置如下条件过滤所需数据。...
MaxCompute账单用量明细分析
SQL读取量_访问OTS（Byte）、SQL读取量_访问OSS（Byte）：外部表实施收费后的读取数据量，单位为Byte。计算资源规格（按量付费）：计量信息所属项目的计算资源规格，若值为 OdpsStandard 或 NULL，则表示按量付费标准版，详情请参见 按量...
计算与分析概述
表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...
Spark SQL、Dataset和DataFrame基础操作
Spark SQL可以用于执行SQL查询并从Hive表中读取数据。Dataset是数据的分布式集合。Dataset是Spark 1.6中添加的一个新接口，它集成了RDD和Spark SQL的优点，可以从JVM对象构造数据集，然后使用函数转换（Map、FlatMap或Filter等）进行操作。...
常见问题
Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？写入OSS出现随机字符串如何去除？MySQL分库分表如何将分表同步到一张MaxCompute中。数据同步任务where条件没有索引，导致全表扫描同步变慢。目的端...
管理日志
示例1：返回所有的错误日志 EXEC sp_rds_read_error_logs-示例2：从第0行开始返回包含关键字error的错误日志的第1行数据 EXEC sp_rds_read_error_logs 0,1,'error' 使用存储过程 sp_readerrorlog 读取错误日志，适用于SQL Server 2017及...
管理定时SQL任务
您可以在定时SQL的管理页面进行查看定时SQL任务基础信息、查看执行实例、重试、修改或删除定时SQL任务等操作。前提条件 已创建定时SQL任务。具体操作，请参见 从Logstore到Logstore、从Logstore到MetricStore 或 从MetricStore到...
归档直读
归档直读是指在对象存储OSS中，直接访问归档存储类型的文件，而无需先对其解冻。归档直读适用于实时读取极低频访问数据的场景。本文介绍如何开启并使用归档直读。前提条件 已创建有地域属性的Bucket。具体操作，请参见 创建存储空间。RAM...
什么是表格存储
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 表格存储 前，您需要了解以下基本概念。术语 说明 地域 地域...
概述
无 通用 单实例SQL赋值 将SELECT语句读取的数据赋值给输出变量，输出变量可以在下一节点中被使用。配置SQL赋值节点 条件分支 条件分支节点可用于在任务流中进行条件判断。执行任务流时，如果条件分支节点的条件表达式判断结果为True，执行...
TOP Objects
数据库自治服务DAS 为 RDS SQL Server 提供实TOP Objects查询功能，查看数据库实例中对象级别（存储过程、函数、触发器等）的性能开销。前提条件 当前不支持 RDS SQL Server 2008 R2云盘版。操作步骤 登录 DAS控制台。在左侧导航栏中，单击...
SQL组件概述
组件是一种带有多个输入参数和输出参数的SQL代码过程模板，而SQL代码过程可通过引入一个或多个源数据表，并进行过滤、连接、聚合等操作，加工出业务所需的目标表，因此，您可通过组件快速加工出符合业务需求的目标表。本文为您介绍组件的...
DescribeSQLPlan-查询基础信息和计划信息
5984 ScanTimeMax long 带数据扫描算子的阶段在各个存储节点读取数据耗时的最大值，单位为毫秒（ms）。0 InputSizeMax long 阶段在各个计算节点的输入数据量的最大值，单位为 Byte。173 StageId integer 阶段 ID。1 ScanSizeMax long 带...
DBMS_RLS
object name,policy name,function schema,policy function[,statement types[,update check[,enable[,static policy[,policy type[,long predicate[,sec relevant cols[,sec relevant cols opt]]]]]]]])存储过程 N/A 向数据库对象添加安全...
快速入门
PyODPS可在DataWorks等数据开发平台中作为数据开发节点调用。这些平台提供了PyODPS运行环境和调度执行的能力，无需您手动创建ODPS入口对象。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API...
SQL脚本
SQL脚本是自定义SQL组件，您可以通过SQL脚本编辑器编写SQL语句，并提交至MaxCompute执行。本文为您介绍SQL脚本的组件配置和使用场景。组件配置 Designer 仅支持通过可视化方式，配置SQL脚本组件的参数，组件参数配置如下所示。参数 描述 ...
dbms_sql.delete_trace
当 loose_sql_trace_type 参数设置为DEMAND时，您可以使用 dbms_sql.delete_trace 存储过程来删除不需要SQL Trace跟踪的SQL语句。语法 dbms_sql.delete_trace('<schema>','<query>')说明 执行该存储过程后，SQL语句中的常量会被自动模板化...
RDS SQL Server空间不足问题
压缩数据 SQL Server 2016及以上版本实例，或2016以下的企业版实例，内置数据压缩功能，您可以在单个表、索引或分区上开启压缩功能，包括行压缩和页压缩。更多信息，请参见 Data Compression。数据压缩比由表结构、列的数据类型和数值分布...
什么是云数据库HBase
使用场景 云数据库HBase全面提供海量半结构/非结构化数据下的实时存储、高并发吞吐、轻SQL分析（参见 云原生多模数据库Lindorm）、全文检索（参见Lindorm产品）等能力，结合完备的工具服务，丰富的生态融合，一站式高效满足企业在大数据量...
创建MySQL表并读取数据
本文介绍如何在DLA中创建MySQL表并读取数据。登录 DLA控制台。单击左侧导航栏的 SQL访问点，然后单击 登录DMS，在DLA中创建如下表所示的MySQL表。CREATE EXTERNAL TABLE hello_mysql_vpc_rds.tbl_person(id int,name varchar(1023),age int...
ModifyDatabaseConfig-修改数据库属性
rds_update_db_stats 1 否 所有版本适用 更新数据库中的统计信息，底层使用 SQL Server 自带存储过程 sp_updatestats。rds_rebuild_db_index 1 否 所有版本适用 重新数据库中的所有碎片率大于 50%的非聚集索引，需要满足下述条件：数据库...
外部表常见问题
在读取数据过程中执行缓慢。产生原因 由于Map端执行计算的Mapper数量过少，所以SQL处理慢。解决措施 对于结构化数据，您可以设置以下参数调整单个Mapper读取数据量的大小，加速SQL执行。set odps.sql.mapper.split.size=256;调整每个Mapper...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
读取OSS数据
如果直接使用OSS外部表，每次读取数据都涉及OSS的I/O操作，且MaxCompute本身针对内部存储设计的许多高性能优化都无法应用，因此性能上会有所损失。如果您需要对数据进行反复计算或对计算的高效性比较敏感，推荐先在MaxCompute项目中创建...
RDS(MySQL)
读取数据库数据%spark import java.sql.{Connection,DriverManager,PreparedStatement} import java.util.Properties import org.apache.spark.sql.types.{IntegerType,StringType,StructField,StructType} import org.apache.spark.sql.{...
dbms_sql.delete_trace_by_sqlid
您可以使用 dbms_sql.delete_trace 存储过程根据具体的SQL语句来删除不需要SQL Trace跟踪的模板化SQL语句。也可以使用 dbms_sql.delete_trace_by_sqlid 存储过程根据SQL ID来删除不需要SQL Trace跟踪的模板化SQL语句。语法 dbms_sql.delete...
- 产品推荐
- 这些文档可能帮助您