敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
SQL 路由
在分库分表模式下，数据访问代理会根据拆分键（即拆分字段）以及 SQL 语义把 SQL 语句分发到底层中各个存储数据的分表进行执行。执行结束后，数据访问代理会将从各个分表获取的数据合并，然后返回给用户。本文介绍在分库分表场景中数据访问...
表删除，更新和合并
通过合并的SQL语义，它将新数据与表中的现有数据进行匹配并删除重复数据，但是如果新数据集中存在重复数据，则将其插入。因此，在合并到表之前，对新数据进行重复数据删除。如果您知道几天之内可能会得到重复的记录，则可以通过按日期对表...
质量规则参数配置
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
质量规则参数配置
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
配置循环SQL节点
任务流常量为固定值，在所有节点中都可使用，在SQL中的使用格式为${name}。单击 任务流变量 页签，配置任务流变量。配置方法，请参见 配置时间变量。单击 输入变量 页签，查看输入变量。在 循环SQL 节点配置页，配置如下信息。类别 配置项 ...
从自建SQL Server增量迁移至RDS SQL Server
DTS会自动地在阿里云RDS SQL Server中创建数据库，如果待迁移的数据库名称不符合阿里云RDS的定义规范，您需要在配置迁移任务之前在阿里云RDS SQL Server中创建数据库。说明 关于阿里云RDS的定义规范和创建数据库的操作方法，请参见 创建...
免费体验PolarDB for AI
您可以前往 PolarDB for AI：在数据库中通过SQL实现AI能力 免费体验PolarDB for AI的能力，如：体验在在PolarDB数据库中使用通义千问大模型的功能 体验在PolarDB数据库中无缝使用AI能力（如模型创建、模型训练、模型评估、模型推理等）体验...
SQL查询计量计费
使用SQL查询过程中，可能消耗读吞吐量的操作如下：数据表：数据扫描与查询 二级索引：数据扫描与查询 多元索引：数据查询与计算 时序表：数据扫描与查询 计费示例 假设表格存储中有一个订单表sample_table，主键为user_id（String类型），...
DataX
数据源筛选SQL 从数据源中抽取数据的SQL语句。当节点执行SQL时会自动解析SQL查询的列名，并将其映射为目标表的同步列名。当源表和目标表的列名不一致时，可以通过使用列别名（AS）来进行转换。目标源类型 选择同步数据的数据源类型。目标源...
大数据AI公共数据集分析
完成设置后，您即可在SQL文件中进行数据查询命令开发，完成后可单击SQL查询文件操作栏中的 运行 按钮，运行成功后，在SQL文件下方会显示查询结果。本教程为您提供了一些查询示例SQL命令，您可参见下文的 附录：数据查询SQL示例，进行数据...
RDS SQL Server中无法直接删除数据库的处理方法
问题描述 在RDS SQL Server实例中删除数据库时，会出现以下场景的报错：如果数据库没有会话，对于RDS SQL Server 2008、2012和2016版，是用镜像做的主备同步，直接使用 drop database SQL语句删除数据库会存在以下报错。The database 'XX' ...
用自然语言实时查看BI报表
背景 为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI联合达摩院推出自研的自然语言到数据库查询语言转义（Nature Language To SQL，简称 NL2SQL）能力。PolarDB for AI会将用户输入的自然语言（中文或英文）自动...
NL2BI：用自然语言实时查看BI报表
背景 为了让不熟悉SQL语言的用户能方便地从数据库中取数分析，PolarDB for AI联合达摩院推出自研的自然语言到数据库查询语言转义（Nature Language To SQL，简称 NL2SQL）能力。PolarDB for AI会将用户输入的自然语言（中文或英文）自动...
管理LOGIN用户
本文将介绍如何使用SQL命令在RDS SQL Server数据库中创建和管理LOGIN用户。前提条件 实例需要为RDS SQL Server 2012及以上版本的实例。创建LOGIN用户 执行如下命令，创建LOGIN用户：CREATE LOGIN Test11 WITH PASSWORD=N'4C9ED138-C8F5-...
ADAM概览
同时针对数据冗余、信息安全问题，对采集结果中的SQL数据进行脱敏、去重、一致性校验等处理，保证采集结果的准确性。更多信息，请参见 数据库采集。应用采集器：收集、分析Oracle、Db2和Teradarta的Java应用框架与运行信息，包含应用机器...
一般SQL优化方法
在SQL语句中可以使用SQL优化，如添加索引、选择合适数据类型、避免使用 SELECT*、使用临时表暂存中间结果等方法，提高查询性能和简化数据库操作。优化能力 控制IN条件或OR条件的条目数量，过多的条目会导致RCA优化时间加长。尽量避免在...
体验智能SQL转换领航助手（Migration on Pilot）
背景 在传统的异构数据库迁移上云场景中，通常存在以下难点和痛点：源/目标两种数据库属于异构数据库，源数据库使用者不一定熟悉如何使用目标数据库及其SQL语法规则。异构数据库之间的SQL语法规则差异，导致在异构数据库迁移前后必须要对...
体验智能SQL转换领航助手（Migration on Pilot）
背景 在传统的异构数据库迁移上云场景中，通常存在以下难点和痛点：源/目标两种数据库属于异构数据库，源数据库使用者不一定熟悉如何使用目标数据库及其SQL语法规则。异构数据库之间的SQL语法规则差异，导致在异构数据库迁移前后必须要对...
API概览
DescribeOutlineBinding 查询 Outline 绑定信息 根据 SQLID 查询一条 SQL 在数据库中被绑定的 Outline 信息或限流信息。DescribeRecommendIndex 查询 SQL 索引推荐信息 根据 SQLID 查询诊断系统对 SQL 的索引推荐信息。...
TOP Objects
TOP Objects列表详情：若需要查看某一个具体数据库对象中每个步骤的性能消耗，可以点击左边的➕号按钮，来查看数据库对象中SQL语句级别的详细性能消耗。详细参数说明如下。表 5.TOP Objects列表详情参数说明 参数 说明 对象名 该SQL语句...
Python
cities 表中插入两组数据 sql="insert into cities values(1,'hangzhou'),(2,'shanghai')"cur.execute(sql)#查询 cities 表中的所有数据 sql='select*from cities' cur.execute(sql)ans=cur.fetchall()print(ans)#删除表 cities sql='drop ...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
TRUNCATE TABLE
示例 清空表sensor中的数据。SQL引擎为 2.6.10之前的版本，示例如下：先下线sensor表 OFFLINE TABLE sensor;再清空sensor表的数据 TRUNCATE TABLE sensor;SQL引擎为 2.6.10及以上版本，示例如下：TRUNCATE TABLE sensor;
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
按照SQL ID查询SQL样本数据
调用GetFullRequestSampleByInstanceId接口，按照SQL ID查询数据库实例SQL洞察结果中的SQL样本数据，最大返回20条样本数据。接口说明 SQL 洞察功能可对 SQL 进行健康情况诊断、性能问题排查，详情请参见 SQL 洞察。支持的数据库引擎请参见 ...
PolarDB for AI NL2SQL正式商业化，欢迎免费体验！
免费体验PolarDB for AI更多能力：在PolarDB数据库中通过SQL实现AI能力 体验在PolarDB数据库中使用通义千问大模型的功能 体验在PolarDB数据库中无缝使用AI能力（如模型创建、模型训练、模型评估、模型推理等）体验在PolarDB数据库中通过...
全量备份数据上云（SQL Server 2008 R2本地盘）
您只需将本地SQL Server数据库的全量备份数据上传至阿里云的对象存储服务（OSS），然后通过RDS控制台将全量备份数据迁移至指定RDS SQL Server数据库中。该方案采用微软官方的备份恢复方案，可保障兼容性。适用于数据备份、迁移和灾备恢复等...
全量备份数据上云（SQL Server 2008 R2云盘、2012及...
您只需将本地SQL Server数据库的全量备份数据上传至阿里云的对象存储服务（OSS），然后通过RDS控制台即可将全量备份数据上云至指定RDS SQL Server数据库中。适用于数据备份、迁移和灾备恢复等场景。说明 本方案仅适用于将数据上云至RDS SQL...
文档更新动态（2024年）
通过表映射创建离线视图 通过SQL加工创建离线视图 通过表单加工创建离线视图 标签资产市场概述 创建及管理标签离线服务任务 分析平台-基于分析平台创建SQL查询/基于分析平台创建NoteBook Notebook和SQL查询支持访问MySQL、Oracle数据库中的...
Delta Lake 快速开始一
count")).orderBy("date","action").createOrReplaceTempView("tempDisplay")可视化该临时表%sql select*from tempDisplay 我们可以很方便的使用append模式追加新数据%pyspark#该操作主要将数据中时间前移2天（172800秒）historical_events...
功能更新动态（2024年）
通过表映射创建离线视图 通过SQL加工创建离线视图 通过表单加工创建离线视图 标签资产市场概述 创建及管理标签离线服务任务 分析平台 Notebook和SQL查询支持访问MySQL、Oracle数据库中的数据；支持运行SQL脚本。SQL查询概述 Notebook概述 ...
DDL 问题
DDL 任务创建常见问题 SQL 格式错误 SQL 语法错误 DDL 任务执行常见问题 无法获取分库分表拓扑 找不到物理数据节点 SQL 执行失败 DDL 任务创建常见问题 SQL 格式错误 错误信息：sqlContent Format error.must end with;解决方法：每条 SQL ...
APPROX_DISTINCT
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
2021年
2021-12-30 全部地域 MaxCompute湖仓一体概述 MaxCompute支持渐进式计算 MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的...
概述
Pearson相关系数 群体稳定性指标PSI 免费体验 您可以前往 PolarDB for AI：在数据库中通过SQL实现AI能力 免费体验PolarDB for AI的能力，如：体验大模型数据推理和交互 体验在PolarDB数据库中无缝使用AI能力 体验在PolarDB数据库中通过自然...
阿里云数据源SQL Server
本文为您介绍新建SQL Server类型...将SQL Server数据源中的数据表或自建的自定义SQL添加到Quick BI，请参见 创建并管理数据集。添加可视化图表并分析数据，请参见 新建仪表板 和 可视化图表概述。钻取并深度分析数据，请参见 钻取设置与展示。
Reserve参数说明
源数据库类型为 PolarDB MySQL版 参数 配置条件 说明 amp.increment.generator.logmnr.mysql.heartbeat.mode 必填 是否去除正反向任务的心跳表SQL，取值为：none：不在源库中写入心跳SQL信息。N：在源库中写入心跳SQL信息。whitelist.dms....
数据分析概述
在SQL查询中可预览数据集中的数据，并快速生成该表的查询SQL语句，详情请参见 SQL查询。电子表格 电子表格是数据分析的核心功能，为您提供获取、探索和分析数据的个人空间，详情请参见 电子表格。以在线表格为主体，电子表格为您提供常用的...
表详情
数据血缘功能展示表到表（表血缘）、字段到字段（字段血缘）的数据流转情况，便于您根据数据的上下游情况，对解决数据治理问题（如数据重复加工、越权使用等）及减少数据变更产生的影响提供较有价值的帮助。您可在关系图中进行如下操作：...
- 产品推荐
- 这些文档可能帮助您