新建及管理数据分类
分类层级+分类：将所有选中的分类层级及其包含的所有数据分类添加到指定位置的下一级，如果添加后超过最大层级限制，则会添加失败。同一层级下的分类如果和已有分类名称重复，将跳过不添加。仅引入分类，不引入层级：将所有选中的分类层级...
深度解析Lindorm搜索索引（SearchIndex）特性
索引是加速数据库查询的重要手段，Lindorm除了提供高性能的二级索引外，同时支持搜索索引(SearchIndex)，主要面向复杂的多维查询场景，并能够覆盖模糊查询、聚合分析、排序、分页等场景。本文主要介绍SearchIndex的技术原理和核心能力。...
分页显示查询分析结果
在分页读取时，不停地增大offset的值，直到读取到某个offset值后，获取的结果行数为0，并且结果的progress为complete状态，则表示读取了所有数据。分页的示例代码逻辑 offset=0#从第0行开始读取。line=100#每次读取100行。query="status:...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
PyODPS常见问题
在调用Open_Reader时，PyODPS会默认调用旧的Result接口。此时从服务端得到的数据是CSV格式的，所以DATETIME都是STRING类型。打开Instance Tunnel，即设置 options.tunnel.use_instance_tunnel=True，PyODPS会默认调用Instance Tunnel，即可...
Python SDK常见问题
在调用Open_Reader时，PyODPS会默认调用旧的Result接口。此时从服务端得到的数据是CSV格式的，所以DATETIME都是STRING类型。打开Instance Tunnel，即设置 options.tunnel.use_instance_tunnel=True，PyODPS会默认调用Instance Tunnel，即可...
8.0.1和8.0.2版功能对比
支持 支持 大吞吐写入/更新 CTS事务系统 PolarDB 重构了InnoDB的事务系统，由原来的基于活跃事务数据的事务系统，变为基于提交时间序（CTS）的事务系统，大幅度提升了读写混合场景下的性能，同时支持了全局严格强一致/MPP等功能的跨节点...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
技术原理
当提交一个分布式事务时，PolarDB-X 1.0 服务器会作为事务管理器的角色，等待所有数据节点（MySQL服务器）PREPARE成功，之后再向各个数据节点发送COMMIT请求。全局二级索引 全局二级索引（Global Secondary Index，GSI）支持按需增加拆分...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
DM（达梦）数据源
DM（达梦）数据源作为数据中枢，为您提供读取和写入DM数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DM数据同步的能力支持情况。使用限制 离线同步支持读取视图表。DM Reader和DM Writer仅支持使用 独享数据...
按时间戳冷热分离
查询的结果通常以分页的形式从新到旧展示，最先展示的往往是最近的热数据。在此场景下，普通不带 Hot_Only 的Scan会并行扫描冷热数据，导致请求性能下降。而在开启了优先查询热数据后，会优先只查热数据。只有热数据的数量未达到指定的...
列存索引中TopK算子的实现
背景 业务系统中普遍存在这样一种场景：根据给定条件筛选一批记录，这些记录按用户指定的条件排序，以分页的方式展示。例如，筛选出某个商家在售的商品，按商品销量排序，以分页的方式展示。上述场景在数据库中，通常以 ORDER BY column ...
功能发布记录（2022年）
英国（伦敦），美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发...
功能更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
风险识别管理（新版）
背景信息 数据输入DataWorks后会经过数据保护伞进行过滤处理，旧版风险识别管理的风险识别功能仅当涉及敏感数据时才会被识别为风险，不支持操作审计相关场景及事件统计聚合场景的识别。因此，DataWorks为解决该问题，为您提供了功能更加...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
CREATE TYPE
这样的功能允许你更新一个已存在的组合类型的定义而不需要事先手动删除旧的类型，从而简化了类型维护的过程。说明 使用 OR REPLACE 时应当小心，因为这会覆盖原有类型的定义，可能会影响依赖于该类型的数据库对象。组合类型可以用作函数的...
CREATE TYPE
这样的功能允许你更新一个已存在的组合类型的定义而不需要事先手动删除旧的类型，从而简化了类型维护的过程。说明 使用 OR REPLACE 时应当小心，因为这会覆盖原有类型的定义，可能会影响依赖于该类型的数据库对象。组合类型可以用作函数的...
更换操作系统相关问题
警告 更换操作系统（系统盘）后，原来的旧系统盘会被释放，会清除系统盘上的所有数据，建议您在操作之前为系统盘创建快照备份数据。具体操作，请参见 创建一个云盘快照。账号A的服务器制作镜像后，能给账号B更换操作系统使用吗？可以。账号...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
Quick BI v3.11.0版本说明
发布日期 2021年02月02日 新增内容 数据源 新增自建数据源Impala。请参见 自建数据源Impala。新增加速缓存功能，支持使用DLA加速MaxCompute数据查询。数据集 设置数据脱敏后，以下情况支持显示：新交叉表会有特别提示，翻牌器支持脱敏显示...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
捷顺
本文介绍数据库自治服务DAS助力捷顺，实现数据库运维自动化。客户简介 捷顺科技是一家智慧停车、智慧社区综合服务提供商，集研、产、销于一体，公司的产品线涵盖各类软硬件产品，包括捷停车及捷生活APP、停车场智能硬件、智能门禁、通道闸...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
系统函数分类
数据探索自身预置了诸多函数，用于常见的数据处理需求。这些预置的系统函数具有跨引擎的特点，在离线、实时、在线3种模型的不同引擎中具有相同的行为和使用方式。本文为您介绍数据探索提供的系统函数类型及函数使用相关说明。函数分类 数据...
查看快照容量
本文为您介绍如何查看单个数据库文件系统所有快照的容量。前提条件 您已经为某个文件系统至少创建过一份快照。具体操作，请参见 创建快照。根据快照链查看快照容量 快照链是一个数据库文件系统中所有快照组成的关系链，一个文件系统对应一...
概览
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
产品优势
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等多种数据源之间的数据传输。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具，DTS提供丰富多样、高性能、高安全可靠的...
使用限制
限制分类 限制项 最大值 系统设置 工作组数量 1000 云计算资源数量（所有工作组中）1000 数据同步 离线任务数量 1000 实时同步任务数量 500 数据建模 数据建模-模型数量 10000 数据标准-数据元数量 10000 数据标准-指标数量 10000 质量评估...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
分页类接口结果聚合
使用阿里云CLI调用各云产品的分页类接口时，默认情况下仅返回第一页的结果。当需要获取所有的结果时，您可以使用阿里云CLI聚合结果的功能。pager 选项字段说明 您可以通过使用-pager 选项，聚合分页类接口的数组类结果。该选项包含以下四个...
RDS SQL Server空间不足问题
说明 系统文件空间使用量 包括系统数据库master、msdb和model的所有数据文件和日志文件，以及一些系统文件（错误日志、默认跟踪文件、系统扩展事件文件等）。您可以在控制台的 自治服务>空间管理 页面，查看更详细的空间使用情况，包括数据...
- 产品推荐
- 这些文档可能帮助您