优化数据转换
Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型：Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章：优化数据转换
SQL审核优化建议在数据变更工单中的应用
DMS安全规则中的SQL审核优化建议，可以对SQL Console或数据变更工单中执行的SQL进行规范性检查（例如表要有备注、表需要包含某些列），并提出相关优化建议（例如无锁数据变更推荐），辅助DBA审核SQL语句，提高研发质量。本文将演示设置部分...
数据组织优化
本文为您介绍Transactional Table 2.0在数据组织优化服务上的架构设计。Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量...
如何优化数据导入导出
数据库实际应用场景中经常需要进行数据导入导出，本文将介绍如何使用数据导入导出工具。测试环境 本文档的测试环境要求如下表：环境 参数 PolarDB-X 版本 polarx-kernel_5.4.11-16282307_xcluster-20210805 节点规格 16核64 GB 节点个数 4...
数据上传下载成本优化
本文为您介绍如何优化数据上传和下载的同步成本。尽可能使用经典网络和VPC网络 您可以使用内部网络（经典网络或VPC）实现零成本数据导入和导出。网络设置详情请参见 配置Endpoint。合理利用ECS的公共下载资源 如果您的ECS使用包月资源，...
如何优化数据全量抽取
全量抽取场景 全量抽取使用的SQL通常不包含表的拆分键，以全表扫描的方式执行，随着读取数据量的增加，数据抽取操作的执行时间线性增长。为了避免占用过多网络或连接资源，可以使用HINT直接下发查询语句，从物理分片中拉取数据。以下示例...
数据导入性能优化
此时，集群CPU使用率、磁盘IO使用率处于较低水位，但写入响应时间较高，同时您可以在 诊断优化>数据建模诊断 页面的倾斜诊断表中发现目标表。解决方法：重新设计表结构后再导入数据，详情请参见 表结构设计。通过JDBC使用程序导入数据调优 ...
数据导入性能优化
此时，集群CPU使用率、磁盘IO使用率处于较低水位，但写入响应时间较高，同时您可以在 诊断优化>数据建模诊断 页面的倾斜诊断表中发现目标表。解决方法：重新设计表结构后再导入数据，详情请参见 表结构设计。通过JDBC使用程序导入数据调优 ...
数据导入优化建议
批量和实时导入如何选择 从MaxCompute或者OSS导入HybridDB for MySQL，推荐使用 INSERT OVERWRITE SELECT 做批量导入：批量导入适合大数据量导入，性能较好。批量导入适合数据仓库语义，即导入过程中旧数据可查询，导入完成一键切换新数据...
QueryCubeOptimization-查询数据集优化建议
查询数据集优化建议。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
数据缓存亲和性调度优化
数据缓存亲和性调度优化功能暂不支持与 使用ECI弹性调度 或 自定义弹性资源优先级调度 共同使用。前提条件 已创建 ACK集群Pro版，且集群版本为1.18及以上。具体操作，请参见 创建ACK Pro版集群。已安装云原生AI套件并部署ack-fluid组件，且...
通过数据加工实现成本优化
数据加工主要解决您规整数据的痛点以及帮助您进一步挖掘数据的价值，降低时间与人力成本。本视频介绍通过数据加工实现成本优化的方法。
数据源读取时间超时的优化思路
使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL...
数据源读取时间超时的优化思路
使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL...
获取自动SQL优化事件的统计数据
调用GetInstanceSqlOptimizeStatistic接口，获取指定时间段内自动SQL优化任务的统计数据，包括任务总数和最大收益等。接口说明 使用该接口需满足以下前提条件：使用阿里云或 DAS 的 SDK 时，建议使用最新版本。使用 SDK 调用 DAS 服务时，...
Quick BI数据大屏加载慢的优化方法
概述 Quick BI数据大屏加载慢的优化方法。详细信息 对大屏进行分页，每个大屏不要放过多的图表，使用类似幻灯片的展示形式。使用轮播组或者弹窗，对首屏不需要展示的图表进行滞后展示。如果有很多图片视频素材，对图片和视频进行压缩，...
JindoCube使用说明
其相关定义如下：基于lineorder_flatten视图简单查询的执行计划如下：在为line order_flatten视图创建Raw Cache并构建完成后，执行相同查询，EMR Spark会自动使用Cache数据优化执行计划，优化后的执行计划如下：可以看到，优化后的执行计划...
JindoCube使用说明
其相关定义如下：基于lineorder_flatten视图简单查询的执行计划如下：在为line order_flatten视图创建Raw Cache并构建完成后，执行相同查询，EMR Spark会自动使用Cache数据优化执行计划，优化后的执行计划如下：可以看到，优化后的执行计划...
JindoCube使用说明
其相关定义如下：基于lineorder_flatten视图简单查询的执行计划如下：在为line order_flatten视图创建Raw Cache并构建完成后，执行相同查询，EMR Spark会自动使用Cache数据优化执行计划，优化后的执行计划如下：可以看到，优化后的执行计划...
JindoCube使用说明
其相关定义如下：基于lineorder_flatten视图简单查询的执行计划如下：在为line order_flatten视图创建Raw Cache并构建完成后，执行相同查询，EMR Spark会自动使用Cache数据优化执行计划，优化后的执行计划如下：可以看到，优化后的执行计划...
JindoCube使用说明
其相关定义如下：基于lineorder_flatten视图简单查询的执行计划如下：在为line order_flatten视图创建Raw Cache并构建完成后，执行相同查询，EMR Spark会自动使用Cache数据优化执行计划，优化后的执行计划如下：可以看到，优化后的执行计划...
JindoCube使用说明
其相关定义如下：基于lineorder_flatten视图简单查询的执行计划如下：在为line order_flatten视图创建Raw Cache并构建完成后，执行相同查询，EMR Spark会自动使用Cache数据优化执行计划，优化后的执行计划如下：可以看到，优化后的执行计划...
JindoCube使用说明
其相关定义如下：基于lineorder_flatten视图简单查询的执行计划如下：在为line order_flatten视图创建Raw Cache并构建完成后，执行相同查询，EMR Spark会自动使用Cache数据优化执行计划，优化后的执行计划如下：可以看到，优化后的执行计划...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
功能发布记录（2022年）
风险识别管理（新版）2022-4 功能名称 功能描述 发布时间 发布地域 适用客户 相关文档 DataStudio优化数据开发各类文件的管理能力。您可以直接点击 新建节点，系统会推荐最近常用的节点类型，无需再手动逐个寻找所需要的节点。增加 我的...
使用EXPLAIN阅读查询计划
查询优化器使用数据库的数据统计信息来选择具有最小总代价的查询计划，查询代价通过磁盘I/O取得的磁盘页面数作为单位来度量。可以使用EXPLAIN和EXPLAIN ANALYZE语句发现和改进查询计划。EXPLAIN的语法如下：EXPLAIN[ANALYZE][VERBOSE]...
2022年
通过实时计算Flink写入数据 通过实时计算Flink读取AnalyticDB PostgreSQL版数据 优化 优化插入或更新字段过长提示信息 更新或插入数据时，如果写入的字段长度超过定义的长度，系统会返回字段长度过长的错误信息并提示过长字段的信息。...
全景视角
阿里云DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角，高效的进行数据治理工作。背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角...
升级告用户书
数据清理和数据归档功能：为了帮助您优化数据库的存储和管理，我们提供了数据清理和数据归档的功能，您可以根据数据的使用频率和重要性，将数据进行分离和清理，以提高数据库的性能和效率。产品交互优化：我们优化了SQL控制台的布局，以...
DataWorks版本到期降级后功能变化清单
数据计算优化-MaxCompute任务优化 数据采集优化-同步任务优化 管理员视角资源优化 管理白名单 迁移助手 DataWorks迁移，租户内免费导出包个数 降低为10个。DataWorks导入包大小 减少为30M。DataWorks导入时自动提交、自动发布 将不再支持...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
新功能发布记录
使用数据工作站功能可以提高数据交付效率和数据自助分析效率。数据工作站 2023年 11月 功能名称 变更类型 功能描述 相关文档 SQL备份与回滚 新增 使用DMS的SQL备份与回滚功能，快速将数据恢复到变更前的状态。SQL备份与回滚（公测中）SQL...
参数诊断
背景 在数据库领域，优化数据库性能是工业界和学术界最重要的研究方向之一。除了针对SQL请求（索引优化等）的优化、用户业务层面的优化之外，针对数据库参数的调优是另一个行之有效的数据库性能优化方案。前提条件 数据库实例为 RDS MySQL ...
参数诊断
背景 在数据库领域，优化数据库性能是工业界和学术界最重要的研究方向之一。除了针对SQL请求（索引优化等）的优化、用户业务层面的优化之外，针对数据库参数的调优是另一个行之有效的数据库性能优化方案。前提条件 数据库实例为RDS MySQL 5...
2023年
MongoDB（无分片键）同步至MongoDB（分片集群架构）MongoDB（无分片键）迁移至MongoDB（分片集群架构）优化 数据订阅任务支持跨账号访问数据源。订阅方案概览 2023年08月 类型 重点内容 相关文档 新增 新增支持将 PolarDB-X 2.0 同步或迁移...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
OSS数据安全防护最佳实践
本文介绍如何使用 数据安全中心（DSC），对OSS中存储的敏感数据进行识别、分类分级和保护。背景信息 敏感数据主要包括个人隐私信息、密码、密钥、敏感图片等高价值数据，这些数据通常会以不同的格式存储在您的OSS Bucket中，一旦发生泄漏，...
- 产品推荐
- 这些文档可能帮助您