查询治理
数据库自治服务DAS（Database Autonomy Service）为RDS MySQL提供查询治理功能，通过离线数据分析技术，在每天凌晨1点将全部实例在昨天产生的慢SQL进行统计分析和自动打标，帮助您对慢SQL进行自动分类和划分治理优先级，同时提供治理建议和...
2022年
本文为您介绍了MaxCompute 2022年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2022年12月更新记录 时间 特性 类别 ...
2021年
在很多应用场景中需要把HBase增强版或者Lindorm的数据导入到MaxCompute做数据加工、数据分析和联邦查询，同时MaxCompute中的数据也需要写入HBase增强版或者Lindorm中。现在可以在MaxCompute中建立HBase增强版或者Linorm的外表，对HBase增强...
控制台首页
全局管控场景：全局资源更快触达 通过交互和技术优化，为用户提供用云过程中最关注的信息，包括资源、稳定、安全、成本等场景，让用户能够快速地找到资源。资源概览：重点突出用户所拥有的产品和资源，并提供锁定能力，用户可以最多固定8个...
查询概述
查询进阶 查询加速 为了提供极致的数据分析服务，SelectDB中采用了查询优化技术，包含基于Cascades框架的全新优化器、基于Pipeline的执行引擎、高并发点查、物化视图、索引加速、Join优化等。通常情况下，SelectDB会自动优化查询规划和执行...
错误码
常见 PolarDB-X 数据节点连接失败的原因如下：后端数据节点连接数已满 计算节点到数据节点的连接超时 数据节点拒绝连接 如果排除后端数据节点问题后仍然出现该错误，请联系技术支持。PXC-4103 ERR_ATOM_CONNECTION_POOL_FULL 描述：PolarDB...
技术原理
PolarDB-X采用了基于代价的优化器技术，能够根据实际数据量、数据分布情况等，搜索到较优的执行计划，例如，对Join顺序进行调整、选择合适的Join或聚合算法、对关联子查询去关联化等。PolarDB-X优化器会基于代价估计将请求区分为TP与AP负载...
2020年
2020-07-29 全部区域 数据类型版本说明 创建MaxCompute项目 Python UDF支持更多数据类型 Python 2 UDF和Python 3 UDF支持的数据类型增加DECIMAL、数据类型2.0的DECIMAL、复杂数据类型（ARRAY、MAP和STRUCT）和复杂数据类型嵌套。...
新功能发布记录
2023-04-03 全部 修改专有网络VPC或交换机 2023年03月 变更项 说明 发布时间 发布地域 相关文档 功能优化 数据闪回功能新增支持 Tair（Redis企业版）持久内存型实例、内存型云盘版的读写分离架构实例。截至目前，下述实例版本均已支持数据...
MaxCompute近实时增全量一体化架构介绍
MaxCompute推出近实时增全量一体化架构，支持丰富的数据源，并通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎支持近实时增量处理链路和大规模离线批量...
MongoDB实例IOPS使用率高问题
创建过多的索引会使数据规模很大，导致WiredTiger Cache缓存的热数据减少，业务数据写操作过程中需要多⼀次I/O操作以更新索引，从而影响I/O性能。为了避免以上情况，建议您创建合适的索引，详情请参见 Indexes。业务架构和运维优化 在业务...
迁移评估概述
兼容性评估 迁移评估的兼容性评估功能支持通过系统化分析您的数据库对象和 SQL 使用，基于迁移 OceanBase 数据库的最佳实践，为您提供自动化的转换方案，极大降低上云的技术难度和改造成本。目前兼容性评估支持数据库对象评估、数据库 SQL ...
添加访问地址
原理介绍 OceanBase 数据库在数据库和应用程序之间提供网络代理服务，您可以根据业务需求在代理层添加只读地址和读写分离地址，充分利用 OceanBase 数据库的多副本能力，提升业务系统的执行效率。OceanBase 数据库的读写分离是指将数据库的...
DataWorks交流钉钉群
说明 从2009年飞天大数据平台写下第一行代码开始，DataWorks历经10年发展，形成一套成熟的产品功能体系，满足企业数据中台搭建需求。在阿里巴巴内部，每天有数万数据、算法开发工程师正在使用DataWorks。您需要先单击 申请链接 加入“阿里...
可观测性能力
同时，云原生内存数据库Tair 还基于三大数据支柱进行信息聚合，提供数据分析能力，下表为 云原生内存数据库Tair、云数据库Redis与原生Redis的可观测性能力对比。为便于浏览和内容表达，表格约定使用下述注释：✔️表示支持。❌表示不支持。...
可观测性能力介绍
您可以通过 云数据库Redis版 的 实时Top Key统计 功能，帮助定位热Key与大Key，实时Top Key统计 功能支持实时展示实例中的热Key和大Key信息，同时支持查看4天内大Key和热Key的历史信息。实时Top Key统计 功能准确性高，且对性能几乎无影响...
产品简介
服务内容 服务大类 服务类型 服务内容 大数据专家咨询服务 大数据技术架构方案咨询 为客户提供构建和优化大数据体系的技术架构方案咨询服务，覆盖离线/实时数仓体系建设管理、数仓建模管理，数据开发管理，数据安全管理、数据质量管理、...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
EMR Studio概述
EMR Studio核心优势 优势 描述 兼容开源 EMR Studio提供深度优化的开源组件使用体验，100%兼容开源大数据生态。您无需修改任务代码，即可平滑迁移上云。通过EMR Studio数据开发工作台，您可以在开源组件原生UI的基础上无缝衔接开发环节和...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
AUTO OPTIMIZE语句
如果您需要优化单个数据库，但不希望优化数据库中的某些表，可以将这些表的该参数设置为false。不涉及 auto-optimize.rewrite.target-file-size-bytes 将文件重写至多大size的文件。单位是byte。默认值为536870912，即512 MB。
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
受众与核心能力
同时，DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
增加/减少节点
实验特性说明 在V5.4.18-17034692及以上的版本中，PolarDB-X 优化了扩缩容过程中迁移数据的方式，将之前版本中的逻辑复制（通过select从源端查询到数据，然后以batch insert的方式插入目标端）优化为拷贝数据文件方式。优化后极大地减少了...
产品架构
EMR自研能力 为让开源大数据组件和服务更好的运行在阿里云技术设施上，EMR自研了如下组件：数据应用平台，提供交互式开发、作业提交、作业调试和工作流一站式数据开发体验，详情请参见 EMR Studio概述。Shuffle Service是EMR在优化计算引擎...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
参数诊断
背景 在数据库领域，优化数据库性能是工业界和学术界最重要的研究方向之一。除了针对SQL请求（索引优化等）的优化、用户业务层面的优化之外，针对数据库参数的调优是另一个行之有效的数据库性能优化方案。前提条件 数据库实例为 RDS MySQL ...
亿海蓝-航运大数据的可视化案例
——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司，做为中国最大的AIS数据服务运营商，发展目标是通过大数据技术推动全球航运物流与互联网的融合，加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务，客户涵盖港口...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
用自然语言实时查看BI报表
应用场景 临时性数据分析：帮助非数据技术相关人员（如管理岗、决策人员等，特指不直接参与数据库表结构、数据分布和特征设计和感知等人员）快速获取所需的统计数据。通过简单的问题或指令来获取并分析需要的数据，如“我需要最近一周的...
参数诊断
背景 在数据库领域，优化数据库性能是工业界和学术界最重要的研究方向之一。除了针对SQL请求（索引优化等）的优化、用户业务层面的优化之外，针对数据库参数的调优是另一个行之有效的数据库性能优化方案。前提条件 数据库实例为RDS MySQL 5...
NL2BI：用自然语言实时查看BI报表
应用场景 临时性数据分析：帮助非数据技术相关人员（如管理岗、决策人员等，特指不直接参与数据库表结构、数据分布和特征设计和感知等人员）快速获取所需的统计数据。通过简单的问题或指令来获取并分析需要的数据，如“我需要最近一周的...
- 产品推荐
- 这些文档可能帮助您