EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
2022年
部分参数默认值调整说明 2022年11月 支持透明数据加密（TDE），通过在数据库层执行透明的数据加密，阻止可能的攻击者绕过数据库直接从存储层读取敏感信息。TDE透明数据加密 2022年11月 14.5.1.0 内核小版本 类别 说明 相关文档 发布时间 ...
PolarDB PostgreSQL 14版相对于Polar...PostgreSQL 11版的变化点
在PolarDB PostgreSQL 11版本（简称PG 11版本）升级到PolarDB PostgreSQL 14版本的过程中，大部分的数据类型、内置函数、表列和对象都没有发生显著变化，大多数变化属于细节改进。通过逻辑复制等方式（推荐使用DTS工具）可以实现接近100%的...
自建Oracle迁移至PolarDB-X
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
持久内存型
云原生内存数据库Tair 持久内存型（简称持久内存型），基于持久内存技术，为您提供大容量、兼容Redis的内存数据库产品。单实例成本对比云数据库Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎...
持久内存型
Tair 持久内存型（简称持久内存型）基于持久内存技术，为您提供大容量、兼容Redis的内存数据库产品。单实例成本对比 Redis社区版 最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，...
数据导入性能优化
以表Lineitem为例，当选择l_discount列为分布键，订单折扣值区分度很低，仅有11个不同值，l_discount值相同的数据会分布到同一分区，造成严重倾斜，导入会有长尾，影响性能。选择l_orderkey列则更为合适，订单ID互不相同，数据分布相对较为...
实时物化视图
前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.8.11.0及以上）PostgreSQL 11（内核小版本1.1.27及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版 的内核小版本的版本号：PostgreSQL 14 select ...
数据导入性能优化
以表Lineitem为例，当选择l_discount列为分布键，订单折扣值区分度很低，仅有11个不同值，l_discount值相同的数据会分布到同一分区，造成严重倾斜，导入会有长尾，影响性能。选择l_orderkey列则更为合适，订单ID互不相同，数据分布相对较为...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
PolarDB MySQL版迁移至ClickHouse集群
数据传输服务DTS（Data Transmission Service）支持将 PolarDB MySQL版 集群迁移至ClickHouse集群，帮助您实现数据地流转，将企业数据集中分析。前提条件 已创建20.8及以上版本的目标ClickHouse集群，详情请参见 新建集群。说明 ClickHouse...
PostgreSQL数据源
由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 PostgreSQL在数据存储划分中属于RDBMS系统，对外可以...
PolarDB MySQL版同步至ClickHouse集群
数据传输服务DTS（Data Transmission Service）支持将 PolarDB MySQL版 集群同步至ClickHouse集群，帮助您轻松实现数据的流转，将企业数据集中分析。前提条件 已创建20.8及以上版本的目标ClickHouse集群，详情请参见 新建集群。说明 ...
RDS MySQL迁移至ClickHouse集群
数据传输服务DTS（Data Transmission Service）支持将MySQL数据库（例如自建MySQL或 RDS MySQL）迁移至ClickHouse集群，帮助您轻松实现数据的流转，将企业数据集中分析。本文以 RDS MySQL 实例为例，介绍从 RDS MySQL 迁移至ClickHouse集群...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
数据管理
阿里云EMR Delta Lake提供了强大的数据处理能力，可以帮助您管理和操作数据，确保数据的质量和一致性。本文为您介绍EMR Delta Lake如何进行删除、更新与合并数据等操作。DELETE 该命令用于删除数据。示例如下。SQL DELETE FROM delta_table...
从自建PostgreSQL（10.1~13版本）增量迁移至RDS ...
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
pg_profile
pg_profile 是 PolarDB PostgreSQL版 支持的一款第三方插件，能够统计目标数据库中资源密集型活动，来分析和优化数据库。此扩展基于PostgreSQL的统计视图和部分社区插件，完全由PL/pgSQL编写，无需任何外部库或软件。配合 pg_cron 插件可以...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）网络连通解决方案 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务...
2021年
2021-11-23 全部地域 清空分区数据 MaxCompute集成网易有数BI工具（商业化）发布 MaxCompute集成网易有数BI无缝对接，支持网易有数BI对MaxCompute直连场景下BI分析，同时可以支持可视化配置数据缓存时长，对数据进行缓存，以提高数据查询...
IO加速
当您需要应对数据库磁盘IO性能瓶颈时，云数据库RDS PostgreSQL的通用云盘IO加速功能为您提供了一个高效的解决方案。本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 ...
发布包总览概述
且（为 数据源管理员 或 数据源负责人）数据架构 业务对象、业务活动、主题域 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块）研发对象 集成任务、建模研发、指标研发、文件管理、计算任务 跨租户发布...
发布包总览概述
且（为 数据源管理员 或 数据源负责人）数据架构 业务对象、业务活动、主题域 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块）研发对象 集成任务、建模研发、指标研发、文件管理、计算任务 跨租户发布...
添加白名单
11.192.127.0/24,11.192.88.0/24,11.193.246.0/24,100.104.0.0/16,47.91.116.0/24 亚太南部1（孟买）11.194.10.0/24,11.246.70.0/24,11.246.71.0/24,11.246.73.0/24,11.246.74.0/24,11.59.62.0/24,11.194.11.0/24,100.104.0.0/16,149.129....
数据同步
INSERT INTO sales VALUES(1,'2019-11-11','Robert',323.00,'2019-11-11 12:00:05'),(2,'2019-11-11','Lee',500.00,'2019-11-11 16:11:46'),(3,'2019-11-12','Robert',136.00,'2019-11-12 10:23:54'),(4,'2019-11-13','Lee',211.00,'2019-...
基本概念
格式 描述 示例.1f 浮点数（保留一位小数）11.111=>11.1.2f 浮点数（保留二位小数）11.111=>11.11.0%百分比 0.11=>11%.1%百分比（精确到百分比后一位）0.111=>11.1%.2%百分比（精确到百分比后二位）0.1111=>11.11%,.0f 千分位 1111.1=>1,...
备份恢复计费说明
本页面为您介绍云数据库 OceanBase 的备份恢复功能的定价和计费说明。费用说明 云数据库 OceanBase 的备份恢复功能包括本地一级备份、本地归档备份、异地一级备份和异地归档备份。成功购买集群实例或者 Serverless 实例后，将同步为您生成...
折线柱状图
显示格式：左侧y轴标签数值显示格式的样式，可选 默认、11（整数）、11.1（浮点数）、11.11（浮点数）、11%、11.1%和 11.11%。更多数据显示格式请参见 数据显示格式说明。轴单位：左侧y轴的单位，支持自定义输入，可单击 图标控制轴单位的...
如何优化数据导入导出
导入导出工具介绍 PolarDB-X 常见的数据导出方法有：mysql-e命令行导出数据 musqldump工具导出数据 select into outfile语句导出数据（默认关闭）Batch Tool工具导出数据（PolarDB-X 配套的导入导出工具）PolarDB-X 常见的数据导入方法有：...
基本概念
格式 描述 示例.1f 浮点数（保留一位小数）11.111=>11.1.2f 浮点数（保留二位小数）11.111=>11.11.0%百分比 0.11=>11%.1%百分比（精确到百分比后一位）0.111=>11.1%.2%百分比（精确到百分比后二位）0.1111=>11.11%,.0f 千分位 1111.1=>1,...
A100使用指南
支持审计10个数据库实例 12,000元/月 144,000元/年 企业版 吞吐量峰值：30,000条SQL/秒 800万/小时入库速率 10亿条在线SQL语句存储 350亿条归档SQL语句存储 支持审计25个数据库实例 20,000元/月 240,000元/年 说明 可以通过需要使用的数据...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
外部表常见问题
问题现象 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型（例如2019-11-11 06:43:36），会返回如下报错。FAILED:ODPS-0123131:User defined function exception-Traceback:java.lang.IllegalArgumentException at ...
迁移评估概述
目前支持进行对象评估的数据库类型及版本如下：Oracle 数据库：11g/12c/18c/19c MySQL 数据库：5.6/5.7/8.0 DB2 LUW 数据库（仅支持采集文件上传评估）云数据库 RDS PolarDB MySQL 引擎 支持对 Oracle 和 MySQL 数据库的 DDL 语句进行兼容...
计费方式
11,000条SQL/秒 150 Mbps数据库流量峰值 4亿条在线SQL语句存储 默认1 TB存储空间 默认150 MB带宽 实例数与存储支持弹性扩容 10~19个数据库实例 吞吐量峰值：12,000条SQL/秒 350 Mbps数据库流量峰值 6亿条在线SQL语句存储 默认1.5 TB存储...
2020年
2020-07-29 全部区域 数据类型版本说明 创建MaxCompute项目 Python UDF支持更多数据类型 Python 2 UDF和Python 3 UDF支持的数据类型增加DECIMAL、数据类型2.0的DECIMAL、复杂数据类型（ARRAY、MAP和STRUCT）和复杂数据类型嵌套。...
- 产品推荐
- 这些文档可能帮助您