背景信息以及准备工作
您还可以在DLA中创建 云数据库 MongoDB版（MongoDB）的数据库连接（映射数据库），通过MySQL客户端或者MySQL命令行工具连接DLA中的映射数据库，使用标准SQL语句读写MongoDB数据。或者对存储在 阿里云对象存储服务（Object Storage Service...
MongoDB
说明 阿里云MongoDB证书下载，可以到 云数据库MongoDB管控 进行下载，证书库的默认密码：apsaradb 将jks证书库分发到DDI所有服务器节点（此步骤可以联系DDI开发运维人员协助）在notebook读写数据 引入spark.conf调用jks证书库，将证书加载...
创建PolarDB表并读写数据
本文主要介绍如何在DAL中创建PolarDB表并读写数据。创建PolarDB表 登录 DLA控制台。单击左侧导航栏的 SQL访问点，然后单击 登录DMS，创建PolarDB person表：create external table PolarDB_person(id int,name varchar(1023),age int)...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
通过实时计算Flink读写云原生数据仓库AnalyticDB ...
云原生数据仓库AnalyticDB PostgreSQL版 支持通过实时计算Flink读写数据。本文介绍如何通过Flink写入数据到 AnalyticDB PostgreSQL版 及读取 AnalyticDB PostgreSQL版 数据。通过实时计算Flink版写入数据到AnalyticDB PostgreSQL版 具体...
通过Spark SQL读写C-Store表数据
AnalyticDB MySQL 湖仓版（3.0）集群支持通过Spark SQL在线或离线读写C-Store表数据。本文主要介绍通过Spark SQL在线或离线读写C-Store表数据的具体方法。前提条件 湖仓版（3.0）集群的存储预留资源需大于0 ACU。详情请参见 创建湖仓版集群...
OSS
本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品...
RDS(MySQL)
本文介绍如何使用Databricks 读写阿里云RDS（MySQL）数据源数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 MySQL实例，具体参见 创建 MySQL实例。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问...
产品定价
产品定价 数据总线产品已于2020年4月20号正式开始商业化收费，目前仅支持按量付费的计费模式，根据用户实际使用量来梯度计费，每月也为用户准备了一定的免费额度 按量付费 按量付费的单价，请查看产品价格。扣费周期为天：每天为您提供账单...
访问Hive数据
云原生多模数据库 ...示例 以下SQL示例为建表语句和读写数据语句。更多SQL语法请参见 SQL Reference。USE spark_catalog;CREATE TABLE test(id INT,name STRING,score DOUBLE);INSERT INTO test VALUES(0,'Jay',90.8);SELECT*FROM test;
云计算资源类型
计算节点：离线类：MaxCompute RDS MySQL Elastic Job Hive AnalyticDBPostgreSQL PostgreSQL Spark On Yarn Spark Cluster 在线类：Elastic Service 流式类：Blink Flink Flink vvp Flink vvr Spark Thrift Server 读写数据：PostgreSQL ...
云计算资源类型
计算节点：离线类：MaxCompute RDS MySQL Elastic Job Hive Hologres AnalyticDBPostgreSQL PostgreSQL Spark On Yarn Spark Cluster 在线类：Elastic Service 流式类：Blink Flink Flink vvp Flink vvr Spark Thrift Server 读写数据：...
附录：ECS自建数据库的安全组配置
如果您使用的是ECS自建数据库，必须添加安全组才能保证资源组可正常读写数据源的数据，本文为您介绍选择不同区域的DataWorks时，如何配置ECS自建数据库的安全组。前提条件 已完成资源组与数据源之间的网络连通配置，详情可参见 选择网络...
分区（Shard）
日志服务使用Shard控制Logstore或MetricStore的读写数据的能力，数据必定保存在某一个Shard中。Shard范围 每个Shard均有范围，为MD5左闭右开区间[BeginKey,EndKey)。每个Shard范围不会相互覆盖，且属于整个MD5范围内...
数据读写
本文介绍日志服务读写数据的限制。类别 限制项 说明 备注 Project 写入流量 原始数据写入流量最大为100GB/min。超过限制时，返回状态码403，提示Inflow Quota Exceed。如果您有更大的使用需求，请提 工单 申请。写入次数 写入次数最大为...
重要组件
由于多个主机的数据库实例需要访问块存储上的同一份数据，常用的Ext4等文件系统不支持多点挂载，PolarDB数据库团队自行研发了专用的用户态文件系统，提供常见的文件读写查看接口，支持类似O_DIRECT的非缓存方式读写数据，还支持数据页原子...
通用云盘IO加速功能技术介绍
当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品推出新的存储类型——通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入...
生命周期管理概述
全部数据存储在低频存储节省的存储费用（A）读写低频存储中的全部数据产生的流量费用（B）（通用型NAS存储单价-低频存储单价）×预估存储容量（0.35-0.15）（元/GiB/月）×1（PiB）×1024×1024=209715.2（元）读写流量单价×预估读写量 0....
存储与缓存监控详情
在租户存储于缓存监控详情页面，您可查看租户的存储使用，读写速率和缓存使用等监控数据信息。查看租户存储与缓存监控数据 存储与缓存页签中默认展示了 1 小时内 MEMStore 使用，存储读写速率，缓存使用等信息。您可以自定义筛选时间查看...
IO加速
当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品推出新的存储类型——通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入...
读写数据集数据
如果您需要持久化存储DSW数据，需要创建NAS或OSS类型的数据集，并将数据集挂载到DSW指定的路径，以实现在DSW中读写数据集数据。本文为您介绍如何创建数据集和挂载数据集。步骤一：创建数据集 登录 PAI控制台，在工作空间的AI资产管理中创建...
流式读写
本文介绍Delta Lake作为数据源和数据接收端如何流式读写数据。Delta Table作为数据源（Source）spark.readStream.format("delta").option("maxFilesPerTrigger",1000).load("/tmp/delta_table")maxFilesPerTrigger 指定了一个批次最多处理...
通用云盘IO加速功能
当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品推出新的存储类型——通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入...
通用云盘IO加速功能
当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品推出新的存储类型——通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入...
常见问题（FAQ）
您可以使用自己喜欢的Apache Spark API来使用Delta Lake读写数据。Delta Lake在哪里存储数据？写入数据时，您可以指定云存储中的位置。Delta Lake以Parquet格式将数据存储在该位置。我可以直接将数据流式传输到Delta表中吗？是的，您可以...
单节点架构
单节点架构 单节点架构仅提供一个StandAlone节点，用于读写数据。单节点架构以较低的价格享受云数据库MongoDB提供的运维支持和内核优化服务，您可以根据各类业务场景的差异选择对应的规格配置，降低成本支出。更多规格信息，请参见 单节点...
局部事务
对局部事务中的数据进行读写操作后，可以根据实际提交或者丢弃局部事务。局部事务通过悲观锁（Pessimistic Lock）实现并发控制。目前局部事务功能处于邀测中，默认关闭。如果需要使用该功能，请 提交工单 进行申请或者加入钉钉群23307953...
Spark Connector
阿里云提供了Spark Connector来简化Spark与MaxCompute之间的集成，MaxCompute支持通过Spark Connector调用Storage API直接访问MaxCompute底层存储，并且支持高并发的数据读写操作，而不通过MaxCompute前端服务层，提供更直接访问和操作数据...
局部事务
对局部事务中的数据进行读写操作后，可以根据实际提交或者丢弃局部事务。局部事务通过悲观锁（Pessimistic Lock）实现并发控制。目前局部事务功能处于邀测中，默认关闭。如果需要使用该功能，请 提交工单 进行申请或者加入钉钉群23307953...
IO加速
本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存...
新建集群
云数据库 SelectDB 版 实例以集群粒度进行算力隔离，多个集群间可以分别用于支持不同的工作负载（例如读写数据），满足各个业务的不同性能规模和使用时长需求。本文介绍如何在 云数据库 SelectDB 版 实例中新建集群。前提条件 已注册阿里云...
局部事务
对局部事务中的数据进行读写操作后，可以根据实际提交或者丢弃局部事务。局部事务通过悲观锁（Pessimistic Lock）实现并发控制。目前局部事务功能处于邀测中，默认关闭。如果需要使用该功能，请 提交工单 进行申请或者加入钉钉群23307953...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
管理Shard
当数据读写流量超出Shard读写能力时，需要及时分裂Shard以增加Shard个数，从而提供更高的读写能力。说明 当写入数据的API持续报告403或者500错误时，您可以通过Logstore云监控查看流量和状态码判断是否需要增加Shard。控制台操作 登录 日志...
如何提高冷存数据的读写性能
本文介绍提高冷存数据读写性能的最佳实践。场景描述 由于OSS延迟较高，冷存中的数据读写性能会下降，PolarDB PostgreSQL版 在开启冷数据分层存储功能时，默认会在云盘上开辟很小量的物化缓存空间，用于存储冷存元数据及一些IO合并。如果要...
如何提高冷存数据的读写性能
本文介绍提高冷存数据读写性能的最佳实践。场景描述 由于OSS延迟较高，冷存中的数据读写性能会下降，PolarDB PostgreSQL版（兼容Oracle）在开启冷数据分层存储功能时，默认会在云盘上开辟很小量的物化缓存空间，用于存储冷存元数据及一些IO...
JindoFS块存储模式
概念 块存储模式提供了最为高效的数据读写能力和元数据访问能力，并且能够支持更加全面的Hadoop文件系统语义。同时，JindoFS也提供了外部客户端，能够从集群外部访问建立在E-MapReduce集群内的JindoFS文件系统。数据以Block形式存储在后端...
批式读写
本文介绍Delta Lake如何批式读写数据。建表并写入数据 Scala/非分区表 data.write.format("delta").save("/tmp/delta_table")/分区表 data.write.format("delta").partitionedBy("date").save("/tmp/delta_table")SQL-非分区表 CREATE ...
局部事务
为数据表开启局部事务后，使用局部事务功能，您可以创建数据范围在一个分区键值内的局部事务并对局部事务中的数据进行读写操作。通过使用局部事务您可以实现单行或多行读写的原子操作。场景 使用局部事务功能，可以实现单行或多行读写的...
- 产品推荐
- 这些文档可能帮助您