数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
读写分离简介
为了实现弹性扩展的读取能力，并分担数据库压力，RDS SQL Server支持通过创建一个或多个只读实例来实现读写分离，通过只读实例满足大量的数据库读取需求，可以增加应用程序的吞吐量。简介 RDS SQL Server基于源生AlwaysOn技术，通过物理...
存储类型
说明 容量型云存储使用高密度磁盘存储阵列，提供极低成本存储能力，和高吞吐读写能力，但随机读能力较弱，适用于写多读少场景或大数据计算场景。宽表引擎、文件引擎、流引擎 不涉及。本地SSD盘 0.1ms~0.3ms 网络游戏、电商、视频直播、媒体...
读写分离
如果您在云上自行搭建代理层实现读写分离，数据在到达数据库之前需要经历多个组件的语句解析和转发，对响应延迟有较大的影响。而PolarDB读写分离中间件隶属于集群组件，相比外部组件而言，能够有效降低延迟，提升处理速度。节点健康检查，...
导入
DataWorks智能数据建模的导入工具，为您提供了数据模型、数据标准等多种类型的对象模板，您可基于不同模板批量创建相应对象。该功能无需多次重复执行创建操作，即可快速生成多个对象，节省大量时间成本。本文为您介绍如何通过批量导入功能...
管理健康报告
Top导入热表潜在小文件分析 针对表级别的数据导入情况，系统将会对每个表的所有导入任务生成的数据文件进行深入分析，以评估其潜在的小文件问题严重程度，并据此计算出一个影响得分。根据该得分从高至低排序，选出Top 20个受小文件问题影响...
什么是RDS PostgreSQL
数据库代理（读写分离）：数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求，实现自动读写分离功能，具有高可用、高性能、可运维、简单易用等特点。Babelfish for RDS PostgreSQL：...
通过文件管理优化性能
在进行合并之后，在OSS中生成两个877MB的大文件（OPTIMIZE生成的文件最大为1GB）。在执行OPTIMIZE之后，重新执行上述查询，查询时间为7s。可以看出，在优化之后查询性能得到很大的提升。重要 在Databricks Runtime 6.0及更高版本中可用。...
命名词典
批量导入仅支持导入.xlsx 格式文件，每次最多可导入30000条数据，并且文件大小不超过10MB。查看导入结果。在 完成 页签，您可查看导入结果详情。单击详情列表命名词典后的 更多详情，即可跳转至该命名词典的编辑界面，执行更多命名词典相关...
2021年
【通知】AnalyticDB PostgreSQL版发布诊断与优化功能 查看慢查询 SQL分布统计 基础版 AnalyticDB PostgreSQL版 全新推出基础版实例，大幅降低客户的数据存储成本及建仓门槛，致力于解决小微企业及个人建仓门槛高，中大企业数据存储成本大的...
修饰词
修饰词是基于选择的数据域创建的，是对数据域中的数据不同维度的修饰，用来限定统计数据的业务范围。例如，统计上海区域生鲜门店的销售金额，上海区域和生鲜门店就是对业务范围的限定修饰。前提条件 已创建数据域，用于确定修饰词所属的...
SQL处理优化
在查询效率上，跟查询普通表最大的不同在于，读取源表数据文件时，可能会涉及大量 DeltaFile 的合并以及数据历史中间状态的消除，详情可参见 TimeTravel 查询设计，从而极大影响读取效率，因此对于查询频率和效率要求比较高的业务场景，...
集群系列
SQL Server集群系列 RDS SQL Server集群系列实例采用一主一备的高可用架构，基于SQL Server源生AlwaysOn技术，实现了计算与存储的分离，并支持在主实例中添加1~7个只读实例来实现读写分离，可满足大量的数据库读取需求。在集群系列实例中，...
基础管理FAQ
如何快速删除文件系统中过大的存储文件数据？无相互包含关系的子目录可以并行删除，您可以同时开启多个终端，进入NAS挂载目录（例如/mnt），然后执行 rm-rf 命令，删除没有相互包含关系的子目录。NAS能否切换VPC？说明 通用型NAS可以添加两...
存储成本优化
本文从数据分区、表生命周期和定期删除表3个方面为您介绍如何优化存储成本。对于存储优化而言，有三个关键点：合理地进行数据分区。设置合理的表生命周期。定期删除废表。合理设置数据分区 MaxCompute将分区列的每个值作为一个分区。您可以...
如何选择文件引擎规格
Lindorm文件引擎（LindormDFS）是面向海量非结构化数据的分布式文件存储服务，与多模引擎共享存储底座，提供数据库级的安全可靠性。LindormDFS与开源HDFS保持100%通信协议兼容，使用开源客户端可直接访问，无缝接入所有开源大数据生态与云...
创建快照
数据库文件系统快照基于云盘快照，它是一种便捷高效的数据容灾手段，用于对文件系统的数据进行备份。前提条件 进行快照创建时，数据库文件系统必须处于 已挂载 或 待挂载 状态。说明 如果文件系统处于 待挂载 的状态，则需要保证文件系统有...
外部表常见问题
建议您在OSS对应的外部表路径下，将OSS大文件拆分为小文件，从而增加读取外部表生成的Mapper数量，提升读取速度。使用SDK搜索MaxCompute外部表数据速度慢 问题现象 使用SDK搜索MaxCompute外部表数据速度慢。解决措施 外部表仅支持全量搜索...
整体流程介绍
操作流程 操作步骤 支持方法 准备工作 准备工作 包含如下内容：准备CSV数据文件 获取图数据库GDB实例信息 获取OSS中的Bucket信息 OSS导入授权 图数据库GDB控制台一键授权 通过RAM控制台授权 将数据上传至OSS 使用OSS控制台上传数据文件 ...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
RDS术语
Z 只读实例 只读实例满足大量的数据库读取需求，读取能力弹性扩展，分担数据库压力，增加应用的吞吐量。更多信息，请参见 只读实例简介。只读QPS 数据库只读时每秒执行的SQL数（仅包含SELECT）。增量数据迁移 DTS在全量迁移的基础上，将源...
JindoFS介绍和使用
A：Block模式可以管理文件元数据和组织文件数据，因此可以不局限于OSS对象存储，完全可以满足各种大数据引擎对存储接口的需求。这些接口包括但不限于Rename的原子性和事务性能力、高性能本地写入、透明压缩、truncate、append、flush、sync...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
RDS术语
Z 只读实例 只读实例满足大量的数据库读取需求，读取能力弹性扩展，分担数据库压力，增加应用的吞吐量。更多信息，请参见 只读实例简介。只读QPS 数据库只读时每秒执行的SQL数（仅包含SELECT）。增量数据迁移 DTS在全量迁移的基础上，将源...
RDS术语
Z 只读实例 只读实例满足大量的数据库读取需求，读取能力弹性扩展，分担数据库压力，增加应用的吞吐量。更多信息，请参见 只读实例简介。只读QPS 数据库只读时每秒执行的SQL数（仅包含SELECT）。增量数据迁移 DTS在全量迁移的基础上，将源...
RDS术语
Z 只读实例 只读实例满足大量的数据库读取需求，读取能力弹性扩展，分担数据库压力，增加应用的吞吐量。更多信息，请参见 只读实例简介。只读QPS 数据库只读时每秒执行的SQL数（仅包含SELECT）。增量数据迁移 DTS在全量迁移的基础上，将源...
上传数据
DataWorks支持将本地的CSV文件或部分文本文件数据直接上传至MaxCompute表中，本文为您介绍操作步骤详情。前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可...
MaxCompute
使用Databricks 读写MaxCompute数据 读取maxCompute数据集的dwd_product_movie_basic_info表中ds=20170519分区的数据到DataFrame中,代码实现。说明 odpsUrl和tunnelUrl相关介绍和配置 参照文档 MaxCompute数据管理权限 参照文档 警告 ...
数据源概览
本章节主要介绍如何...CSV文件 JSON文件 Parquet文件 ORC文件 文本文件 外部数据源 Databricks数据洞察读取外部数据源时要求配置其与数据源实例的网络连接。OSS EMR HDFS MySQL Redis MaxCompute Tablestore MongoDB ElasticSearch JindoFS
一般性问题
数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2.挂载点是什么概念、有什么作用？挂载点是...
导出结构和数据
导出文件格式 ODC 导出工具会将导出数据到以.zip 结尾的压缩文件包中，压缩包中包含元数据文件 MANIFEST.bin 和 Schema 下导入导出对象的结构定义文件和数据文件。创建导出任务时，如果您指定 数据格式 为 SQL 格式，那文件包中的结构定义...
概述
Federated表结构如下：当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时，通常会从本地 PolarDB MySQL版 集群插入数据文件，更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行，在远程集群或服务器...
引擎功能
时序数据高效读写 Lindorm时序引擎提供高效的并发读写，支持每秒百万数据点的数据读取及千万数据点的写入能力。数据写入 支持以下方式进行数据写入：使用SQL的INSERT语句（推荐使用JDBC）。兼容InfluxDB的写入Line Protocol。兼容OpenTSDB...
概述
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
OSS
本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品...
敏感数据溯源
常见问题 目标溯源任务执行结束后，可能的泄漏源 显示 无结果，则可能的原因及解决方案如下：原因一：您所溯源的文件数据量不足，导致水印信息无法还原。解决方案：使用 数据水印 功能生成的水印信息需要提供充足的数据量，才能保证通过...
使用Presto访问
准备工作 搭建和使用Presto读写文件引擎，需要先完成以下准备工作。开通文件引擎，详情请参见 开通指南。在计算节点上安装JDK，版本不能低于1.8。在Hadoop集群中安装Apache Hive，详情请参见 使用Hive访问。下载Presto压缩包和presto-cli-...
- 产品推荐
- 这些文档可能帮助您