IO加速
本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存...
SmartData常见问题
AccessKey免密不是适用于所有的场景。如果有多个用户需要区分权限，有如下两种方式：您可以通过RAM用户权限控制，每个用户使用RAM用户来访问OSS。您可以使用JindoFS权限控制，通过Ranger来授权。重要 JindoFS仅能在Namespace上设定权限控制...
数仓性能优化
此外，您还可以利用下列技巧完成表的优化：中间表的利用：适用于数据量非常大，下游任务很多的表。拆表：适用于个别字段产出极慢的情况，您可以将字段拆分为单独的表。合表：随着数仓的发展，针对业务重叠或重复的表，您可以进行任务和数据...
深度解析Lindorm搜索索引（SearchIndex）特性
这导致基于Lucene的服务无法应用到实时业务场景，只能适用于监控、日志等弱实时的场景。在业界，基于Lucene的分布式搜索引擎Elasticsearch/Solr为了缓解这个问题，提供 近实时查询（NRT）功能，可以确保索引数据在某个时间范围内（通常在秒...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
数仓性能优化
此外，您还可以利用下列技巧完成表的优化：中间表的利用：适用于数据量非常大，下游任务很多的表。拆表：适用于个别字段产出极慢的情况，您可以将字段拆分为单独的表。合表：随着数仓的发展，针对业务重叠或重复的表，您可以进行任务和数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
产品优势
背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口，支持宽表、时序、对象、文本、队列、空间等多种数据模型，适用于日志、账单、标签等多种数据的存储及分析，具有高性能、低成本等特点。...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
多可用区部署
使用限制 多可用区部署仅适用于宽表引擎，因此不支持同时依赖其他引擎能力的功能，即搜索索引和列存索引。宽表引擎自身支持的其他功能如二级索引、动态列、通配符列可正常使用。多可用区实例不支持冷存储、冷热分离功能。如何购买多可用区...
产品系列概述
一主多从架构适用于有大量流量高峰读请求和数据智能分析需求的大中型企业的生产数据库场景，如互联网新零售行业、汽车制造行业、教育行业、企业大型ERP系统等。MySQL 8.0 MySQL 5.7 高可用版 一主一备的高可用架构和七个只读节点，购买时...
引擎类型
搜索引擎 兼容SQL、Solr接口 海量日志、文本、文档等数据，适用于日志、账单、画像等场景。采用存储和计算分离架构设计的分布式搜索引擎，可无缝作为宽表、时序引擎的索引存储，加速检索查询，具备全文检索、聚合计算、复杂多维查询等能力...
概述
适用场景 PolarDB MySQL版 的列存索引特性提供了一站式HTAP产品体验，可以应用于多种业务场景：对在线数据有实时数据分析需求的场景，如实时报表；专用数据仓库场景：依托 PolarDB 提供的海量数据存储能力，汇聚多个上游数据源，将其作为...
资源规划和配置
因此，如果您的实际业务场景与上述数据有较大出入，请加入 DataWorks钉钉群 咨询技术支持，我们会根据您的实际业务场景推荐合适的资源组规格。根据上表两种类型的对比，推荐您使用独享资源组来进行API调用。资源组配置引导 使用公共资源组...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
概述
Serverless集群 Serverless集群的技术架构图 Serverless集群 Proxy Serverless Proxy 为Serverless形态，Proxy资源独立于计算节点弹性扩缩，无需用户选择。Serverless Proxy的计量单位是PCU，1个PCU约等于1核2 GB的资源，0.5个PCU约等于 0....
列存索引技术架构介绍
本文介绍了列存索引的技术背景、简介以及技术架构等内容。技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力...
DAS Auto Scaling弹性能力
水平扩容适用于读流量较多，而写流量较少的场景，但传统数据库需要搬迁数据来搭建只读节点，而搬迁过程中主节点新产生的数据还存在增量同步更新的问题，会导致创建新节点比较慢。垂直扩容则是在现有规格基础上进行升级，其一般流程为先对备...
2021年
Hadoop集群 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制，本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群，极大的扩展了湖仓一体对接Hadoop的适用范围。2021-09-01 华东1（杭州）华东2（上海）...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
浮框层
图表样式 浮框层是3D球形地图的子组件，支持独立的样式和数据配置，包括浮框的大小、颜色、内容以及经纬度等，适用于将地理位置上的某些具体信息以浮框的形式展示在大屏上。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索...
通用云盘IO加速功能技术介绍
本文介绍RDS MySQL通用云盘的IO加速功能，包括该功能的优势、适用范围、技术原理、性能测试等。背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间...
表引擎
系列 描述 表引擎 特点 MergeTree MergeTree系列引擎适用于高负载任务，支持大数据量的快速写入并进行后续的数据处理，通用程度高且功能强大。该系列引擎的共同特点是支持数据副本、分区、数据采样等特性。MergeTree 用于插入极大量的数据...
常见问题
数据模型 适用场景 duplicate key 数据更新不频繁。查询模式灵活没有预聚合的模式。需要保留原始数据。agg模型 只追加不更新数据。业务方查询都包含聚合函数，例如min、max或sum等。不需要查询原始明细数据。uniq key 适合于有更新和实时...
IoT数据自动化同步至云端解决方案
物联网专注于物物相连，大数据专注于数据的价值化，云计算则为大数据和物联网提供计算资源等服务支持。大数据是物联网体系的重要组成部分。物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。...
IO加速
本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁...
通用云盘IO加速功能
本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁...
通用云盘IO加速功能
本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁...
车联网数据存储处理方案
方案总览 Lindorm是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、搜索、文件等多种数据模型，兼容HBase、Cassandra、Phoenix、OpenTSDB、Solr、SQL等多种开源标准接口，...
术语
本文介绍 云原生数据库PolarDB 使用过程中遇到的术语。地域（Region）数据中心所在的地理位置。可用区（Zone）可用区是指在某一地域内，具有独立电力和网络的物理区域。同一可用区内实例之间的网络延时更小。集群（Cluster）PolarDB 采用多...
导入概述
Spark Load适用于初次迁移大数据量（可达到TB级别）到StarRocks的场景，且源数据在Spark可访问的存储系统（例如HDFS）中，详细信息请参见 Spark Load。异步导入 Stream Load 是一种同步执行的导入方式。您可以通过HTTP协议发送请求将本地...
多值数据写入
本文介绍多值数据写入的写入模式及其响应内容。时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的...该模式适用于业务监控数据上报时对于上报数据的完整性存在需求，对于失败数据希望进行修复重试时的场景。
导入与导出
说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 如何停止异步导入导出任务？如何使用SQL查看当前库里RUNNING的导入任务？通过JDBC使用程序导入数据至AnalyticDB MySQL集群时，...
使用须知
适用场景上，global index适用于多读的场景，但存在同步索引时带来网络开销较大的问题。而local由于和原数据存储在一张表中同步索引数据会相对快一点。虽然local index也有一定适用场景，但仍然推荐使用global index，其原因有以下几点：...
服务条款
3.1.6.2 当某台机器宕机或故障而造成该机器数据丢失时，云数据库Memcache版 服务整体仍然可用，但存储于该台机器内存中的 云数据库Memcache 缓存数据将会失效；3.1.6.2 当 云数据库Memcache版 服务升级时，云数据库Memcache版 服务整体仍然...
新功能发布记录
资产类目 全面优化表详情 优化 在新版表详情中展示了表的技术元数据（所属库实例、表名、字段等）、业务元数据（表业务描述、表标签等）及管理元数据（表Owner、数据权限等），并提供表的部分快捷操作。您可以在表详情中，全面地了解并高效...
支持的数据脱敏算法
适用于前端展示或敏感数据分享的场景。通过使用特殊字符星号（*）或者井号（#），对部分文字进行遮盖实现敏感数据的脱敏。保留前n后m n、m 敏感类型：个人敏感 适用场景：数据使用 数据分享 保留自x至y x、y 遮盖前n后m n、m 遮盖自x至y x...
上海新能源汽车车辆基础数据
2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，同时借助其产品中间件LTS实现了我们平台数据的冷热分离，有效降低了数据存储成本，依托于阿里...
- 产品推荐
- 这些文档可能帮助您