2022年
通过实时计算Flink写入数据 通过实时计算Flink读取AnalyticDB PostgreSQL版数据 优化 优化插入或更新字段过长提示信息 更新或插入数据时，如果写入的字段长度超过定义的长度，系统会返回字段长度过长的错误信息并提示过长字段的信息。...
计费方式优化-节省计划
数据时效：每天刷新一次方案，支持3天之前的数据测算（例如：5月10日登录查看，可以看到的数据的最后日期为5月7日）说明 节省计划购买方案优化建议是根据您的历史消费数据，通过消费预测算法、优化建议算法得出的结果，仅作为购买建议的...
AI加速概述
PAI-AI加速器主要用于训练加速和推理加速，它通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段，提高了AI训练和推理的速度、易用性和稳定性，全面提升了AI计算的效率。本文为您介绍AI加速器的功能亮点。AI加速器功能...
功能简介
洞察是一款自助式数据挖掘分析型，面向业务管理者、运营、业务分析师等人员提供低使用门槛的智能、自动化、全面、精准的数据诊断和分析能力，智能发现数据规律或异常，实现从数据到知识的提取，辅助业务决策。几乎每个业务每天都存在业务...
兼容PostgreSQL 14版本公测结束，正式版上线
大表IN查询优化 PostgreSQL 14版本支持 linear search TO hash table probe，提升IN语句的处理性能，在多条件或被过滤掉的数据量大的SQL中性能显著提升。支持LZ4压缩算法 PostgreSQL 14版本支持用户选择LZ4算法进行数据列压缩的能力，提高...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
应用场景
典型业务场景：电商零售智能搜索、内容社区智能搜索、游戏智能搜索、教育搜题等 适用客户：开箱即用，适合有智能搜索诉求的中小企业及开发者 高性能检索版 版本特性：大数据检索性能深度优化，实现秒级响应，实时查询能力，支持一站式快速...
Beam使用
Auto Optimize是后台的数据优化进程，会自动对您的Beam表进行过期数据回收，小文件合并和数据按照排序键聚集操作，从而保障查询性能。一般情况下，该操作都会由后台进程自动完成，您也可以通过 OPTIMIZE beam_example;命令手动触发Optimize...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理...通过对集群中各种信息进行融合分析，并根据智能算法进行智能诊断分析，减少大数据平台繁重和重复的劳动。
SQL性能问题
KEY VALUE函数使用单字符的分隔符 KEY VALUE的签名：KEYVALUE(content,keyValueSplit,keySplit,keyName)，当keyValueSplit和KeySplit是单字符，例如，冒号（:）、逗号（,）时，系统会使用优化算法，在二进制数据上直接寻找所需的keyName值...
优化数据转换
Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型：Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章：优化数据转换
什么是开放平台
阿里云工业开放平台是基于阿里云大数据的一体化计算平台，通过数据工厂对企业系统数据、工厂设备数据、传感器数据、人员管理数据等多方工业企业数据进行汇集，并借助图像、视频识别、机器学习和人工智能算法，来激活海量数据价值。...
高维向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理参见下图。算法流程说明：构造多层图，每层图都是下层图...
高维向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理参见下图。算法流程说明：构造多层图，每层图都是下层图...
高效向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理请参见下图。算法流程说明：构造多层图，每层图都是下层...
2019年
本章节介绍了2019年数据传输服务DTS（Data Transmission Service）产品功能和对应的文档动态。更多新功能介绍 详情请参见 数据传输服务产品动态。2019年 发布时间 发布内容 相关文档 2019年12月 支持迁移PostgreSQL 11版本数据库。从自建...
机器学习开发示例
数据展示，打印schema%pyspark data.show(5)data.printSchema()数据打印 步骤三：准备ML算法数据 说明 在监督学习（例如回归算法）中，通常需要定义标签(lable)和一组要素(features)。在此线性回归示例中，标签为2015年中位数销售价格...
高性能Flink SQL优化技巧
KEY VALUE函数使用单字符的分隔符 KEY VALUE的签名：KEYVALUE(content,keyValueSplit,keySplit,keyName)，当keyValueSplit和KeySplit是单字符，例如，冒号（:）、逗号（,）时，系统会使用优化算法，在二进制数据上直接寻找所需的keyName值...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
Tair集群无感扩缩容
Tair 推出的新一代以Slot复制为原理的无感迁移数据架构，优化实例内部线程调度算法，高效、准确地控制集群行为，支持真正的无感扩缩容。下文详细介绍了社区版Redis集群、云数据库Redis集群扩缩容方案的不足以及 Tair 集群版无感扩缩容方案...
Tair集群无感扩缩容介绍
Tair推出的新一代以Slot复制为原理的无感迁移数据架构，优化实例内部线程调度算法，高效、准确地控制集群行为，支持真正的无感扩缩容。下文详细介绍了社区版Redis集群、云数据库Redis集群扩缩容方案的不足以及Tair集群版无感扩缩容方案。...
PolarDB处理TPC-H查询的挑战和机遇
连接性能（Join Performance）Large Joins Large Joins 是指数据量较大的join，常见的join算法有hash-based、index-based，可能会有二次回表的开销，引发较多随机IO，但如果数据都在内存中可能会避免这种情况。TPC-H中最大的两个表 Order ...
分解类算法参数调优
分解完成后，再使用esd算法对残余项进行异常检测：算法会为每一个数据点分解得到的残余项计算异常分数anomalyScore，而算法的输入参数 esd.alpha 会决定检测阈值threshold，若满足 anomalyScore>threshold，则该数据点异常，反之该数据点...
下载美颜特效SDK
人脸面部识别关键点算法优化升级，效果更好，覆盖场景更广。美颜效果新增背景高保真处理。性能优化，提升中低端机的运行性能。2021-12-08 V1.6.0 功能升级：包体大裁剪，包体减小一半，性能提升显著。人脸面部识别关键点算法全新升级，速度...
高性能能力
优化器 优化器是整个数据库最有吸引力的模块之一，主要包括两种：逻辑优化器和物理优化器。逻辑优化器主要做查询改写等操作的优化，可以产生更优的计划或者更大的搜索空间。物理优化器主要对连接顺序，连接算法，访问路径进行优化，同时会...
应用场景
企业通过云端汇总、打通生产关键环节数据，以测试/检测数据为主体，使用算法模型进行制程能力的综合分析、评估、优化。最终，检测指标项从平均300个点位降到200个，产品整体调试效率优化35%。能耗优化 您可以使用工业大脑平台，对产业能耗...
什么是推荐全链路深度定制开发平台PAI-REC
DataWorks、MaxCompute 是基于云原生的两款大数据服务，可搭配使用，针对推荐系统中特征处理、样本生成、画像管理、模型调度、数据更新等环节，提供了易用的开发工具和稳定的数据环境，如您有除DataWorks、MaxCompute之外的大数据服务选型...
Cost-based SQL诊断引擎
和其它公司一样，在阿里巴巴业务场景下，大部分业务跟数据库有着非常紧密的关系，数据库一个微小的抖动都有可能对业务造成非常大的影响，如何让数据库更稳定，得到持续优化一直都是非常重要的诉求。数据库环境下的业务优化，通常涉及三个...
常用错误码ErrorCode
检查NODE节点数设置-9004 连续未能发现更优解的节点数超过限制 求解失败，检查问题模型，或联系我们-9011 您选择的优化算法当前不支持 检查求解方法设置、License授权范围，检查新版本，或联系我们-9012 求解器不支持求解输入的问题 检查...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
亿海蓝-航运大数据的可视化案例
示例使用场景如下：大宗航线繁忙度分析 铁矿石LNG等货种航线分布 港口业务强度分析 内河横向截面的多航道通行量研究 区域内船舶周期性活动强度研究 对政策面影响区域业务活动强度的研究 业务挑战 数据访问要求高效性。一旦数据查询性能低，...
RDS与自建数据库对比优势
云数据库RDS提供高可用、高可靠、高安全、可扩展的托管数据库服务，在性能等同于商业数据库的同时，其价格相比ECS自建数据库和自购服务器搭建数据库更加低廉，能够节约大量部署及维护成本。价格对比 费用 云数据库RDS ECS自建数据库 自购...
上海新能源汽车车辆基础数据
客户简介 上海市新能源汽车公共数据采集与监测研究中心（以下简称“数据中心”）是2014年底由上海市社会团体管理局批准注册成立，由上海市经济和信息化委员会负责业务指导，是上海市的新能源汽车市级监管平台，其主要职责是对上海市推广的...
2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 Serverless实例的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年10月（V...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
OpenSearch产品选型
数据更新 API/SDK更新，和订阅DTS自动同步更新 API/SDK更新，或订阅DTS自动同步更新 API/SDK更新 API/SDK更新 数据备份 应用无数据源时，支持继承线上应用数据 不支持 API数据源，支持从历史索引恢复数据 API数据源，支持从历史索引恢复...
- 产品推荐
- 这些文档可能帮助您