PolarDB处理TPC-H查询的挑战和机遇
Oracle近期也推出了其云上的Heatwave service（RAPID），本质就是一个分布式的in-memory column store，利用Oracle一些特殊的硬件优化技术配合列存的向量化和压缩态计算来实现高性能计算，以及利用in-memory的Binlog快速同步来支持一致性...
PolarDB并行查询
两个阶段没有重叠，这样就实现了全阶段的并行，但Parallel Hash join也有自身的问题，例如：共享Hash Table过大导致spill to disk问题，并行插入虽然无锁，但仍有“同步”原语带来的cache invalidation。Partition Hash join Partition ...
控制台发布记录
资源包计算器：您可以根据您的业务情况和使用时长预估所需的计算量和存储容量，并给出所需的存储包和计算包的规格建议。价格计算器：根据所选的集群细节以及存储大小，预估整体费用。2023-08-16 无 2023年7月 功能名称 功能描述 发布时间 ...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
PolarDB HTAP实时数据分析技术解密
该方法的优点为：计算模型简单直接，通过把不同物理算子抽象为迭代器。每一个算子只关注其内部逻辑，各个算子之间的耦合性降低，从而比较容易写出一个逻辑正确的执行引擎。IMCI执行引擎中，每个Operator使用迭代器函数来访问数据。不同的是...
列存索引技术架构介绍
在存储层将数据分片到不同的线程上，由多个线程并行计算，并将结果流水线汇总到总线程。最后，总线程做简单归并返回给用户，以提高查询效率。并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
2021年
跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为...
常见问题
本文汇总了StarRocks使用时的常见问题。业务测试评估 硬件资源有什么要求？软件配置有什么要求？数据模型和表定义 生产环境下的副本数应该设置为多少？如何分区？如何分桶？如何设计排序键？如何合理的选择数据类型？数据导入常见问题 业务...
API详情
模型概览 您可以通过SDK或HTTP调用的通义千问系列模型如下表所示：模型名称 模型简介 模型输入/输出限制 qwen-turbo 通义千问 超大规模 语言模型，支持中文、英文等不同语言输入。模型支持8k tokens上下文，为了保证正常的使用和输出，API...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
文档修订记录
EMR Hive数据整库离线同步至MaxCompute 2023.4.17 优化体验 管理控制 在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。...
小文件优化及作业诊断常见问题
问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版 具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态：存储计算分离部署、X-...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版（兼容Oracle）具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版（兼容Oracle）支持多种部署...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
Prompt最佳实践
Prompt 工程简介 Prompt（提示词）是一个指令、问题或者语句，能被 用来引导或指示一个语言模型生成特定的文本输出。Prompt是用户与语言模型交互的起始点，它告诉模型用户的意图，并且期望模型能以有意义且相关的方式回应。通过精心设计的...
常见问题
一般性常见问题 什么是 表格存储？表格存储 面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供...
2023年
MaxCompute服务不可用赔付案例说明 2023-07-25 新增MaxCompute停止服务规格转换操作指引 新说明 阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务，您需要将这些版本的计算资源转换为...
实时推理场景
模型服务预热 为了解决模型上线后初次请求耗时较长的问题，函数计算为您提供了模型预热的功能。模型预热的目的是使模型上线后即可进入正常的服务状态。函数计算推荐您配置实例的 initialize 生命周期回调功能来实现模型预热，函数计算会在...
插件调用详细说明
重要 模型插件调用需"申请体验"并通过后才可使用，否则API调用将返回错误状态码。Dashscope插件功能能够使得大模型的生成内容与外部三方应用结合，使得模型生成的内容更加准确和丰富，模型将拥有更好的生成能力。您也可以通过开发自定义...
确定需求
您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确...
获取平台模型最新状态
通过将平台最新的模型下拉到本地，防止插件里的模型缓存与平台模型存在不同步的情况导致问题。通常BizWorks Toolkit插件内部会在需要的时候（例如上报前）自动获取更新，但您仍可以在平台有改动后立即操作更新，以查看最新的平台模型信息和...
数据加工过程卡点校验
例如，对于财务报表，如果业务系统的改造影响财务报表的计算，导致约定好的计算口径被业务系统变更修改，则这种情况必须告知离线开发人员，离线开发人员也必须主动关注这类发布变更通知。说明 发布平台不是指阿里云提供的发布平台，只是一...
API详情
模型概览 您可以通过API使用的通义千问系列模型详情如下表所示：模型名称 模型简介 模型输入/输出限制 qwen-turbo 通义千问 超大规模 语言模型，支持中文、英文等不同语言输入。模型支持8k tokens上下文，为了保证正常的使用和输出，API...
查询执行器介绍
对于简单的点查SQL，往往可以整体下推存储层MySQL执行，因而感觉不到执行器的存在，MySQL的结果经过简单的解包封包又被回传给用户。但是对于较复杂的SQL，往往无法将SQL中的算子全部下推，这时候就需要 PolarDB-X 1.0 执行器执行无法下推的...
常见问题
[视觉计算服务]适用于哪些用户场景，解决哪些问题？序号 用户场景 解决问题 1 视频监控在民警侦查办案、治安防控中扮演着越来越重要的角色，但肉眼看视频费时费力，很多小案件因为看视频成本太高而被放弃 如何提升民警用视频侦查办案的效率...
用户洞察常见问题
如计算源中的数据已更新，您可以通过重新导入数据表、更新AIPL模型、RFM模型、自定义标签、人群的方式，将最新数据同步到Quick Audience，否则用户分析、人群分析时只能使用滞后的数据，分析结果可能不能反映用户最新情况。重新导入数据表...
StarRocks概述
高效更新 StarRocks支持明细模型、聚合模型、主键模型和更新模型，其中主键模型可以按照主键进行Upsert或Delete操作，通过存储和索引的优化可以在并发更新的同时实现高效的查询优化，更好的服务实时数仓的场景。智能物化视图 StarRocks支持...
弹性并行查询（Elastic Parallel Query）常见问题
并行查询的执行分为1个leader线程和多个worker线程，worker线程负责并行计算，leader线程负责汇聚结果并返回。一个查询语句中并不是所有算子都能下推到worker上执行，部分算子会留在leader上执行，如果留在leader上执行的算子比较耗时，就...
LightGBM
否 100[1,10000]测试集比例 测试模型的数据占总输入数据的比例，用于计算模型的评价指标。是 0.2[0,1]测试集生成方式 根据选定方式，选取部分数据作为测试集，剩余部分作为训练集。随机：按比例随机从输入数据中截取n条数据作为测试集。...
背景
模型和案例丰富，专家在线支持 表格存储针对不同业务场景提供了相应的数据模型，简化业务的设计和开发，例如消息和Feed流提供Timeline模型，时序数据提供Timestream模型，科学大数据的多维网格数据提供Grid模型等。针对典型业务场景，提供...
2019年
本文介绍了SchedulerX产品在2019年发布涉及的新增功能...支持单机执行、广播执行、并行计算、内存网格、网格计算。支持Map和MapReduce分布式编程模型。支持任务实例级别和子任务级别的失败自动重试（默认不重试）。支持数据时间和重刷数据。无
什么是实时数仓Hologres
亚秒级交互式分析 Hologres采用可扩展的大规模并行处理（MPP）架构全并行计算，通过向量化算子发挥CPU最佳算力，基于AliORC压缩存储，面向SSD存储优化IO吞吐，支持PB级数据亚秒级交互式分析体验。在线高性能主键点查 基于行存表的主键索引...
灵骏常见问题
本文为您介绍智能计算灵骏的常见问题。如何创建、删除集群下的节点分组？您有两种方式为灵骏集群创建分组。创建集群时，为集群创建分组。更多信息，请参见 集群和分组配置。创建集群完成后，为已有的集群创建分组。在左侧导航栏，选择 资源...
通过脚本模式配置离线同步任务
说明 任务整体同步速度除受到上述配置影响外，还受源端数据源性能，同步网络环境等多方面影响，关于同步速率说明与调优，详情请参见 离线同步任务调优。步骤五：配置调度属性 周期性调度的离线同步任务需要配置任务自动调度时的相关属性，...
通过向导模式配置离线同步任务
说明 任务整体同步速度除受到上述配置影响外，还受源端数据源性能，同步网络环境等多方面影响，关于同步速率说明与调优，详情请参见 离线同步任务调优。步骤六：配置调度属性 周期性调度的离线同步任务需要配置任务自动调度时的相关属性，...
OpenSearch-行业算法版计费概述
模型类型 存储容量 计算资源 模型训练价格（元/计算时）预估模型训练消耗计算时 文本分析器模型 每个分析器模型的每个版本占用1G存储资源 每次搜索请求固定增加2LCU，每返回一个搜索结果，消耗0.01LCU 3.87 按照最小化训练数据，需消耗250...
功能特性
函数级按量实例伸缩控制 触发器管理 管理触发器 函数计算提供一种事件驱动的计算模型。函数的执行是由事件驱动的。您可以在指定函数中创建触发器，该触发器描述了一组规则，当某个事件满足这些规则，事件源就会触发关联的函数。触发器简介 ...
创建同步任务
重要 当脏数据过多时，会影响同步任务的整体同步速度。不配置时默认允许脏数据，即任务产生脏数据时不影响任务执行。配置为0，表示不允许脏数据存在。如果同步过程中产生脏数据，任务将失败退出。允许脏数据并设置其阈值时：若产生的脏数据...
- 产品推荐
- 这些文档可能帮助您