数据同步简介
基本原理 类似于 MySQL 的 binlog 机制，数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog，当业务需要同步一个变更数据到指定的用户或设备时，业务调用数据同步接口，数据同步服务端会将业务需要同步的数据变更包装为一个 ...
如何配置跨域数据
基本原理：在源站点B（本地API）中加入自定义的HTTP头部，使其他网站可以访问其资源。配置方法：若源站点B的接口数据需要被某一个网站使用，在数据服务器返回的报头信息中加入以下内容。Access-Control-Allow-Origin:http://userA.com 若源...
容器水平伸缩 HPA
HPA 基本原理 HPA 是用来控制 Pod 水平伸缩的控制器，基于设定的扩缩容规则，实时采集监控指标数据，根据用户设定的指标阈值计算副本数，进而调整目标资源的副本数量，完成扩缩容操作。HPA 工作流程如下：通过控制台创建 HPA LHC 支持在...
弹性并行查询（Elastic Parallel Query）常见问题
并行查询的基本原理是有效利用多核CPU并发处理来加速查询，开启并行查询会占用更多的计算资源，并行度设置的过大可能导致集群负载偏高，一般建议不超过CPU核数的1/4。另外并行度超过CPU的核数是没有意义的，当集群有多个RO节点时，可以在8....
MapReduce
本文仅对MapReduce的基本原理做简单介绍，更多详情请参见 Hadoop Map/Reduce教程。说明 您无法通过MapReduce读写 外部表 中的数据。应用场景 MapReduce支持下列场景：搜索：网页爬取、倒排索引、PageRank。Web访问日志分析：分析和挖掘用户...
主从实例读写分离部署（共享存储）
本文介绍高可用方案的一些基本原理以及如何配置共享存储的主从多实例。单实例自动恢复的高可用方案 Hologres计算节点均为容器调度（即下图中的Worker Node），资源管理器（Resource Manager）负责周期性健康检查。当出现1分钟容器响应超时...
概念
更多信息，请参见以下文档：Custom Runtime基本原理 Custom Container简介 自定义域名 您可以为带有HTTP触发器的函数或应用绑定自定义域名，实现通过固定的域名访问该函数或应用。您也可以将配置的自定义域名作为源站域名，为其添加CDN加速...
Stream Load
本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中。Stream Load同步执行导入并返回导入结果。您可以直接通过请求的返回值...
如何抓取 HTTP 报文（Mac OS/Charles）
两者的基本原理几乎一样：在本地架设一个的 HTTP Proxy，所有通过该 Proxy 的 HTTP 报文均可以被截获和解析。对于 HTTPS 协议报文的解析需要提前在客户端配置好 Charles/Fiddler 的 CA Root 证书，保证“中间人”转发的信息被客户端信任，...
Node.js构建vue工程发布到OSS
流水线设计 了解基本原理之后，可以开始配置流水线。流水线的基本组成 进行代码扫描，使用云效内置的“JavaScript 代码扫描”步骤 进行单元测试，使用云效内置的“Node.js 构建”步骤 进行测试环境发布，使用云效内置的“Node.js 构建”...
接入JVM监控数据（新版）
基本原理 Java Management Extensions（JMX）技术是Java SE平台的标准功能，提供了一种简单、标准的监控和管理资源的方式，主要用于监控和管理Java应用的运行状态、资源信息、JVM虚拟机运行情况等信息。JMX还支持通过remote RMI方式进行...
类目预测功能介绍
类目预测基本原理 类目预测的目标是预测搜索的query与类目的相关度，它需要用到历史query数据、点击行为数据、类目下的物品信息数据。具体来说是把之前搜过的query收集起来，结合搜索后的点击行为数据，与类目下的物品信息联系起来，刻画...
Spec细则
本文介绍Custom Runtime的公共请求头、响应码和响应头以及日志格式，您可以参见这些信息打造属于您的自定义运行环境。...相关文档 环境说明 基本原理 事件请求处理程序（Event Handler）HTTP请求处理程序（HTTP Handler）函数实例生命周期回调
Stream Load
本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中。Stream Load同步执行导入并返回导入结果。您可以直接通过请求的返回值...
配置合理的连接参数
它的基本原理是连接建立后，先不销毁，而是放回连接池，当有新的请求，不再创建新的连接，而是从连接池中去申请获取已有连接直接使用，这样就避免了频繁的连接创建和销毁。连接池有两个最关键的参数：最小连接数：连接池中始终维持的最小...
创建混合分区
混合分区原理如下图所示：混合分区的基本原理是将分区表中的分区存储在不同的存储介质上，以达到冷热数据分离管理的目的。比如将热数据存储在本地PFS上，冷数据存储在OSS上，这样可以极大地降低冷数据的存储成本，且不影响热数据的查询性能...
官方公共层使用示例
更多信息，请参见 Custom Runtime基本原理。②：添加路由/，直接返回字符串"Hello World!③：添加路由/invoke，该路由为使用事件请求处理程序的路径。更多信息，请参见 事件请求处理程序（Event Handler）。④：添加路由/initialize，该...
专家成长计划技术培训课程
通过课程的学习，学员将能够了解存储服务的发展，熟悉存储的架构及基本原理，深入理解块存储、OSS、日志服务的概念、功能、使用场景等。本课程包含一定的实验动手操作，我们将为学员准备实验环境及账号信息。现场面授（特殊情况可调整为线...
概述
基本原理与Group Sequence相同；通过扩展参数选项，支持自定义单元数量和单元索引：单元数量决定了单元化 Group Sequence的全局唯一数字序列分配空间；每个单元（由单元索引指定）占用全局唯一数字序列分配空间中的一个子集；不同单元...
HTAP中的行列混存查询优化
本文介绍了查询优化的作用及基本原理，以及列存索引优化器Join Reorder的实现原理。查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价...
实时同步任务告警设置最佳实践
其基本原理为数据处理时间与数据在源端生产时间差。此告警指标为核心告警指标，建议所有重要实时同步任务（Kafka源端实时同步任务建议使用消息堆积量指标监控）均配置。告警阈值根据业务实际需要设置，建议告警阈值为分钟级别，防止由于...
调优原理和执行计划
本文介绍了 PolarDB-X 处理SQL的基本原理及执行计划的概念。分布式数据库架构相对单机数据库有差异，所以在单机数据库调优方法的基础上分布式数据库又有着自身的特点。PolarDB-X 可以基于统计信息、执行计划、并发策略和执行之后反馈的运行...
Stream Load
本文为您介绍Stream Load导入的基本原理、基本操作、系统配置以及最佳实践。适用场景 Stream Load主要适用于导入本地文件或通过程序导入数据流中的数据。说明 本文部分内容来源于Apache Doris，详情请参见 Stream load。基本原理 下面为您...
基本概念
更多信息，请参见以下文档：Custom Runtime基本原理 Custom Container简介 自定义域名 您可以为带有HTTP触发器的函数或应用绑定自定义域名，实现通过固定的域名访问该函数或应用。您也可以将配置的自定义域名作为源站域名，为其添加CDN加速...
网络诊断
本文介绍网络诊断的基本原理、使用方式、以及如何针对常见网络不通的场景定位网络问题和使用网络诊断。重要 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本、负载、Docker、Kubelet等...
聚类分片
基本原理 Proxima CE在检索时有两种划分数据分片的方式：哈希分片与聚类分片。您可以通过设置-sharding_mode 参数来选择具体的索引分片模式，值为 hash 时采用哈希分片，值为 cluster 时采用聚类分片，当前默认采用哈希分片。哈希分片：在...
Routine Load
本文为您介绍Routine Load导入的基本原理、导入示例以及常见问题。基本概念 RoutineLoadJob：提交的一个例行导入任务。JobScheduler：例行导入任务调度器，用于调度和拆分一个RoutineLoadJob为多个Task。Task：RoutineLoadJob被...
【停售/下线】TokuDB引擎转换为InnoDB引擎
原理说明 gh-ost进行转换的基本原理是新建一个与原表结构相同的临时表，然后同步原表数据，全量完成后通过模拟Slave进程读取Binlog，实时同步数据到临时表。最后在业务低峰时间段重命名表进行切换。此方案主要压力来自全量数据初始化时的IO...
事件驱动弹性
事件驱动弹性的原理 ACK通过增强版本的ack-keda来提供事件驱动弹性能力，下图是ack-keda的基本原理。ack-keda会从事件源中进行数据的周期性消费。当消息出现堆积，即可秒级触发一个批次的离线任务伸缩。下一个周期到来时，会异步进行下一个...
Broker Load
本文为您介绍Broker Load导入的基本原理、基本操作、系统配置以及最佳实践。背景信息 因为Doris表里的数据是有序的，所以Broker Load在导入数据时需要利用Doris集群资源对数据进行排序，相对于Spark Load来完成海量历史数据迁移，Broker ...
列存索引如何实现高效数据过滤
基本原理与方法 分区信息剪枝 IMCI的分区剪枝技术是指在查询时根据分区键的条件来过滤不需要查询的分区，从而减少查询的数据量和提高查询效率的技术。IMCI支持的分区类型包括RANGE、LIST、HASH三种。其中，RANGE和LIST分区会把数据表分成...
Routine Load
本文为您介绍Routine Load导入的基本原理、导入示例以及常见问题。基本概念 RoutineLoadJob：提交的一个例行导入任务。JobScheduler：例行导入任务调度器，用于调度和拆分一个RoutineLoadJob为多个Task。Task：RoutineLoadJob被...
试看视频
试看的基本原理是：播放端携带含有指定试看时长信息的试看地址（CDN加速地址）访问服务，云端对试看地址鉴权。鉴权通过则返回指定的文件内容，否则拒绝访问并返回403。下图展示了点播试看的实现流程：点播用户配置CDN加速域名并开启试看...
Spark Load
本文为您介绍Spark Load导入的基本概念、基本原理、使用示例、最佳实践以及常见问题。背景信息 Spark Load是一种异步导入方式，您需要通过MySQL协议创建Spark类型导入任务，并可以通过 SHOW LOAD 命令查看导入结果。说明 本文图片和部分...
MongoDB实例空间使用率高问题
compact⽆效 compact的基本原理并不是⽴⻢开辟新的空间存放数据来替换原来的⽂件，⽽是将数据不断地往前⾯的空间空洞挪动，所以在某些场景下虽然存在空间空洞，但内部的compact算法并不能保证肯定可以复⽤这些空洞，我们称之为compact无效...
MQTT客户端上下线事件数据流出
基本原理 在客户端上线和下线事件触发时，MQTT服务器会根据您配置的客户端上下线通知规则，向后端其他云产品推送一条上下线消息。业务应用一般部署在阿里云的服务器上，业务应用通过向后端云产品订阅这条消息来获取所有客户端的上下线动作...
导入概述
基本原理 导入执行流程如下图所示。一个导入作业主要分为以下五个阶段。阶段 描述 PENDING 非必须。该阶段是指用户提交导入作业后，等待FE调度执行。ETL 非必须。该阶段执行数据的预处理，包括清洗、分区、排序和聚合等。LOADING 该阶段先...
通过Spark导入数据
本文介绍使用Spark SelectDB Connector同步数据至 云数据库 SelectDB 版 的基本原理和使用方式。功能介绍 Spark SelectDB Connector是云数据库 SelectDB 版导入大批量数据的方式之一。基于Spark的分布式计算能力，您可以将上游数据源...
写入或更新调优指南
基本原理 在了解写入或更新的调优手段前，先了解基本的原理，以帮助业务在使用过程中，对不同写入模式的写入性能有着更加合理的预估。不同表存储格式的写入或更新性能。全列写入或更新时，性能排序如下。行存>列存>行列共存。部分列写入或...
通过SDK开发和构建SGX2.0应用
基本原理 SGX2.0应用由untrusted不可信区和trusted可信区两部分组成：untrusted：如果代码和数据运行在普通非加密内存区域，程序 main 入口必须在非可信区。SGX程序原理图中的 main()和 bar()函数均在非可信区。trusted：如果代码和数据...
- 产品推荐
- 这些文档可能帮助您