DMS中表维护的操作说明
本文介绍在DMS中进行表...扩展：加上extended参数，即 repair table<表名>extend，修改数据文件和索引文件，试图从数据文件恢复每一行，需要逐行重建索引。说明 执行速度为常规>快速>扩展。分析表 分析表使用的命令是 analyze table<表名>。
DMS中表维护的操作说明
本文介绍在DMS中进行表...扩展：加上extended参数，即 repair table<表名>extend，修改数据文件和索引文件，试图从数据文件恢复每一行，需要逐行重建索引。说明 执行速度为常规>快速>扩展。分析表 分析表使用的命令是 analyze table<表名>。
OSS性能与扩展性最佳实践
如果您在上传大量文件（Object）时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间（Bucket）中的某个特定分区的情况。此时如果您的请求次数过多，会导致请求速率下降。出现此类问题时，建议您...
动态修改schema
动态修改schema操作包括为源索引创建灰度索引并修改多元索引schema、等待表数据全部同步到灰度索引、设置权重进行A/B测试、交换源索引和灰度索引的schema和删除灰度索引五个步骤。功能概述 表格存储数据表是schema free的，而多元索引是强...
定时索引重建
目前有4种操作会触发索引重建：定时索引重建：一般用于 MaxCompute 等数据源每天导入全量的用户数据使用。线下变更：修改应用结构、索引或属性结构等等时触发索引重建。定时索引重建 创建 定时索引重建 任务，可以每天在指定时间自动执行...
ALTER INDEX
语法 alter_index_statement:=ALTER INDEX[index_name]ON table_name index_state 创建索引后，如果数据库中有存量历史数据需要执行 BUILD INDEX 操作，具体操作请参见 BUILD INDEX。参数 参数说明如下表：参数 说明 index_name 索引表名。...
ECS服务器的外网地址ping不通的排查方法
Windows系统：具体操作请参见 Windows实例ping外网地址提示“一般故障”。运营商问题：检查运营商是否存在网络问题，如公网运营商链路中断，路由震荡等。具体操作请参见 使用ping命令丢包或不通时的链路测试方法。相关文档 ECS实例间ping...
使用限制
一个普通的PolarDB表（非分区表）占用3个文件（数据文件、visibilitymap文件、fsm文件，使用索引的话，每个索引一个文件）。文件数量达到上限后，继续创建表会提示类似以下错误：could not create file 此时需要删除部分表或者升级集群规格...
使用限制
一个普通的PolarDB表（非分区表）占用3个文件（数据文件、visibilitymap文件、fsm文件，使用索引的话，每个索引一个文件）。文件数量达到上限后，继续创建表会提示类似以下错误：could not create file 此时需要删除部分表或者升级集群规格...
Bloom过滤器索引
说明 详细内容可参考Databricks官网文章：Bloom过滤索引 如果在表的某列上创建了布隆过滤器索引，并且使用 where col="something"作为查询条件，那么在扫描表中文件时，我们可以使用布隆过滤器索引得出两种结论：文件中肯定不包含 col=...
索引顾问
索引顾问（Index Advisor）可以帮助您确定应该对哪些列编制索引，以提高指定工作负载中的性能。索引顾问仅识别二叉树类型索引（单列或复合），不识别可提高性能的其他索引类型，例如GIN、GiST、Hash等。索引顾问简介 索引顾问会尝试对...
InputFile
名称 类型 描述 示例值 object 用于建立索引（如 IndexFileMeta）或更新索引（如 UpdateFileMeta）时的文件信息。URI string 必填项，本次请求进行索引、进行元数据更新的文件对象地址。支持 OSS 和 PDS 的 URI 地址。OSS 地址规则为 oss:/...
模拟访问测试（可选）
您需要将步骤2得到的IP地址和服务域名绑定到电脑本地hosts文件中，绑定顺序为IP地址在前，服务域名在后，顺序不能颠倒。本文以服务域名为example.com，生成的CNAME地址为example.com.w.kunlunsl.com，ping example.com.w.kunlunsl.com得到...
通过索引生命周期管理实现冷热数据分离
例如在 步骤二：为索引配置生命周期管理策略 时，设置 max_docs 为1000，但doc数量在超过1000后才触发索引滚动更新，此时可通过修改 indices.lifecycle.poll_interval 参数来控制检查频率，使索引在阈值范围内滚动更新。注意 请慎重修改该...
模拟访问测试（可选）
您在CDN控制台成功添加加速域名后，为保证DNS解析可以顺利切换而不影响现有业务，建议您先在本地测试加速域名，验证加速域名访问正常后，再将加速域名的DNS解析记录指向CNAME域名。本文介绍如何在本地测试加速域名。说明 模拟访问等同于...
词典配置
添加自定义干预词条 分词bad case：用户某条doc内容为“乒乓球拍卖完了”，当用户搜索“球拍”时无法将其召回，原因是因为“乒乓球拍卖完了”分词后的内容为“乒乓/球/拍卖/完了”，由于搜索query分词后的item与doc内容分词后的item无法...
词典配置
添加自定义干预词条 分词bad case：用户某条doc内容为“乒乓球拍卖完了”，当用户搜索“球拍”时无法将其召回，原因是因为“乒乓球拍卖完了”分词后的内容为“乒乓/球/拍卖/完了”，由于搜索query分词后的item与doc内容分词后的item无法...
通过OpenStore智能混合存储实现海量数据存储
该方式虽然能够实现长期日志数据归档，但是存储后不能直接进行查询，查询前需要调用相关API把快照信息恢复到集群中，等待快照中的索引初始化完成后再进行查询，面临着查询复杂度大、长时间存储成本高的问题。OpenStore存储引擎是阿里云...
新旧版本使用指引
更新数据集 UpdateSet-更新媒体集的显示名称 GetDataset-查询数据集信息 GetSet-获取媒体集信息 ListDatasets-列出数据集 ListSets-获取媒体集列表 DeleteDataset-删除数据集 DeleteSet-删除媒体集 元数据索引 IndexFileMeta-文件元信息...
重启实例或节点
注意事项 如果集群整体负载不高且索引存在副本分片，一般情况下重启过程中可对外持续提供服务。但在某些场景下，重启过程中可能会出现访问超时，例如强制重启并发度高、集群负载很高并且已经存在集群访问不可用的情况、没有副本分片、在...
通过OpenStore自定义冷热存储实现海量数据存储
该方式虽然能够实现长期日志数据归档，但是存储后不能直接进行查询，查询前需要调用相关API把快照信息恢复到集群中，等待快照中的索引初始化完成后再进行查询，面临着查询复杂度大、长时间存储成本高的问题。OpenStore存储引擎是阿里云...
使用时序查询剪枝功能
阿里云Elasticsearch使用时序查询剪枝功能 引入时序字段参与索引合并，合并过程中考虑了时间顺序和文件大小两个因素，时间相邻的数据会被合并在同一个段，提升数据连续性。查询时按时间范围对数据进行裁剪，查询性能提升了40%。说明 本文中...
ALIYUN:ElasticSearch:Instance
Watcher":String,"DestructiveRequiresName":Boolean,"AuditLog":Boolean,"OtherConfigs":Map } YMLConfig属性 属性名称 类型 必须 允许更新 描述 约束 CreateIndex String 否 否 当Elasticsearch实例接收到新文件后，如果没有对应索引，...
概述
Historical组件负责索引后的历史数据的存储，数据存储在deep storage。Deep storage可以是本地，也可以是HDFS等分布式文件系统。Indexing service包含以下两个组件：Overlord组件负责索引任务的管理、分发。MiddleManager负责索引任务的...
索引结构
索引表结构介绍 每个Document都是由多个field组成，每个field中包含一系列的词语，构建索引的目的是为了加快检索的速度，根据映射关系方向的不同，索引可以分为：字段（filed）：用于定义索引表的字段名及字段类型。倒排索引（index）：倒...
倒排索引介绍
什么是倒排索引 倒排索引也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引，可以快速定位单词所在...
向量计算使用指南
Hologres V2.0.11版本起，支持先导入数据、再创建向量索引，无需对compaction过程中的文件构建向量索引，缩短索引创建时间。先创建向量索引、再导入数据：适用于实时数据场景。设置单个索引 BEGIN;CREATE TABLE feature_tb(id bigint,...
倒排索引介绍
什么是倒排索引 倒排索引也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引，可以快速定位单词所在...
Proxima向量计算
Proxima的基本模型 分为索引构建和在线检索两部分：索引构建：索引构建从原始向量数据中构建出相关索引文件，并传予在线检索模块加载使用。支持Brute Force、KD-Tree、Product Quantization、KNN Graph、LSH 等。在线检索：在线检索加载完...
基于Indexing Service实现数据流管理
{"min_age":"7d","actions":{"delete":{"delete_searchable_snapshot":true } } } } } } 以上新建的索引生命周期策略表示，当托管索引满足以下任意条件时，将触发滚动更新，生成新的后备索引，原索引保留7天后将自动删除：写入文件数超过...
故障协同处理（基于钉钉）
2.故障应急场景群：事件升级故障后，群内推出 故障处理中 消息卡片，如果满足自动生成故障场景群的需求（下文详细介绍创建故障场景群逻辑），故障场景群内同时推出 故障处理中 消息卡片。本群故障消息卡片包含按钮：签到、签到记录、应急...
CREATE INDEX
每一个分区首先会被检查是否有一个等效的索引存在，如果有则该索引将被挂接为被创建索引的一个分区索引，而被创建的索引将成为其父索引。如果不存在匹配的索引，则会创建一个新的索引并且自动进行挂接。如果命令中没有指定索引名称，每个...
集群容量规划
索引数据膨胀：数据一般膨胀在20%。搜索引擎预留：记录事务log、定期的compaction数据合并等，建议预留20%。操作系统预留：系统默认预留5%的存储空间。系统安全阈值：为保障整个集群的稳定运行，建议预留20%的存储空间，存储使用率到80%时...
录制文件管理
直播录制结束后，可以通过阅读本文，了解怎样在视频直播控制台查看和管理录制的文件。录制存储方式 视频直播提供以下两种录制文件的存储方式，您可以根据需要进行选择：录制存储至OSS：OSS Bucket必须与播放域名的直播中心同地域，不支持跨...
本地验证
您可以在将 hosts 文件复原后，放心修改域名的DNS解析，将网站流量解析到WAF进行防护。更多信息，请参见 修改域名DNS解析设置。如果网站访问不正常，说明WAF中添加的域名设置可能有问题，建议您检查WAF中的域名接入设置，修复问题后重新...
通过VPN网关实现本地数据中心访问阿里云NAS
确认ping通后，在本地数据中心的服务器上挂载VPC内的文件系统。具体操作，请参见 挂载文件系统。跨地域挂载文件系统至ECS 已部署一台VPN网关时跨地域挂载文件系统 此处以处于不同地域的VPC1和VPC2为例进行说明。创建文件系统和挂载点。登录...
故障排查
本文介绍阿里云容器服务ACK集群在使用过程中常见问题的故障分析和排查流程。ACK集群异常 添加Kubernetes集群节点的常见问题 容器镜像仓库构建服务失败问题排查 容器镜像服务源码绑定失败问题排查 Kubernetes集群如何指定安全组 Kubernetes...
数据流管理
数据流管理功能可以实现跨多索引存储，且仅追加时间序列数据，同时为请求提供唯一的命名资源。本文介绍如何创建数据流、查看或删除数据流、滚动更新数据流等。背景信息 数据流管理功能适用于日志、事件、指标和其他连续生成数据的场景。...
本地验证
您可以在将 hosts 文件复原后，放心修改域名的DNS解析，将网站流量解析到WAF进行防护。更多信息，请参见 修改域名DNS解析设置。如果网站访问不正常，说明WAF中添加的域名设置可能有问题，建议您检查WAF中的域名接入设置，修复问题后重新...
503错误
解决方案：单个账号的总QPS为10,000，但在不同的读写方式下，实际能达到的值如下：顺序读写：2,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的...
- 产品推荐
- 这些文档可能帮助您