分区分裂
场景 3：目标分区为模板化的二级分区 当二级分区是模板化分区时，可以通过分裂语法直接将某个模板二级分区分裂，分裂模板二级分区会使所有的一级分区下的子分区同时分裂。模板化二级分区是Range/Range column策略的分区表分裂 表级用法 ...
热点分区分裂
若要对二级分区进行分区分裂操作，要求 PolarDB-X 实例版本必须为5.4.17-16952556及以上。对于热点分裂，只适用于包含key分区策略（一级分区或者二级分区是key分区皆可）的数据表。名词解释 表组：分区列完全相同的一组逻辑表或全局索引表...
管理Shard
满足分裂条件的Shard，各自进行分裂，分裂总数不会超过您所设定的最大分裂数。最大分裂数 Shard自动分裂的最大总数目。开启自动分裂Shard功能后，最多支持自动分裂至256个readwrite状态的Shard。合并Shard 当数据读写流量远达不到Shard的...
使用Python SDK管理Shard
本文通过代码示例介绍如何查询、分裂、合并Shard。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请参见 配置...
SplitShard
调用SplitShard接口分裂一个指定的readwrite状态的Shard。接口说明 Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有所有API的访问权限...
split_shard
调用CLI命令分裂指定Logstore的Shard。请求语法 aliyunlog log split_shard-project_name=<value>-logstore_name=<value>-shardId=<value>-split_hash=[-access-id=][-access-key=][-sts-token=][-region-endpoint=][-client-name=][-jmes-...
使用Java SDK管理Shard
本文通过代码示例介绍如何查询、分裂、合并Shard。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请参见 配置...
分区（Shard）
分裂操作是指将一个Shard分裂为另外两个Shard，即分裂后Shard数量增加2。两个新生成的Shard的状态为readwrite，排列在原Shard之后且两个Shard的MD5范围覆盖原Shard的MD5范围。分裂Shard时，需指定一个处于readwrite状态的Shard。分裂完成后...
概述
不同分区策略下支持的分区变更操作类型 操作语义 Hash Key Range Range Columns List List Columns CoHash 分裂分区 将一个分区分裂为多个 支持 支持 支持 支持 支持 支持 支持 分裂热点 基于热点值进行分裂操作 不支持 支持 不支持 不支持...
表分区定义
分裂分区语句中指定的分裂值会被分在后一个分区中。将2017年1月的分区分裂成两个分区，一个分区包含1月1号至15号，第二个分区包含1月16号至31号，分裂分区的示例语句如下：ALTER TABLE sales SPLIT PARTITION FOR('2017-01-01')AT('2017-01...
LightGBM
同每层分裂(Level-wise)相比，在分裂次数相同的情况下，叶分裂(Leaf-wise)可以降低更多的误差，得到更好的精度。当样本量较小的时候，leaf-wise 可能会造成过拟合。所以，LightGBM 可以利用参数"最大树深度"来限制树的深度并避免过拟合。...
格子
本文档介绍格子在流式布局画布中的操作方法，包括格子高度调整、分裂格子和删除格子等，帮助您更加方便快捷地在移动端可视化应用中对格子进行配置。DataV提供了格子调整高度、分裂格子等功能，使流式布局画布中内容操作更流畅。您可以在...
格子
本文介绍格子在流式布局画布中的操作方法，包括格子高度调整、分裂格子和删除格子等，帮助您更加方便快捷地在移动端可视化应用中对格子进行配置。操作功能 DataV提供了格子调整高度、分裂格子等功能，使流式布局画布中内容操作更流畅。您...
性能指南
关于Shard分裂请参见 分裂Shard。数据加工性能 数据加工速率与加工规则有关，具体体现如下：写出输出 与事件大小相关。写出事件越多（事件进行了分裂），写出事件字段越多，内容越长，写出的数据包计算与网络量消耗越大，则速度越慢。反之...
加工原理
分裂并行 在第2步中，假如 log_type 字段的值是 access 和 alert，e_split("log_type")表示根据字段 log_type 的值分裂成两条事件，分裂后的两条事件除字段值分别为 access 和 alert 以外，其余完全一样。分裂后的每条事件都会分别继续进行...
使用限制
重要 数据加工任务运行并发度不足不会触发源数据Logstore的 自动分裂Shard 功能，需要手动分裂源数据Logstore的Shard，才能提高加工任务的运行并发度。自动分裂Shard 操作请参考 管理Shard。分裂源数据Logstore的Shard提升任务的最大运行时...
数据加工
重要 数据加工任务运行并发度不足不会触发源数据Logstore的 自动分裂Shard 功能，需要手动分裂源数据Logstore的Shard，才能提高加工任务的运行并发度。自动分裂Shard 操作请参考 管理Shard。分裂源数据Logstore的Shard提升任务的最大运行时...
复杂JSON数据加工
方案2会在分裂前进行判断，处理效率会高一些，但规则略微冗余，仅在特定场景例如初始分裂可能导致大量额外事件产生时推荐。多层数组对象嵌套的复杂JSON数据加工 以一个复杂的保护多层数组嵌套的对象为示例，将 users 下的每个对象中的 ...
管理MetricStore
最大分裂数 打开 自动分裂shard 开关后，最多支持自动分裂至256个readwrite状态的Shard。修改MetricStore配置 在 时序存储>时序库 页签中，将鼠标悬浮在目标MetricStore上，选择>修改。在 MetricStore属性 页面中，单击 修改。修改保存时间...
管理EventStore
最大分裂数 打开 自动分裂Shard 开关后，最多支持自动分裂至256个readwrite状态的Shard。记录外网IP 打开 记录外网IP 开关后，日志服务自动把以下信息添加到日志的 Tag 字段中。client_ip_：日志来源设备的公网IP地址。receive_time_：日志...
create_logstore
max_split_shard Integer 否 64 自动分裂Shard时的最大分裂数。取值范围为1~256。当-auto_split 参数为 true 时必须设置。encrypt_conf String 否 无 加密配置数据结构。更多信息，请参见 EncryptConf。telemetry_type String 否 None 可...
ALIYUN:SLS:Logstore
MaxSplitShard Integer 否 是 自动分裂时，分裂出最大的分区个数。取值范围：1~64。当autoSplit为true时，必须指定MaxSplitShard。LogstoreName String 是 否 日志库的名称。在一个日志项目中，日志库的名称必须具有唯一性。长度为3~36个...
update_logstore
max_split_shard Integer 否 64 自动分裂Shard时的最大分裂数。取值范围为1~256。当-autoSplit 参数为 true 时必须设置。encrypt_conf String 否 无 加密配置数据结构。更多信息，请参见 EncryptConf。telemetry_type String 否 None 可...
Shard操作
Shard操作 Shard操作分为Shard水平扩展和Shard分裂合并两种模式，应用场景如下 Shard水平扩展不允许合并Shard,分裂合并方式则允许 使用kafka方式消费Topic必须开启Shard水平扩展 开启Shard水平扩展后，key range无法使用，所有Shard的...
AUTO模式核心特性及典型场景
热点分裂——有效解决数据热点 对于热点数据，PolarDB-X 支持两种处理方式：第一种方案是将热点数据所在的分区数据迁移到特定的数据节点，让热点数据以独享存储资源的方式服务业务，能够实现热点数据不影响非热点数据的业务。具体操作步骤...
日志库
日志库（Logstore）是日志服务中日志数据...maxSplitShard int 否 自动分裂时最大的Shard个数，最小值为1，最大值为64。当autoSplit为true时必须指定。createTime integer 否 Logstore创建时间。lastModifyTime integer 否 Logstore更新时间。
PS-SMART二分类训练
特征重要性类型 支持以下几种类型：模型中，该特征做为分裂特征的次数 模型中，该特征带来的信息增益（默认值）模型中，该特征在分裂节点覆盖的样本数 执行调优 计算核心数 默认为系统自动分配。每个核内存大小 单个核心使用的内存，单位为...
PS-SMART回归
特征重要性类型 支持以下类型：模型中，该特征做为分裂特征的次数 模型中，该特征带来的信息增益（默认值）模型中，该特征在分裂节点覆盖的样本数 执行调优 核心数 默认为系统自动分配。每个核的内存大小 单个核心使用的内存，单位为MB。...
UpdateLogStore
maxSplitShard Integer Body 否 64 自动分裂时最大的Shard个数，最小值是1，最大值是256。说明 当autoSplit为true时必须指定。telemetryType String Body 否 None 可观测数据类型。取值包括：None：日志数据。默认为日志数据。Metrics：...
CreateLogStore
maxSplitShard Integer Body 否 64 自动分裂时最大的Shard个数，最小值是1，最大值是256。说明 当autoSplit参数为true时必须设置。appendMeta Boolean Body 否 false 是否记录外网IP地址功能。默认值为false。true：记录外网IP地址。false...
PS-SMART多分类
特征重要性类型 支持 模型中，该特征做为分裂特征的次数、模型中，该特征带来的信息增益 及 模型中，该特征在分裂节点覆盖的样本数 类型。执行调优 核心数 默认为系统自动分配。每个核的内存大小 单个核心使用的内存，单位为MB。通常无需...
转换Log为Metric
最大分裂数 打开 自动分裂shard 开关后，最多支持自动分裂至256个readwrite状态的Shard。步骤二：创建数据加工任务 使用e_to_metric函数创建数据加工任务，并保存加工后数据到步骤一创建的时序库。进入数据加工页面。在Project列表区域，...
语法简介
分裂并行：某些步骤也可能返回多个日志，表示分裂日志。例如 e_split(data)，表示根据字段 data 的值将原本的一条日志分裂成两条日志。假如 data 的值是"abc,xyz"，则分裂后两条日志字段 data 的值分别是 abc 和 xyz。分裂后的每条日志都会...
UpdateConsumerGroup
Shard分裂后，先消费原Shard数据，然后同时消费由该Shard分裂的Shard数据。Shard合并后，先消费原Shard数据，然后消费由原Shard合并后的新Shard数据。false：不按顺序消费。即所有同时开始消费，Shard分裂或者合并后产生的新Shard，也会...
XGBOOST回归
在回归问题中，XGBoost每个决策树都是一个回归模型，它通过递归地分裂特征空间，将输入数据映射到一个连续的输出值。XGBoost通过最小化平方损失函数，学习每个决策树的叶子节点权重，并将所有决策树的输出值加权求和得到最终的预测结果。...
CreateConsumerGroup
Shard分裂后，先消费原Shard数据，然后同时消费由该Shard分裂的Shard数据。Shard合并后，先消费原Shard数据，然后消费由原Shard合并后的新Shard数据。false：不按顺序消费。即所有Shard同时开始消费，Shard分裂或者合并后产生的新Shard，也...
窗口函数
一个窗口包含三个组成部分：分区规范，用于将输入行分裂到不同的分区中。这个过程和 GROUP BY 子句的分裂过程相似。排序规范，用于决定输入数据行在窗口函数中执行的顺序。窗口框架，用于指定一个滑动窗口的数据给窗口函数处理给定的行数据...
正则表达式函数
默认为0表示全部匹配分裂，如果为1，表示匹配中一个就分裂，剩余不再进行匹配。返回结果 返回分割后的数组列表。函数示例 将字段str按照数字进行分裂。原始日志 str:iZbp1a65x3r1vhpe94fi2qZ 加工规则 e_set("regex_split",regex_split(v(...
优化查询
您可以通过分裂Shard，增加Shard数量。具体操作，请参见 分裂Shard。注意 分裂Shard会产生更多费用，且只对新数据起到加速效果，旧数据仍然在旧Shard中。缩减查询的时间范围和数据量 时间范围越大，查询越慢。适当缩短查询的时间范围可以更...
GBDT二分类V2
对于类别型特征，不需要提前进行OneHot预处理，算法会使用 many-vs-many 的分裂策略。该算法要求二分类的类别必须为0和1。当该组件与 GBDT二分类预测V2 组件成对执行完成后，训练得到的模型支持部署为在线服务，详细操作可以参考 Pipeline...
- 产品推荐
- 这些文档可能帮助您