混合云存储阵列与阿里云存储集成的同时，如何保证客户...
混合云存储阵列通过专门的高速通道与阿里云OSS相连，提供去重和压缩的数据处理机制，同时支持云缓存和云分层模式。通过云缓存模式，客户的数据全集保存在云端，本地存储空间作为热数据的缓存，提供数据的本地高效访问，保证对上层应用的...
PS-SMART二分类训练
特征重要性类型 支持以下几种类型：模型中，该特征做为分裂特征的次数 模型中，该特征带来的信息增益（默认值）模型中，该特征在分裂节点覆盖的样本数 执行调优 计算核心数 默认为系统自动分配。每个核内存大小 单个核心使用的内存，单位为...
PS-SMART回归
特征重要性类型 支持以下类型：模型中，该特征做为分裂特征的次数 模型中，该特征带来的信息增益（默认值）模型中，该特征在分裂节点覆盖的样本数 执行调优 核心数 默认为系统自动分配。每个核的内存大小 单个核心使用的内存，单位为MB。...
UpdateLogStore
maxSplitShard Integer Body 否 64 自动分裂时最大的Shard个数，最小值是1，最大值是256。说明 当autoSplit为true时必须指定。telemetryType String Body 否 None 可观测数据类型。取值包括：None：日志数据。默认为日志数据。Metrics：...
CreateLogStore
maxSplitShard Integer Body 否 64 自动分裂时最大的Shard个数，最小值是1，最大值是256。说明 当autoSplit参数为true时必须设置。appendMeta Boolean Body 否 false 是否记录外网IP地址功能。默认值为false。true：记录外网IP地址。false...
PS-SMART多分类
特征重要性类型 支持 模型中，该特征做为分裂特征的次数、模型中，该特征带来的信息增益 及 模型中，该特征在分裂节点覆盖的样本数 类型。执行调优 核心数 默认为系统自动分配。每个核的内存大小 单个核心使用的内存，单位为MB。通常无需...
转换Log为Metric
最大分裂数 打开 自动分裂shard 开关后，最多支持自动分裂至256个readwrite状态的Shard。步骤二：创建数据加工任务 使用e_to_metric函数创建数据加工任务，并保存加工后数据到步骤一创建的时序库。进入数据加工页面。在Project列表区域，...
热点分区分裂
若要对二级分区进行分区分裂操作，要求 PolarDB-X 实例版本必须为5.4.17-16952556及以上。对于热点分裂，只适用于包含key分区策略（一级分区或者二级分区是key分区皆可）的数据表。名词解释 表组：分区列完全相同的一组逻辑表或全局索引表...
语法简介
分裂并行：某些步骤也可能返回多个日志，表示分裂日志。例如 e_split(data)，表示根据字段 data 的值将原本的一条日志分裂成两条日志。假如 data 的值是"abc,xyz"，则分裂后两条日志字段 data 的值分别是 abc 和 xyz。分裂后的每条日志都会...
UpdateConsumerGroup
Shard分裂后，先消费原Shard数据，然后同时消费由该Shard分裂的Shard数据。Shard合并后，先消费原Shard数据，然后消费由原Shard合并后的新Shard数据。false：不按顺序消费。即所有同时开始消费，Shard分裂或者合并后产生的新Shard，也会...
XGBOOST回归
在回归问题中，XGBoost每个决策树都是一个回归模型，它通过递归地分裂特征空间，将输入数据映射到一个连续的输出值。XGBoost通过最小化平方损失函数，学习每个决策树的叶子节点权重，并将所有决策树的输出值加权求和得到最终的预测结果。...
CreateConsumerGroup
Shard分裂后，先消费原Shard数据，然后同时消费由该Shard分裂的Shard数据。Shard合并后，先消费原Shard数据，然后消费由原Shard合并后的新Shard数据。false：不按顺序消费。即所有Shard同时开始消费，Shard分裂或者合并后产生的新Shard，也...
窗口函数
一个窗口包含三个组成部分：分区规范，用于将输入行分裂到不同的分区中。这个过程和 GROUP BY 子句的分裂过程相似。排序规范，用于决定输入数据行在窗口函数中执行的顺序。窗口框架，用于指定一个滑动窗口的数据给窗口函数处理给定的行数据...
正则表达式函数
默认为0表示全部匹配分裂，如果为1，表示匹配中一个就分裂，剩余不再进行匹配。返回结果 返回分割后的数组列表。函数示例 将字段str按照数字进行分裂。原始日志 str:iZbp1a65x3r1vhpe94fi2qZ 加工规则 e_set("regex_split",regex_split(v(...
使用Java SDK管理Shard
本文通过代码示例介绍如何查询、分裂、合并Shard。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请参见 配置...
优化查询
您可以通过分裂Shard，增加Shard数量。具体操作，请参见 分裂Shard。注意 分裂Shard会产生更多费用，且只对新数据起到加速效果，旧数据仍然在旧Shard中。缩减查询的时间范围和数据量 时间范围越大，查询越慢。适当缩短查询的时间范围可以更...
GBDT二分类V2
对于类别型特征，不需要提前进行OneHot预处理，算法会使用 many-vs-many 的分裂策略。该算法要求二分类的类别必须为0和1。当该组件与 GBDT二分类预测V2 组件成对执行完成后，训练得到的模型支持部署为在线服务，详细操作可以参考 Pipeline...
基本概念
分裂 日志信息比较复杂，同时包含多条信息时，将一条日志分裂成多条日志的过程叫做事件分裂。例如某一条日志的字段内容如下：_time_:1231245_topic:"win_logon_log"content:[{"source":"192.0.2.1","dest":"192.0.2.1""action":"login",...
哈啰出行
弹性扩容 日志服务采用Shard模型，当流量发生上涨时，可以手动分裂Shard，实现写入带宽的扩容，也可以设置成自动分裂，当流量达到上限时，自动扩容出新的Shard。查询与分析 日志服务同时提供了查询和分析能力。在查询方面，日志服务支持...
简介
Shard 每个Logstore默认创建2个Shard，并开启自动分裂Shard功能，详情请参见 自动分裂Shard。日志存储时间 默认保存30天，支持修改保存时间。详细步骤请参见 管理Logstore。索引 默认为采集到的所有日志数据开启索引。如果没有查询分析和...
通用数据结构
Shard分裂后，先消费原Shard中数据，然后同时消费由该Shard分裂的Shard中数据。Shard合并后，先消费原Shard中数据，然后消费由原Shard合并后的新Shard中数据。false：不按顺序消费。即所有同时开始消费，Shard分裂或者合并后产生的新Shard...
CREATE TABLEGROUP（AUTO模式）
例如要对表组的一个表的某个分区进行分裂，那么需要通过分裂整个表组某个分区来实现这个目的。语法 create_tablegroup_stmt:CREATE tablegroup[IF NOT EXISTS]tablegroup_name 示例 创建一个名为test_tg的表组。create tablegroup test_tg;...
配置实时日志推送
自动分裂数 控制台默认自动分裂数为32个。日志服务授权 需要授予VOD访问日志服务。选择关联域名并绑定，单击 创建，完成配置。注意 日志分析服务为付费服务，请确认您已知晓付费详情，请参见 费用说明。说明 迁移域名：A域名的数据需要从...
管理Logstore
最大分裂数 打开 自动分裂shard 开关后，最多支持自动分裂至256个readwrite状态的Shard。记录外网IP 打开 记录外网IP 开关后，日志服务自动把以下信息添加到日志的 Tag 字段中。client_ip_：日志来源设备的公网IP地址。receive_time_：日志...
日志管理
自动分裂Shard 开启自动分裂功能后，如果您写入的数据量超过已有Shard服务能力，日志服务会自动根据数据量增加Shard数量。如果您确保配置的Shard数量已满足业务需求，可关闭 自动分裂Shard 开关。配置实时日志。登录 视频直播控制台。在...
Tablestore HBase Client 支持的功能
表格存储与 HBase 的 API 区别 作为 NoSQL 数据库服务，表格存储为您屏蔽了数据表分裂、Dump、Compact、Region Server 等底层相关的细节，您只需要关心数据的使用。因此，虽然与HBase在数据模型及功能上相近，Tablestore HBase Client 与...
分布式线性扩展
本文详细介绍了分布式线性扩展的特性。数据物理分布 PolarDB-X 将数据表以水平分区的方式，分布在多个存储节点...但有了表组的概念之后，由于user表和orders表位于同一表组中，它们的分区迁移、分裂与合并都会同步进行，解决了上述的问题。
事件操作函数
事件分裂 e_split 基于日志字段的值分裂出多条日志，并且支持通过JMES提取字段后再进行分裂。支持和其他函数组合使用。相关示例，请参见 复杂JSON数据加工。输出事件 e_output、e_coutput 输出日志到指定的Logstore中，并可配置输出时的...
购买案例
专属钉钉上产生的数据私有 独立存储许可 是 企业需要自己的APP，可更换APP的图标和logo 打包服务 是 2年 购买时长 2年 说明 购买独立存储许可后，可选择将数据进行独立存储：若选择将数据存储在企业本地，需在阿里云购买 混合云存储阵列 并...
资源流控及解决方案
ShardWriteQuotaExceed（Shard级别超限）Shard写：shard write quota exceed,please split shard（所有可用Shard写入都超过限制）Shard写：shard write quota exceed,shard:xxx 使用手动或自动分裂方式新增Shard。具体操作，请参见 管理...
Topic操作
可以通过两种方式创建Topic 自定义格式创建 注意：开启Shard扩展模式，shard支持水平扩展，不再支持“合并”和“分裂”，以后shard数量只能增加，不可减少。此模式开启后可以使用kafka方式来消费当前Topic 用户可根据业务需求进行Topic的...
名词解释
Shard Split Shard分裂，可以把一个Shard分裂成Shard Key Range相连接的两个Shard Record 用户数据和 DataHub 端交互的基本单位 RecordType Topic的数据类型，目前支持Tuple与Blob两种类型。Tuple类型的Topic支持类似于数据库的记录的数据...
快速入门
自动分裂Shard 开启自动分裂功能后，如果您写入的数据量超过已有Shard服务能力，日志服务会自动根据数据量增加Shard数量。如果您确保配置的Shard数量已满足业务需求，可关闭 自动分裂Shard 开关。步骤三：采集日志 创建Logstore成功后，...
全局操作函数概览
e_split 基于日志字段的值分裂出多条日志，并且支持通过JMES提取字段后再进行分裂。e_output 输出日志到指定的Logstore中，且对应的日志不再执行后面的加工规则。e_coutput 输出日志到指定的Logstore中，且对应的日志继续执行后面的加工...
在混合云场景下阿里云还有哪些存储和灾备解决方案？
在混合云场景下，阿里云推出了一系列存储和灾备解决...混合云存储阵列：部署在客户数据中心的存储阵列，实现本地存储与云存储空间扩展以及数据云端灾备和协同。云存储网关：以OSS作为后端存储，前端支持行业标准的文件和块存储协议的软网关。
创建实时日志推送服务
自动分裂数 系统默认提供的Shard自动分裂数。日志服务授权 单击 日志服务授权，根据页面提示，完成授权。授权后，视频点播产品将使用AliyunCDNLogArchiveRole角色访问日志服务资源。如果已存在AliyunCDNLogArchiveRole角色，则无需重复授权...
购买说明
购买时长 按年 必选 说明 如需独立存储，则可以使用企业已有的存储服务或单独购买服务，详见 公有云存储OSS 或者 混合云存储阵列。续费与升级说明 在您订购的对象存储OSS产品和/或独立存储许可有效期届满前，您应当及时续费以确保服务的...
创建实时日志推送服务
自动分裂数 系统默认提供的Shard自动分裂数。日志服务角色 单击 日志服务角色，根据页面提示，完成授权。授权后，视频直播产品将使用AliyunCDNLogArchiveRole角色访问日志服务资源。如果已存在AliyunCDNLogArchiveRole角色，则无需重复授权...
复制和分发数据
对此需求，可通过日志服务数据加工的复制和分发功能完成，包括使用e_set函数设置tags标签，并使用e_split函数按照tags标签将数据分裂，再使用e_output函数分发到不同Logstore。其基本逻辑如下图所示。在操作前，确保您已完成如下操作。已...
配置LogHub（SLS）输入
LogHubStream Reader插件基于LogHub（SLS）SDK实时抽取您配置的LogHub（SLS）topic数据，并支持合并和分裂Shard。合并或分裂Shard后，数据可能会增加，但保证不会丢失数据。背景信息 LogHub（SLS）实时同步读取插件，会自带以下元数据字段...
- 产品推荐
- 这些文档可能帮助您