UpsertChunks-上传切分后的文档
将切分后的文档列表向量化并上传到文档库。接口说明 文档的向量化算法为创建知识库 CreateDocumentCollection 接口指定的算法。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以...
通过Logstash切分数据并提取到字段中
在使用Logstash传输数据时，在某些业务使用场景中，您可能需要切分源端数据并提取到字段中再写入目标端Elasticsearch集群。例如，源端Logs日志中存在以竖线（|）分隔的数据，此时您可以通过Logstash按照|切分数据并提取到字段中，再输出到...
Dataphin中管道任务中输入配置数据库切分键设置方法
概述 Dataphin中管道任务中输入配置数据库切分键设置方法。详细信息 管道任务中输入配置数据库切分键，配合并发度配置使用。可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。如果设置的切分键不是主键或者索引，会...
Dataphin管道任务抽取rdbms类数据库数据，切分键使用...
查询来源表数据总数：该任务运行成功，但任务读取写入数据总数如下：客户把切分键去掉数据量就一致了，SqlServer输入组件配置如下：问题原因 rdbms类输入组件的切分键为字符串导致，因为字符串不能准确划分范围，切分键不支持字符串。...
Dataphin中CSV文件集成到hive运行报“Code:[Hdfs...
概述 解决数据集成到hive库中时任务运行报“Code:[HdfsWriter-02],Description:[您填写的参数值不合法.].-仅仅支持单字符切分,您配置的切分为:[SOH]”错误的问题 问题描述 将CSV文件集成到hive数据库，运行报错：经Dlink智能分析,该任务最...
ST_Split
用几何对象将一条轨迹切分为多条（子）轨迹。语法 trajectory[]ST_Split(trajectory traj,geometry geom,float8 radius_of_buffer);trajectory[]ST_Split(trajectory traj,text config);trajectory[]ST_Split(trajectory traj,int[]indexes...
ST_Split
用几何对象将一条轨迹切分为多条（子）轨迹。语法 trajectory[]ST_Split(trajectory traj,geometry geom,float8 radius_of_buffer);trajectory[]ST_Split(trajectory traj,text config);trajectory[]ST_Split(trajectory traj,int[]indexes...
离线同步日志分析
切分（拆分）任务 此阶段将源端待同步数据切分为多个task，以便并发、分批进行读取数据，切分规则如下：关系型数据库：按照您在界面配置时指定的切分键 splitPk，作为切分依据，将待同步数据切分为多个task，通过并发分批读取切分的task。...
JMeter使用CSV参数文件
如果上传的CSV文件在JMeter脚本中没有对应的 CSV Data Set Config 配置，则切分CSV文件时默认作为不包含表头（即变量名）的CSV文件切分。为方便操作，并避免数据被错误切分，建议您始终通过配置 CSV Data Set Config 使用CSV参数文件。配置...
JMeter使用CSV参数文件
如果上传的CSV文件在JMeter脚本中没有对应的 CSV Data Set Config 配置，则切分CSV文件时默认作为不包含表头（即变量名）的CSV文件切分。为方便操作，并避免数据被错误切分，建议您始终通过配置 CSV Data Set Config 使用CSV参数文件。配置...
数据处理
本文为您详细介绍GDB Automl数据导入的方法。...解析后的数据帧，可以选择切分工具，按照自定义比例进行数据切分。帮助您自动划分训练集、验证集和测试集，划分时按照种子随机切分。单击 切分。单击 创建，得到拆分后的数据帧文件。
UploadDocumentAsync-异步上传文档
说明 Seprators 是影响切分效果的关键参数，且和 TextSplitterName 指定的切分器相关。一般情况下不许指定，服务端会按照 TextSplitterName 自动适配。string 否 分隔符。DryRun boolean 否 是否只做文档理解和切分，不做向量化和入库。...
FuzzyAnalyzerParameter
} 名称 类型 是否必选 描述 min_chars int32 否 最小字符切分单元，即切分的字符组合中字符数量必须大于等于此值，默认值为1。max_chars int32 否 最大字符切分单元，即切分的字符组合中字符数量必须小于等于此值，默认值为7。重要 值越大...
分词
参数 参数 说明 minChars 最小字符切分单元，即切分的字符组合中字符数量必须大于等于此值，默认值为1。maxChars 最大字符切分单元，即切分的字符组合中字符数量必须小于等于此值，默认值为7。分词类型对比 从几个关键维度对不同分词的比较...
配置FTP输入组件
您可以手动添加输出字段：说明 切分方式为字段长度切分时，您可以单击 切分效果预览，并在对话框中输入测试字符串，起始字符位置、结束字符位置，进行切分效果预览。单击 批量添加，以JSON格式批量配置，例如。[{"name":"cf1:a","type":...
配置FTP输入组件
您可以手动添加输出字段：说明 切分方式为字段长度切分时，您可以单击 切分效果预览，并在对话框中输入测试字符串，起始字符位置、结束字符位置，进行切分效果预览。单击 批量添加，以JSON格式批量配置，例如。[{"name":"cf1:a","type":...
参数配置指导
适用范围 常规训练设置：数据参数 常规训练设置：模型参数 常规训练设置：训练参数 加速开关设置：MoE稀疏训练 加速开关设置：混合精度训练 加速开关设置：模型状态切分（ZeRO，OSS，SDP，FSDP）加速开关设置：3D混合并行（Data，Tensor，...
OSS Foreign Table使用技巧
本文介绍OSS Foreign Table相关的使用技巧，例如查看执行计划、收集统计信息、切分大文件以及查看OSS文件信息。查看执行计划 AnalyticDB PostgreSQL版 支持通过EXPLAIN查看OSS Foreign Table查询语句的执行计划。查看执行计划的示例语句...
配置企业知识库
其它字段说明 向量维度：包含通用文本向量（1536）和算法自定义向量（1024），推荐使用算法自定义向量（1024）中文分词器：选择默认 区域：北京 仓储名称：自定义名称，方便管理和后续选择 切分方法：层级结构切分是根据自然语言识别结果，...
文档管理
文档切分 文档切分的效果由chunk_overlap、chunk_size、text_splitter_name几部分决定，其中text_splitter_name取值说明如下：ChineseRecursiveTextSplitter：继承于RecursiveCharacterTextSplitter，默认以["","",。\.\s|\!\s|\?\s",；...
表结构设计
如果小于3亿，表示切分粒度太小，可以增大切分粒度（例如将切分粒度由日改为月）；如果大于10亿，表示切分粒度太大，可以减小切分粒度（例如将切分粒度由月改为日）。尽量使二级分区维持静态状态，不建议频繁更新二级分区，例如，如果有...
全文索引的分词器
切分中文文本时直接按照单字切分。Standard分词器支持通过全文词典使用实体词和停用词。Standard配置项 如何查看和修改分词器的配置，请参见 查看和修改分词器配置。配置 取值说明 FULLTEXT_MAX_TOKEN_LENGTH 被分词文本的最大长度，超出...
LogConfig
表示按规则将日志进行切分，切分后的日志块将被写入到 SLS。None：默认值，表示关闭日志分割规则。DefaultRegex：表示将日志分割规则设置为默认正则规则。当该功能设置为 DefaultRegex 后，默认分割日志的规则将按照行首是否带有日期进行...
创建安全联邦学习任务（任务模式）
特征切分（纵向切分）：指两边数据特征不一样，特征分在了两边。数据切分（横向切分）：指两边数据结构一致，只是拥有的数据。特征分布 支持使用方【X1+Y】+加持方【X2】和使用方【Y】+加持方【X2】。使用方【X1+Y】+加持方【X2】：指两方...
分区设计
按多个业务维度切分，用户建立多张表存入相同数据，但是每张表按照不同业务维度切分，查询时根据过滤条件选择不同的表，以提升访问性能，适合查询复杂且单一切分方式不能满足需求的场景；按自增主键切分，若表分区方式为分区表，主键为自增...
Split Size Hint
MaxCompute支持通过调整Split Size控制并发度，调整计算性能。...使用示例-设置split size大小为1MB，此hint会在读表src时，按照1M的大小来切分task select a.key from src a/*+split_size(1)*/join src2 b on a.key=b.key;
配置IBM DB2输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置IBM DB2输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
离线同步任务调优
关系型数据库通常只支持数值型作为切分键，但Oracle数据库支持以数值型和字符串类型作为切分键。常见问题 数据同步任务where条件没有索引，导致全表扫描同步变慢。BatchSize或maxfilesize参数控制一次性批量提交的记录数大小，该值可以减少...
参考：性能基准评测
方案 吞吐（samples/s）Peak Memory（MB）无加速技术 OOM OOM 混合精度训练 9.57+-0.26 25061 混合精度训练+oss模型状态切分 6.02+-0.06 22077 混合精度训练+oss/sdp模型状态切分 7.01+-0.07 17113 混合精度训练+fsdp模型状态切分 NA NA ...
配置Vertica输入组件
切分建 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。...
配置Vertica输入组件
切分建 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。...
数据处理状态查询API
CHUNK_TEXT_PARSE_SYSTEM_ERROR(120099,"切分文本内容出现内部异常"),CHUNK_TEXT_IS_EMPTY(120002,"切分文本为空"),CHUNK_SUB_TASK_TEXT_IS_EMPTY(120003,"切分文本子任务文本内容为空"),CHUNK_TASK_RESULT_IS_EMPTY(120004,"切分文本任务...
通过阿里云百炼搭建专属大模型应用
切分方法 包含：层级结构切分：根据自然语言识别结果，按照文档标题、正文层级进行切分。段落结构切分：按照固定字符长度进行切分。在层级结构简单时，推荐使用层级结构切分；层级复杂推荐使用段落结构切分。完成向量数据库配置后，返回 ...
配置Teradata输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或有 索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置OceanBase输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置OceanBase输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置Teradata输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或有 索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
拆分
页签 参数 描述 参数设置 拆分方式 按比例拆分 按阈值拆分 切分比例 取值范围为(0,1)。随机数种子 系统默认生成。ID列（ID列相同的不会被拆分）ID列中，内容相同的行数据不会被拆分，会被全量随机分配到 输出表1 或 输出表2 中。说明 勾选 ...
WorkQueue
在大规模分布式异步训练中，您可以使用WorkQueue进行弹性数据切分，以缓解长尾效应，从而降低模型训练所需的时间。本文介绍WorkQueue的调用格式、参数及其提供的方法。同时，以文件数据源和MaxCompute表数据源为例，介绍实现数据切分的经典...
- 产品推荐
- 这些文档可能帮助您