列存索引中HashMatch算子的实现
对于build阶段，可以将左表所有数据构建出一个散列表，但只用一个散列表存放全部数据会导致该散列表比较大，在构建过程中可能存在相对严重冲突和不断扩容。为避免此问题，build阶段可以将左表数据按一定规则进行分区，每一个分区各自构建...
迁移实施
若您的业务比较重要，请提前做好评估后对迁移任务设置限速，或在空闲时间启动迁移任务。在线迁移前会检查源地址和目的地址的文件，但是若您源和目的地址有相同文件名的文件，且在迁移任务中配置了覆盖方式为覆盖，迁移时会直接覆盖目的地址...
迁移实施
若您的业务比较重要，请提前做好评估后对迁移任务设置限速，或在空闲时间启动迁移任务。在线迁移前会检查源地址和目的地址的文件，但是若您源和目的地址有相同文件名的文件，且在迁移任务中配置了覆盖方式为覆盖，迁移时会直接覆盖目的地址...
迁移实施
若您的业务比较重要，请提前做好评估后对迁移任务设置限速，或在空闲时间启动迁移任务。在线迁移前会检查源地址和目的地址的文件，但是若您源和目的地址有相同文件名的文件，且在迁移任务中配置了覆盖方式为覆盖，迁移时会直接覆盖目的地址...
逻辑数仓SQL语法介绍
lpad(string,size,padstring)varchar 使用padstring在string左侧添加字符串，使得string的大小变为size，如果size小于string的长度，结果将被截断为size大小，size不能为负，padstring必须非空。ltrim(string)varchar 删除string的前导空格...
迁移实施
若您的业务比较重要，请提前做好评估后对迁移任务设置限速，或在空闲时间启动迁移任务。在线迁移前会检查源地址和目的地址的文件，但是若您源和目的地址有相同文件名的文件，且在迁移任务中配置了覆盖方式为覆盖，迁移时会直接覆盖目的地址...
分片上传
文件大小不确定 可以在需要上传的文件大小还不确定的情况下开始上传，这种场景在视频监控等行业应用中比较常见。分片上传流程 流程说明如下：说明 如果您需要完成分片上传的完整流程，包括初始化分片上传，上传分片以及将分片合为完成的...
如何优化Batch Insert
BATCH_INSERT_POLICY=NODE，本测试的values是随机分布，拆分函数是Hash，所以分布到每个分片上的数据基本均匀，理论情况下分片数×1000的batch size下性能会比较好，在最大batch size为50000时，整体性能为每秒68万行。场景二：并行度 判断...
AIGC：TorchAcc提速Stable Diffusion分布式训练
ranks["0"]["log"])api_data.append(parse_data)plot(title,label,api_data)对于V100M16卡型，由于显存有限，batch_size 设置的值比较小，无法获得较大程度的加速效果。但在实际场景中，经过在A10上的测试验证，使用TorchAcc在单卡和多卡上...
修改配置
修改完成后，需要 重启集群，采取滚动重启的方式，对集群影响较小，且规模越大，影响较小。重启集群页面如下：修改完后，有历史记录。后续优化：后续有一些参数可以采取直接应用...hfile.block.cache.size 0.4 如果读比较多，可以调整为0.5。
利用DCGM实现GPU的性能分析
对于这个训练任务，如果仅从GPU资源高效利用的角度来看，Batch Size大小设置为64~256比较合适。场景四：评估一张 共享GPU 卡可以运行多少个AI推理服务 对于推理服务而言，其使用GPU资源一般比较低效，如果将整张GPU卡分配给该推理服务，则...
Oracle2PolarDB：Polardb-O兼容性之fetchsize
Row Fetch Size By default,when Oracle JDBC runs a query,it retrieves a result set of 10 rows at a time from the database cursor.This is the default Oracle row fetch size value.You can change the number of rows retrieved ...
PyTorch模型性能优化示例
从Tensorboard分析结果可得：该Resnet50模型的GPU利用率比较低，可以考虑通过增大 Batch size 的方式提高利用率。大部分时间消耗在GPU Kernel加载上，可以通过降低精度的方式提高推理速度。步骤二：优化PyTorch模型 通过TensorRT优化模型时...
使用EasyRec构建推荐模型
hash_bucket_size Hash Bucket的大小，取值策略如下：对于 user_id 等规模比较大的特征，Hash冲突影响比较小，可以将 hash_bucket_size 设置为 number_user_ids/ratio，ratio 通常为10~100。对于星座等规模比较小的特征，Hash冲突影响比较...
RDS MySQL临时文件导致实例磁盘空间满且出现“锁定中...
针对binlog cache，应该减少执行大事务的情况，尤其应该减少在多个连接同时执行大事务的情况，如果大事务比较多，可以适当将binlog_cache_size值调大，但是同样不建议为了节省磁盘空间调整这个参数，建议使用短连接执行大事务，降低临时...
RDS MySQL临时文件导致实例磁盘空间满且出现“锁定中...
针对binlog cache，应该减少执行大事务的情况，尤其应该减少在多个连接同时执行大事务的情况，如果大事务比较多，可以适当将binlog_cache_size值调大，但是同样不建议为了节省磁盘空间调整这个参数，建议使用短连接执行大事务，降低临时...
SIZE
命令格式 int size(array<T><a>)int size(map,V>)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。b：必填。MAP对象。map,V>中的 K、V 指代MAP对象的Key、Value。返回值说明 返回INT...
单位换算函数
查询和分析语句*|select convert_data_size(format_data_size(body_bytes_sent,'KB'))查询和分析结果 format_data_size函数 format_data_size函数用于对Byte单位进行换算，返回使用指定单位表示的数据量。语法 format_data_size(x,unit)...
ALIYUN:ENS:Disk
If the size of the snapshot specified by SnapshotId is greater than the specified Size value,the size of the created disk is equal to the specified snapshot size.If the size of the snapshot specified by SnapshotId is ...
查看表和DB的存储大小
查看所有表大小 SELECT table_schema|'.'|table_name AS table_full_name,pg_size_pretty(pg_relation_size(quote_ident(table_schema)|'.'|quote_ident(table_name)))AS table_size,pg_relation_size(quote_ident(table_schema)|'.'|quote...
DescribeConfigVersionDifference-查看配置参数变更...
keep_alive_timeout>300</keep_alive_timeout><listen_backlog>4096</listen_backlog><logger><level>debug</level><size>1000M</size></logger><mark_cache_size>5368709120</mark_cache_size><max_concurrent_queries>150...
RDS MySQL提示“Error 1709:Index column size too ...
问题现象 RDS MySQL在大字段上创建索引时，偶尔可能会遇到如下错误：ERROR 1709(HY000):Index column size too large.The maximum column size is 767 bytes.可能原因 由于MySQL的InnoDB引擎表索引字段长度的限制为767字节，因此对于多字节...
“任务执行失败：[222]Row size too large.The ...
问题描述 Quick BI数据填报报错：“任务执行失败：[222]Row size too large.The maxinum row size for the used table type,not counting BLOBs,is 65535.The includes storage overhead,check the manual.You have to change some columns...
数据存储冷热分离
table_usage表说明：table_usage是实时更新的，随着insert/update/delete/build的执行，rt_total_size、rt_data_size、rt_index_size、hot_total_size、hot_data_size、hot_index_size、cold_total_size、cold_data_size、cold_index_size ...
RDS MySQL提示“Error 1709:Index column size too ...
问题现象 RDS MySQL在大字段上创建索引时，偶尔可能会遇到如下错误：ERROR 1709(HY000):Index column size too large.The maximum column size is 767 bytes.可能原因 由于MySQL的InnoDB引擎表索引字段长度的限制为767字节，因此对于多字节...
ganos.raster.md5sum_chunk_size
指定计算MD5时每次读取的缓存大小。数据类型 Integer 取值 取值范围：10~100。单位：MB。默认值为10。示例 set ganos.raster.md5sum_chunk_size=20;
数据类型转换
VARCHAR(size)VARCHAR2(size)RAW(size)RAW(size)OceanBase 数据库 Oracle 租户：以字节为单位。如果作为数据库中表的列，该参数最大支持存储 2000 字节的数据。如果作为 PL 变量，该参数最大支持存储 32767 字节的数据。Oracle 数据库：...
ganos.raster.md5sum_chunk_size
指定计算MD5时每次读取的缓存大小。数据类型 Integer 取值 取值范围：10~100。单位：MB。默认值为10。示例 set ganos.raster.md5sum_chunk_size=20;
DescribeDBClusterConfigInXML-查询XML模式下的配置...
keep_alive_timeout>300</keep_alive_timeout><listen_backlog>64</listen_backlog><logger><level>debug</level><size>1000M</size></logger><mark_cache_size>6871947673</mark_cache_size><max_concurrent_queries>100...
ganos.raster.md5sum_chunk_size
指定计算MD5时每次读取的缓存大小。数据类型 Integer 取值 取值范围：10~100。单位：MB。默认值为10。示例 set ganos.raster.md5sum_chunk_size=20;
ganos.raster.md5sum_chunk_size
指定计算MD5时每次读入的缓存的大小，单位是MB。类型 integer 默认值 10 说明 取值范围：1~256。示例 Set ganos.raster.md5sum_chunk_size=20;
出租车发票识别
90</Angle><Size><W>91</W><H>519</H></Size></ItemRoi><Text>129.00元</Text></Items><Items><ItemRoi><Center><X>1850.5</X><Y>3026</Y></Center><Angle>0</Angle><Size><W>400.99993896484375</W><H>105.99998474121094</H></Size>...
概述
WHERE size>100-扫描medium和large分区 WHERE size>=100-扫描medium和large分区 WHERE size=100-扫描medium分区 WHERE size扫描small和medium分区 WHERE size扫描small分区 WHERE size>100 AND size扫描medium分区 WHERE size BETWEEN 100 ...
ganos.raster.memory_oss_file_max_size
指定ST_ImportFrom函数进行数据导入时，OSS文件映射到内存的最大值。数据类型 integer 取值 取值范围：1 MB~2048 MB。默认值100 MB。示例 SET ganos.raster.memory_oss_file_max_size=100;
ganos.raster.memory_oss_file_max_size
指定ST_ImportFrom函数进行数据导入时，OSS文件映射到内存的最大值。数据类型 integer 取值 取值范围：1 MB~2048 MB。默认值100 MB。示例 SET ganos.raster.memory_oss_file_max_size=100;
ganos.raster.memory_oss_file_max_size
指定ST_ImportFrom函数进行数据导入时，OSS文件映射到内存的最大值。数据类型 integer 取值 取值范围：1 MB~2048 MB。默认值100 MB。示例 SET ganos.raster.memory_oss_file_max_size=100;
线程池和连接池监控
采集的指标如下：指标名称 指标 线程池核心线程数 arms_threadpool_core_size 线程池最大线程数 arms_threadpool_max_size 线程池活跃线程数 arms_threadpool_active_size 线程池队列大小 arms_threadpool_queue_size 线程池当前大小 arms_...
Grouping Sets
使用示例 SELECT brand,size,SUM(price)AS sp FROM phone GROUP BY GROUPING SETS((brand),(size),())如上所示，是grouping sets的典型使用场景，我们想对手机表分别根据品牌和尺寸统计其价格，并统计整个手机表所有手机的价格，这样我们的...
使用SDK时出现Validate PK size fail异常
介绍使用SDK时出现Validate PK size fail异常的现象、原因和解决方案。现象 使用SDK更新数据时出现如下异常：Caused by:[ErrorCode]:OTSInvalidPK,[Message]:Validate PK size fail 原因 设置的主键个数和数据表的主键个数不一致。解决方案...
表统计信息查看与分析
sum(hot_storage_size)AS hot_storage_size,sum(cold_storage_size)AS cold_storage_size,sum(total_read_count)AS total_read_count,sum(total_write_count)AS total_write_count,sum(row_count)AS row_count,count(*)AS partition_count ...
- 产品推荐
- 这些文档可能帮助您