全文检索
人们通常选择数据库或数据仓库存储文本数据，但是将文本数据中有价值的信息提取出来并进行高效分析，往往需要涉及多个数据处理系统配合来实现，用户的使用门槛通常较高、维护成本较大。通常在使用数据仓库进行文本数据的加工和分析时，离不...
2023-12-08
时序异常检测数据算法上线 时序异常检测数据算法上线，通过对设备时序数据进行建模，提取时序特征，动态计算上下阈值边界，实时捕获异常并进行报警，提高设备运维效率。时序存储支持开启数据备份 物模型和自定义时序数据存储支持开启数据...
支持的数据脱敏算法
敏感类型：通用敏感 适用场景：数据存储 数据使用 日期取整 日期取整保留到 年、月、日、小时 或 分钟 字符位移 整体循环位移Bit数、向左/向右 加密脱敏 可逆算法。适用于对需要回源的字段进行加密的场景。支持常见的对称加密算法。DES算法...
读取OSS数据
在成功创建了OSS外部表后，您可以访问和查询存储在OSS指定目录下的数据文件，实现高效的数据读取操作。背景信息 完成OSS外部表创建后，您可以根据需要选择如下方式之一对OSS外部表进行操作：（推荐）方式一：将OSS的开源格式数据导入...
将数据写入OSS
实现示例如下：示例：通过内置文本数据解析器将数据写入OSS-非分区路径 示例：通过内置文本数据解析器将数据写入OSS-分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义...
功能特性
监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，...
什么是备份数据量
与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小 在单次全量备份情况下，数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（OSS）。综上所述，您可通过调整...
玄武分析型存储
玄武分析存储引擎为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力，是AnalyticDB实现高吞吐实时写入、高性能实时查询的基础支撑。高吞吐实时写入 AnalyticDB通过三层并行架构实现了极强的吞吐能力，从接入层、到存储节点层...
数据量
存储数据量 存放存储介质的实际数据大小，与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小：数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（内置存储）。
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
TairVector性能白皮书
960 1,000,000 1,000 3.57 GB L2 Glove-200-angular 该数据集是互联网文本数据使用GloVe算法得到的单词向量。200 1,183,514 10,000 902 MB COSINE Deep-image-96-angular 该数据集是ImageNet图片经过GoogLeNet模型训练，从最后一层神经网络...
OSS数据离线同步至MaxCompute
背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。还有多种存储类型供您选择，全面优化存储成本。数据集成支持从OSS...
OSS数据离线同步至MaxCompute
背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。还有多种存储类型供您选择，全面优化存储成本。数据集成支持从OSS...
半结构化分析
其中，JSON数据类型直接存储输入文本，会保存JSON数据中语义无关的空格，并且会保持JSON对象键的顺序，以及JSON数据中重复的键和键对应的数据。对于重复键在查询的时候会将最后一个遇到键的值当作有效值。JSONB数据类型则是以二进制格式来...
数据加密
用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等算法加密存储，敏感数据包括数据源、计算源的连接信息和用户授权的采样数据；敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行...
数据加密
用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等算法加密存储，敏感数据包括数据源、计算源的连接信息和用户授权的采样数据；敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行...
算法说明
日志服务异常智能分析应用提供文本分析功能，用于对日志中的文本日志进行智能化、自动化的分析，提供全局的统计分析结果。文本分析功能通过 日志模板发现 和 日志模板匹配 两个子任务，实现对于日志数据的监控和统计。您可以根据待分析的...
计费概述
实例类型 适用地域 计费方式 计费项 说明 企业版实例 华东2（上海）华北2（北京）华南1（深圳）新加坡 日本（东京）美国（硅谷）美国（弗吉尼亚）德国（法兰克福）包年包月 同时在线设备数 消息上下行TPS 消息转发TPS 时序数据存储IOPS...
设置列存数据压缩算法
为了提高列存模式下的压缩效率，降低存储成本，您可以为创建的列存索引设置压缩算法。本文介绍如何设置和修改列存索引的压缩算法。支持的压缩算法 当前 PolarDB MySQL版 支持两种IMCI的压缩算法：LZ4压缩、ZSTD压缩。LZ4：一种无损数据压缩...
Lindorm for Cassandra应用实践
透明冷热分离：Lindorm For Cassandra采用自由设置冷热的存储介质、压缩算法，减少冷数据存储成本，提升热数据访问性能，实现一体化冷热分离、数据自动分层。按需计费：Lindorm for Cassandra提供集群版和serverless版产品形态，serverless...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
数据智能概述
算法模板 物联网平台提供算法模板供您使用，您可以查看算法模板的详情信息，如：算法详细介绍、运行算法所需数据、算法产出的数据等。实例管理 您可以在算法实例页面，根据实际业务需求购买算法实例和对已购买的算法实例进行续费和升配。...
数据模型
数据库在存储数据时，会将同一条时间线的数据尽量聚类存储，提升时间线数据访问效率，同时更好的支持时序数据压缩。在时序表中，Tag列的值都相同的一系列数据行构成了一条时间线。时序数据库提供一系列特有的数据访问操作，包括聚合...
工作原理
定时分析数据：文本分析中的算法以时间窗口为单位分析数据。结果输出：将分析结果输出到目标日志库中，并生成相应的仪表盘对分析结果进行可视化展示。基本概念 日志服务文本分析功能涉及的基本概念如下表所示。术语 说明 作业 一个文本分析...
智能异常分析概述
机器学习算法：通过对特定场景的深度整合，提供一系列针对时序数据和文本等相关的算法，生成异常数据。更多信息，请参见 智能巡检算法说明、文本分析算法说明。告警（Alert Monitoring）：支持对异常结果进行告警。更多信息，请参见 什么是...
概览
AnalyticDB PostgreSQL版 提供多种数据迁移方案，可满足不同的数据同步或迁移的业务需求，您可以在不影响业务的情况下，平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...
概览
集群管理系统的概览页面提供了 云原生多模数据库 Lindorm 实例宽表引擎中所有表的详细信息，包括表的大小、分片情况、数据预览、表结构、限流信息等。本文介绍如何通过集群管理系统管理宽表。前提条件 已登录目标实例的集群管理系统，具体...
存储类型
云原生多模数据库 Lindorm依赖于LindormDFS云原生存储系统，实现了数据存储与计算分离。存储容量独立计费，支持不停机在线扩容。Lindorm实例的存储容量在同实例内的多个引擎之间共享。存储类型说明 云原生多模数据库Lindorm支持的存储类型...
数据脱敏
概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将敏感数据进行加工处理、模糊化或替换，使得数据无法识别或难以还原，从而达到保护数据安全、防止数据泄露的目的。动态脱敏：对敏感数据进行实时的脱敏处理，只有...
数据膨胀诊断
AnalyticDB PostgreSQL版 数据库使用PostgreSQL多版本并发控制（MVCC）来管理并发事务，底层表的储存数据被划分成固定大小的Page，默认Page大小为32 KB。每个Page包含Header（数据头）、Item pointer array（指向内部数据的指针数组）、...
表结构说明
Compressed_algorithm 数据压缩算法。暂不支持。Enabled DLM策略是否生效。取值范围：ENABLED（默认）：DLM策略生效。DISABLED：DLM策略不生效。Priority_number DLM策略的执行优先级。暂不支持。Tier_partition_number 以 PARTITION COUNT...
产品简介
本项目类型无需上传标注数据，算法将自动分析文本中的特征，抽取关键短语。同时，也可上传自定义词表以优化各自领域的关键短语抽取效果。500个字符 文本关系抽取 抽取文本中的实体及对应的关系。例如人名与生日，机构与成立时间等，本平台...
LLM-MD5去重
算法简介 对所有输入的文本数据使用 hashlib.md5 哈希算法计算哈希值。哈希值相同的文本仅保留一个。对于每条输入文本，会去除头尾空白符再计算哈希值，字符区分大小写。可视化配置参数 您可以在Designer中，通过可视化的方式配置组件参数...
概述
使用场景 典型的应用场景如下：近实时计算场景 时间序列数据的场景 预测建模 与存量数据共存 通常生产环境中会有大量的存量数据，数据可能存储在HDFS、RDBMS或Kudu中。如果您只是想访问和查询这些存量数据，可以使用Impala访问和查询，而...
CREATE TABLE
同时设置多个属性 创建宽表时指定表的压缩算法、数据有效期以及冷热分界线。CREATE TABLE sensor(device_id VARCHAR NOT NULL,region VARCHAR NOT NULL,time TIMESTAMP NOT NULL,temperature DOUBLE,humidity BIGINT,PRIMARY KEY(device_id...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
功能特性
Lindorm SQL语法手册 存储能力 功能集 功能 功能描述 参考文档 数据存储 数据读写 支持多种数据模型和查询语言，支持kv型、文档型、时间序列型等多种数据模型，支持使用SQL语言或开源API进行查询和操作，用户可以根据实际需求选择进行读写...
瀑布图（v4.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
概述
同一份数据以不同的格式保存，数据所占用的存储空间不同，使用DLA扫描数据时所花费的时间和费用也不同。通常情况下，同一份数据以ORC格式和PARQUET格式存储时，其数据扫描性能要优于普通文本CSV格式。因此，您可以将文本类型的数据转换为...
混合散点层（v2.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
- 产品推荐
- 这些文档可能帮助您