如何将一棵LSM-Tree塞进NVM
简介 持久化内存简介 PM在提供相比DRAM更大容量、更低功耗的同时，还具备字节寻址等诸多特点，旨在大幅度提升设备内存容量以及降低设备静态功耗的同时，提供可持久化字节寻址等特性以简化系统的设计，为数据库存储引擎的设计带来了新的契机...
图算法
图计算服务GraphCompute新增图算法分析功能，提供分析查询一体化解决方案，方便用户快速进行全图数据分析。功能介绍 图计算服务GraphCompute新增图算法功能，基于当前服务的数据进行算法执行，方便用户快速进行全图数据的分析。只需要开通...
AdvanceEncrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
调优集群性能
Join算子 云原生数据仓库 AnalyticDB MySQL 版 支持标准的Join查询操作，系统内部实现Join过程一般使用Hash算法和Index算法，更多介绍，请参见 算子。Hash算法会将小表（Build表）缓存到内存中，并在内存中为Build表构建一个Hash表，加速...
Designer概述
同时，Designer中内置了丰富且成熟的机器学习算法，覆盖商品推荐、金融风控及广告预测等场景，支持基于MaxCompute、通用训练资源、Flink等计算资源进行大规模分布式运算，可以快速满足不同方向的业务需求。Designer&PAIFlow产品架构 ...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
风险识别管理（新版）
风险识别管理提供了多维度的关联分析及算法，智能化的分析技术帮助您通过风险识别规则，主动发现风险操作并预警，使用可视化方式进行一站式审计。DataWorks内置了多种场景的风险识别规则，您可以直接使用，也可以根据业务场景自定义规则。...
性能测试工具-Shell
配置被测表的压缩算法，可选项有:#NONE LZO ZSTD SNAPPY GZ LZ4 ZSTD 等#注意部分被测系统可能不支持指定的压缩算法#云数据库HBase性能增强版推荐使用ZSTD ahbench.table.compression=SNAPPY#配置被测表的编码算法，可选项有:#NONE DIFF ...
使用执行计划分析查询
算子层计划执行树 算子层执行计划由多个算子组成，图中的每个矩形框代表一个算子，数据流向自下而上，扫描数据过程或接收网络数据由最上游的算子（TableScan和RemoteSource）完成，扫描到的数据和接收到的网络数据经过中间算子层层处理后，...
策略配置
您可以根据自身业务特点配置推荐策略，从而使推荐系统实现预期的推荐逻辑。说明 系统将根据您配置的推荐策略尽可能全面满足您的诉求，但是对于可推荐物品不足的情况，推荐策略也可能无法满足，这种情况建议您减少推荐策略并丰富物品数量、...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
SQL优化技术
本文介绍数据库自治服务DAS（Database Autonomy Service）的SQL优化技术。背景信息 作为数据库管理员或应用开发者，都有过SQL优化经历。数据库上执行的SQL千差万别，且伴随着业务快速迭代、数据分布特征变化、热点变化、数据库版本升级等...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
应用场景
公司以提升燃煤发电效率作为突破口，使用喷煤到产出蒸汽整个流程中采集到的数据，基于工业大脑构建算法优化模型，准确实时预测蒸汽量，并向燃煤工程师推荐最优燃煤工艺参数指导实际生产，进而降低总体燃煤消耗。最终，燃煤效率提升2.6%，这...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
2.0版本引入了新的查询优化算法和存储引擎，提高了查询速度和并发处理能力，能够更快地处理大量数据，提升数据库的响应能力和性能。此外，2.0版本还引入了许多新的功能和增强功能，提供更好的用户体验和开发者工具。例如，改进了对JSON数据...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
集成GoLang_EncMySQL
目前支持AES（国际算法）和 SM4（国密算法）两个大类，其中具体的算法有：SM4_128_GCM（默认）SM4_128_CTR SM4_128_CBC SM4_128_ECB（不推荐）AES_128_GCM AES_128_CTR AES_128_CBC AES_128_ECB（不推荐）说明 AES_128_ECB和SM4_128_ECB...
性能测试工具-Shell
配置被测表的压缩算法，可选项有：#NONE LZO ZSTD SNAPPY GZ LZ4 ZSTD 等#注意部分被测系统可能不支持指定的压缩算法#云Lindorm推荐使用ZSTD ahbench.table.compression=SNAPPY#配置被测表的编码算法，可选项有：#NONE DIFF INDEX#注意部分...
创建和管理IPsec连接（双隧道模式）
3des 是三重数据加密算法，加密时间较长且算法复杂度较高，运算量较大，相比aes会降低转发性能。认证算法 选择第一阶段协商使用的认证算法。如果IPsec连接绑定的为普通型VPN网关，则认证算法支持 sha1（默认值）、md5、sha256、sha384 和 ...
Teradata应用迁移至AnalyticDB PostgreSQL
本指南在将TD数仓应用迁移至 AnalyticDB PostgreSQL 云化数仓过程中，秉承充分复用旧系统架构、ETL算法、数据结构和工具的原则，需对原加工脚本进行转换，另外，需对历史数据进行迁移，并保证数据的准确性，完整性。对数据仓库基础数据平台...
分区表常见问题
PolarDB MySQL版 单表最大支持到64 TB，2 TB的数据量相对较小，所以推荐使用 PolarDB MySQL版。因为数据量超过1 TB，建议使用分区表。PolarDB MySQL版 分区表支持本地索引吗？是否支持给指定的一级分区或二级分区添加二级索引？支持。具体...
数据推送
使用API/SDK推送数据有次数及大小限制，具体值请参考系统限制项，推荐将文档批量打包发送。数据上传后请务必检查返回值，并对相关错误码进行重试（尤其是3007错误），否则会出现数据丢失情况。同时，数据处理是异步的，系统返回“OK”后只...
如何处理Tair集群数据倾斜
为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
如何处理Redis集群数据倾斜
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
通过Lindorm Shell访问宽表引擎
推荐在Linux或者macOS操作系统使用Lindorm Shell。在Windows系统使用Lindorm Shell时，可能会遇到报错或缺少库的问题，请根据报错信息自行在系统中添加相应的库。操作步骤 下载Lindorm Shell工具。在 Lindorm管理控制台 左上角，选择实例...
密钥管理类型和密钥规格
说明 因非对称加解密运算量比较大，使用非对称密钥进行加解密时，在实际应用通常用于安全分发对称密钥等仅需要加解密小块数据的场景。密钥规格 不同的密钥管理类型支持的密钥规格等信息请参见下表。密钥管理类型 密钥规格 支持的加密算法 ...
概述
日志服务机器学习功能为您提供多种功能丰富的算法和便捷的调用方式，您可以在日志查询分析中通过分析语句和机器学习函数调用机器学习算法，分析某一字段或若干字段在一段时间内的特征。针对时序数据分析场景，日志服务提供了丰富的时序分析...
行业算法模型介绍
智能推荐根据不同的行业提供了归档的如下几类算法模型，您可以通过在线实验平台的实验参数配置针对性的进行开启或关闭以及具体算法子类型的优化。一、基于物品的协同过滤算法 协同过滤算法主要分为基于物品的协同过滤算法、基于用户的协同...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
商品推荐任务
算法模型训练成功后，您可以使用算法模型进行货品推荐，得到用户的TopN推荐商品或用户针对某一指定商品的偏好指数。新建推荐任务 说明 新建推荐任务时将使用状态为训练成功的唯一算法模型，请确保本空间当前有训练成功的算法模型，否则不能...
集成PyEncMySQL
目前支持 AES 和 SM4（也就是国密）两个大类，其中具体的算法有：AES_128_GCM AES_128_CBC AES_128_CTR AES_128_ECB（不推荐）SM4_128_GCM SM4_128_CBC（默认）SM4_128_CTR SM4_128_ECB（不推荐）。写入配置文件。您需要新建1个文件如：...
产品优势
类别 云数据库HBase增强版（Lindorm）HBase开源版 核心功能 HBase API 支持 支持 数据模型 支持宽列（HBase API）、表格（SQL-Like API）、队列等多种，对其他模型感兴趣的话，请联系我们。仅支持宽列 全局二级索引 内置，查询透明、高性能...
MySQL物理备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。对象存储OSS Bucket名称 请选择您的对象存储OSS Bucket名称。说明 该参数仅在 备份目标存储类型 参数为 用户OSS 时显示...
Encrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
- 产品推荐
- 这些文档可能帮助您