冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
创建和管理IPsec连接（双隧道模式）
3des 是三重数据加密算法，加密时间较长且算法复杂度较高，运算量较大，相比aes会降低转发性能。认证算法 选择第一阶段协商使用的认证算法。如果IPsec连接绑定的为普通型VPN网关，则认证算法支持 sha1（默认值）、md5、sha256、sha384 和 ...
功能特性
使用可视化大屏查看分析报告 预置算法组件库 支持数据源、数据预处理、特征工程、统计分析、机器学习、时间序列、推荐算法、异常检测、自然语言处理、网络分析、金融板块、视觉算法、语音算法、自定义算法等上百种PAI内置算法组件，开箱即...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
机器学习
MADlib机器学习模块主要解决以下问题：分类/回归问题：提供一系列算法如K最近邻、MLP多层感知神经网络、SVM支持向量机、决策树等算法来解决二元分类/回归问题，集成最小二乘法、GLM广义线性回归、逻辑回归、多项式回归等模型来解决回归问题...
高维向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理参见下图。算法流程说明：构造多层图，每层图都是下层图...
高维向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理参见下图。算法流程说明：构造多层图，每层图都是下层图...
高效向量检索（PASE）
在大数据量的情况下，使用HNSW算法的性能提升相比其他算法更加明显，但邻居点的存储会占用一部分存储空间，同时召回精度达到一定水平后难以通过简单的参数控制来提升。HNSW的算法原理请参见下图。算法流程说明：构造多层图，每层图都是下层...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
配置订阅任务（新控制台）
数据传输服务DTS（Data Transmission Service）提供的数据订阅功能简单易用，您只需在控制台上进行简单操作，即可完成数据订阅任务的配置。注意事项 本文仅简单介绍数据订阅任务的通用配置流程，不同的数据源在配置数据订阅任务时略有不同...
创建RDS MySQL数据订阅任务
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建 RDS MySQL 数据订阅任务。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 ...
PolarDB for AI助力菜鸟实现一站式数据智能
但是在AI模型的生命周期管理过程中，存在如下痛点：业务不灵活：数据标注加工、算法设计与开发、特征工程、模型训练、模型调优、模型评估、模型上线等工作涉及众多业务系统、至少三类工程师角色，业务逻辑复杂，全流程耗时过长，当有新需求...
使用KMS密钥进行信封加密
单次加密数据量巨大时，如果由业务应用服务器通过网络安全信道传递到KMS，由KMS加密后再返回给用户，大量的数据网络传输会带来较高的成本和延时，使用信封加密可以解决这些问题。使用限制 用户自建应用程序通过KMS进行信封加密时，仅可使用...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
内置时空数据引擎Ganos
提供拓扑网络路径分析和大规模点云存储与查询支持 Ganos所包含的几何网络数据库引擎支持Node-Edge拓扑网络构建，支持Turn、U-Turn等概念，支持TSP（旅行商问题）、KSP（多条线路最短路径）、TRSP（转向限制的最短路径）等一系列路径规划...
工作原理
多维指标时序数据：下探分析作业读取各个维度的时序指标，在观测到异常事件时，检测哪些维度的时序指标与期望值偏差较大，并将这些维度作为异常事件的候选根因。下探分析结果会被写到目标日志库（internal-ml-log）中，并且在仪表盘中进行...
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
审计经典网络数据库实例
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时，需要满足限定条件，具体请参见ClassicLink概述的 使用...
AdvanceEncrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
Redis过期Key的逐出策略
Redis过期Key清理策略 清理过期Key的算法 数据逐出算法 使用Redis的注意事项 详细信息 Redis过期Key清理策略 为了防止一次性清理大量过期Key导致Redis服务受影响，Redis会在CPU空闲时清理过期Key。具体Redis逐出过期Key的策略如下所示：...
Decrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
企业版和标准版功能对比
通过LSM-Tree层次化架构和Zstandard压缩算法实现了更高的数据压缩率，对比使用InnoDB作为存储引擎，最高可节省70%的存储空间。支持 不支持 集群回收站 集群回收站用于保存已释放的 PolarDB 集群，您可以将回收站中的集群（即已释放的集群）...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
Encrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
无锁结构变更方案对比
网络流量 触发器在数据库的内部处理数据。非触发器需要订阅事件流以及回写数据，这将使用到主机间的流量，占用MySQL的进程流量。代码的复杂性依赖缜密的算法逻辑，完善的测试用例集来保证健壮性和稳定性。但是相比之下，它带来了更多的好处...
AdvanceDecrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 CiphertextBlob bytes 是 二进制数据 待解密的密文。KeyId string 否 key...
什么是MaxCompute
提供持续的SaaS化云上数据保护 为云上企业提供基础设施、数据中心、网络、供电、平台安全能力、用户权限管理、隐私保护等保三级超20项安全功能，兼具开源大数据与托管数据库的安全能力。产品架构 MaxCompute的产品架构如下。其中核心模块...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
存储类型
云原生多模数据库 Lindorm依赖于LindormDFS云原生存储系统，实现了数据存储与计算分离。存储容量独立计费，支持不停机在线扩容。Lindorm实例的存储容量在同实例内的多个引擎之间共享。存储类型说明 云原生多模数据库Lindorm支持的存储类型...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
K均值聚类算法（K-Means）
本文介绍了K均值聚类算法（K-Means Clustering Algorithm，以下简称K-Means）相关内容。简介 K-Means算法是一种迭代求解的聚类分析算法。该算法原理为：先将数据分为K组，随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚...
- 产品推荐
- 这些文档可能帮助您