受众与核心能力
产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员 从事数据应用开发的开发人员 把控公司核心数据资产的管理人员 核心能力 基于DataWorks，您可以获得如下...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
高维向量检索（PASE）
PASE（PostgreSQL ANN search extension）是一款为PostgreSQL数据库研发的高性能向量检索索引插件，使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法，可以在PG数据库中...
高维向量检索（PASE）
PASE（PostgreSQL ANN search extension）是一款为PostgreSQL数据库研发的高性能向量检索索引插件，使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法，可以在PG数据库中...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
外部表概述
但这两种方法都有不足之处：第一种方法需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute的大规模计算能力。第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业...
高效向量检索（PASE）
使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法，可以在PostgreSQL数据库中实现极高速向量查询。PASE暂时不支持特征向量的抽取与产出，您需要自己检索实体的特征向量，...
客户案例
客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台的执行引擎和存储是 MaxCompute，两套异构的执行引擎带来存储冗余、元数据不统一、权限不统一、湖仓计算不能自由流动的问题。客户需求 如架构图所示，MaxCompute和...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
数据脱敏
敏感数据在使用的过程中，应根据实际使用场景进行一定程度的脱敏，数据脱敏也是满足数据相关安全法规的一项安全控制措施，在执行数据脱敏的过程中，应注意数据脱敏的程度。从脱敏程度看分为了可逆和不可逆，企业需要结合实际脱敏场景来进行...
技术分析函数
默认的Hold Periods：对于大多数提供的技术分析，HOLD_PERIOD 的默认值由您使用的技术分析算法和 WARMUP_TYPE 决定。算法 \ Warmup Type simple exponential none EXPONENTIAL_MOVING_AVERAGE PERIOD-1 PERIOD-1 n/a DOUBLE_EXPONENTIAL_...
导出数据
导出内容 选择导出内容，当前支持导出 数据、结构 或 数据和结构。导出结构类型 选择导出结构类型，当前支持导出的结构类型有 存储过程、函数、触发器、视图、事件。说明 不同类型的数据库支持的导出结构类型不同，请以控制台为准。完成...
东软案例
阿里云Lindorm数据库驱动的IT运维监控系统 客户简介 东软创立于1991年，是中国第一家上市的软件公司，一直以来致力于以信息技术的创新，推动社会发展，创造美好生活。东软集团以软件技术为核心，业务领域覆盖智慧城市、医疗健康、智能汽车...
Tair扩展数据结构概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
Tair命令概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
我是安全管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中...
概述
PolarDB for AI 功能通过一系列MLOps和内置的模型解决了数据、特征和模型的割裂状态，实现了基于数据库的数据智能的一站式服务。本文介绍了 PolarDB for AI 功能的相关特性。背景信息 随着数据的累积，数据驱动的智能应用（例如：搜索、...
如何设计宽表主键
Lindorm宽表引擎是一款分布式数据引擎，宽表引擎中的数据均按照主键进行分布。在执行查询时，如果表中存在多列主键，系统会从最左边的主键开始匹配。如果主键设置不当，则可能导致主键无法被有效利用，进而产生热点问题，影响查询性能。...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
引擎简介
Lindorm宽表引擎是面向海量半结构化、结构化数据设计的分布式存储，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容HBase、Phoenix（SQL）、Cassandra等开源标准接口，支持单表百万亿行规模、千万级并发、毫秒级响应、跨...
视频个性化推荐（协同过滤）
本案例将 以视频社交平台的'猜你喜欢'和'详情页相关推荐'为例，通过推荐算法为用户呈现最符合其兴趣的视频内容为背景，为您介绍在DataWorks中如何使用阿里云PAI的协同过滤算法 挖掘深层次的数据关联性，实现视频的个性化推荐。背景信息 ...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
我是DBA
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
基本概念
本文介绍 云原生数据仓库AnalyticDB MySQL版 的基本概念。地域 地域指数据中心所在的地理区域，通常按照数据中心所在的城市划分。例如，华北2（北京）地域表示数据中心所在的城市是北京。可用区 可用区是指在同一地域内，电力和网络互相...
产品架构
时序引擎 LindormTSDB 是面向海量时序数据设计的分布式时序引擎，兼容开源OpenTSDB等标准接口，其基于时序数据特点和查询方式，采用Timerange+hash结合的分区算法，时序专向优化的LSM架构和文件结构，支持海量时序数据的低成本存储、预降...
备份恢复概览
逻辑备份：OceanBase 的逻辑备份是一种更为抽象层次的备份手段，它侧重于按照逻辑数据结构（如表、索引、触发器、存储过程等）进行备份操作。逻辑备份具有高度的选择性，允许用户针对性地备份部分数据，比如单独备份某数据库中的特定表，...
新建Spark SQL类型公共节点并运行
公共节点版本 首次创建时，默认为开发版本（Beta），待第一次发布以后，再次发布，版本号依次叠加。节点目录 节点的所属归类目录。节点资源文件 本地编写完成的算法文件。节点描述 节点的描述性信息，方便用户理解和查找。在节点编辑页面，...
新建Flink Vvp SQL类型的公共节点
公共节点版本 首次创建时，默认为开发版本（Beta），待第一次发布以后版本号依次叠加，用户修改对应的算法语句后，可发布成不同的版本。节点目录 节点所属目录。作业参数 节点运行的额外参数。节点资源文件 上传 JAR包格式 的节点资源文件...
功能特性
开通敏感数据保护 管理敏感数据 管理分类分级模板 管理识别模型 新增脱敏算法 数据水印 可用于数据的散布或分发过程中追溯源头，其包含水印嵌入和水印提取。水印嵌入是指将标识信息嵌入到数据或文件中，使其具备一定的标识度；水印提取是指...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
我是管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
层级生成器功能介绍
层级生成器是一款用于生成自定义下钻区域树形结构数据的小工具，本文介绍层级生成器的详细功能。进入层级生成器 单击 DataV.GeoAtlas地理小工具系列，即可打开 层级生成器 工具页面。层级生成器界面概述 层级生成器界面主要分成两大主要...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
MaxCompute近实时增全量一体化架构介绍
表数据组织格式 如上图所示，展示了分区表的数据结构，先按照分区对数据文件进行物理隔离，不同分区的数据在不同的目录之下。每个分区内的数据按照桶数量来切分数据，每个桶的数据文件单独存放;数据文件类型主要分为Delta Data File和...
数据开发
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发、部署、调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化...
基本概念
本文介绍 云原生多模数据库 Lindorm 帮助文档中的相关名词和术语的解释。A 安全组 安全组是一种虚拟防火墙，用于控制安全组中的ECS实例的出入流量。在Lindorm实例的白名单中添加安全组后，该安全组中的ECS实例就可以访问Lindorm实例。更多...
2020年
从RDS同步至MaxCompute 2020年1月 华北1（青岛）、华北2（北京）、华北3（张家口）和华东2（上海）地域发布周期性全量调度高级功能，可根据调度策略和周期配置，定期地将源库中的结构和存量数据迁移至目标库中，帮助您构建更加灵活的数据...
新建Blink类型的公共节点
Blink节点是流式节点，运行于Blink云计算资源之上，支持对DataHub Service、AnalyticDB MySQL、Table Store、MaxCompute、AnalyticDB PostgreSQL和RDS MYSQL类型的数据源进行处理。本文介绍如何新建Blink类型的公共节点。操作步骤 方式一：...
- 产品推荐
- 这些文档可能帮助您