数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
支持识别的行业模板
数据安全中心的识别规则模板是根据不同行业规范、针对性定制的敏感数据分类分级。通过识别规则模板可以使敏感数据自动符合合规要求。本文介绍数据安全中心提供的内置识别模板。数据安全中心支持识别的模板类型按照不同行业规范，可以按以下...
深度解析PolarDB数据库并行查询技术
通常来说，每个worker只有所有数据的一个分片，只在一个数据分片上做GROUP BY是有极大的风险得到错误的GROUP BY结果的，因为同一GROUP分组的数据可能不只是在本WORKER的数据分片上，也可能在其它WORKER的数据分片中，被其它WORKER所持有。...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
验证分析型查询请求能力
OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过数据分片和任务分片实现了数据和计算的并行处理。在OceanBase 中，每个节点都可以独立地执行任务，并且可以通过高速的网络互相通信，实现数据的交互和同步。PARALLEL...
规格查询导航
集群架构-双副本：每个数据分片都是主从（master-replica）架构。内存容量上限可达4,096 GB（16 GB*256分片数），支持约25,600,000 QPS（参考值）。集群架构-单副本：每个数据分片都是单节点架构。内存容量上限可达2,048 GB（16 GB*128分片...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
全局二级索引
A：全局二级索引和局部索引间的关系如下所示：全局二级索引：不同于局部索引，如果数据行和对应的索引行保存在不同分片上，称这种索引为全局二级索引，主要用于快速确定查询涉及的数据分片。局部索引：分布式数据库中，如果数据行和对应的...
查看治理方案模板
背景信息 功能作用 治理方案模板是DataWorks的数据治理中心为您提供的排查当前登录账号下待治理问题的模板，该模板将常见的问题项进行了汇总、分类，并提供了相应的解决方案。您可以直接使用该模板快速发现当前账号中存在的待治理问题，并...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
处理检查项事件
当前仅华北2（北京）、华东2（上海）、华东1（杭州）和华南1（深圳）地域的数据治理中心支持Hologres数据源。查看并处理检查项事件 进入数据治理中心页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据治理...
从MongoDB副本集实例迁移至分片集群实例
准备工作 根据业务需要，在目标MongoDB实例中创建需要分片的数据库和集合，并配置数据分片，详情请参见 设置数据分片以充分利用Shard性能。说明 配置数据分片可避免数据被迁移至同一Shard，导致无法发挥集群性能。操作步骤 登录 MongoDB...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
处理治理项问题
当前仅华北2（北京）、华东2（上海）、华东1（杭州）和华南1（深圳）地域的数据治理中心支持Hologres数据源。查看并处理治理项问题 进入数据治理。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在...
名词解释
数据中心 云数据库Cassandra中，数据中心（Data Center，简称DC）是指在同一地域下，电力、网络隔离的一组节点。在多DC的部署架构下面，DC之间内网互通，同一DC内网络延时更小，不同DC之间故障隔离。Partitioner partitioner用来确定将数据...
功能简介
数据探索（Data Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
从MongoDB副本集实例迁移至分片集群实例
准备工作 根据业务需要，在目标MongoDB实例中创建需要分片的数据库和集合，并配置数据分片，详情请参见 设置数据分片以充分利用Shard性能。说明 配置数据分片可避免数据被迁移至同一Shard，导致无法发挥集群性能。操作步骤 登录 MongoDB...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
u dtstest-p 'Test123456' cleanupOrphaned.js 根据业务需要，在目标MongoDB实例中创建需要分片的数据库和集合，并配置数据分片，详情请参见 设置数据分片以充分利用Shard性能。说明 在配置数据迁移前配置数据分片，可避免数据被迁移至同一...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
配置Vertica输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置...
配置Vertica输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
u dtstest-p 'Test123456' cleanupOrphaned.js 根据业务需要，在目标MongoDB实例中创建需要分片的数据库和集合，并配置数据分片，详情请参见 设置数据分片以充分利用Shard性能。说明 在配置数据迁移前配置数据分片，可避免数据被迁移至同一...
流程简介
数据探索主要包括首页、数据中心、算子中心、模型中心、任务中心等功能。本文介绍了数据探索的业务操作基本流程。数据探索的业务流程如下图所示。数据探索的流程说明如下表所示。流程 说明 首页 提供新手引导及用户登录、模型情况的运行...
配置Teradata输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
配置IBM DB2输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
配置IBM DB2输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
应用场景
OceanBase 数据库可以利用分区表特性将数据打散后分布到集群的多个节点上，从而满足一部分的查询需求，之后利用强一致性全局索引功能来满足其它维度的查询和分析需求，在数据库层面实现了数据分片和水平扩展能力，并且对用户透明。...
配置Teradata输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
专题广场
个人数据中心：可查看并管理负责人是自己的资产，详情请参见 个人数据中心。③配置中心 可创建专题分组及配置数据探查。专题分组管理：帮助您对专题分组进行统一管理，提高专题的管理效率，详情请参见 新建及管理专题分组。数据探查配置：...
专题广场
个人数据中心：可查看并管理负责人是自己的资产，详情请参见 个人数据中心。③配置中心 可创建专题分组及配置数据探查。专题分组管理：帮助您对专题分组进行统一管理，提高专题的管理效率，详情请参见 新建及管理专题分组。数据探查配置：...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
u dtstest-p 'Test123456' cleanupOrphaned.js 根据业务需要，在目标MongoDB实例中创建需要分片的数据库和集合，并配置数据分片，详情请参见 设置数据分片以充分利用Shard性能。说明 在配置数据迁移前配置数据分片，可避免数据被迁移至同一...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
u dtstest-p 'Test123456' cleanupOrphaned.js 根据业务需要，在目标MongoDB实例中创建需要分片的数据库和集合，并配置数据分片，详情请参见 设置数据分片以充分利用Shard性能。说明 在配置数据迁移前配置数据分片，可避免数据被迁移至同一...
使用MongoDB工具将MongoDB Atlas迁移至阿里云
如需迁移至阿里云MongoDB分片集群实例，建议对数据进行分片，详情请参见 设置数据分片。设置阿里云MongoDB实例的数据库密码，详情请参见 重置密码。说明 如果您在创建实例时设置了数据库密码，可跳过本步骤。在本地设备上成以下准备工作：...
规格查询导航
内存型（集群架构）：采用多线程模型的集群实例，每个数据分片均为主从双副本架构，性能约为同规格社区版实例的3倍。内存容量上限可达4,096 GB（16 GB*256分片数），支持约61,440,000 QPS（参考值）。持久内存型实例规格 数据持久化不依赖...
添加RDS PostgreSQL数据库
本文为你介绍如何添加RDS PostgreSQL数据库。前提条件 添加数据库之前请先安装Ganos插件，详情请参见 GanosBase时空数据库。添加数据库前请先参见 创建RDS PostgreSQL实例，开通对应数据库服务并添加白名单。外网连接数据库 登录 DataV-...
- 产品推荐
- 这些文档可能帮助您