使用限制
在使用云数据库MongoDB副本集实例前，您需要了解副本集实例本身存在的约束信息，使您初步了解副本集实例的使用限制，帮助您进一步确认副本集实例是否能够满足您的业务场景。功能 MongoDB云盘版实例约束 MongoDB本地盘实例约束 实例部署 ...
验证分析型查询请求能力
在OceanBase 中，每个节点都可以独立地执行任务，并且可以通过高速的网络互相通信，实现数据的交互和同步。PARALLEL Hint 语法介绍 MySQL 客户端-c、hint 不会影响业务，不会报错 PARALLEL Hint 是语句级的 Hint，用来指示优化器指定并行...
全景视角
阿里云DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角，高效的进行数据治理工作。背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角...
创建数据库用户
您在使用数据传输的数据迁移和数据同步功能前，请先在源端和目标端数据库中，为数据迁移或同步任务创建专用的数据库用户。OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建...
数据标准
数据标准使用 数据标准创建完成后，需要将数据标准导入DataWorks，再使用建模工具DDM客户端同步导入DataWorks中的数据标准，以供后续数据建模使用，具体请参见 入门实践。说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
Android
当监控到弱网环境时，为保证基础通信体验，建议您使用 SDK 对应的方法分别在发布端和订阅端进行如下优化：调整视频流规格：通过设置较低档位规格的 VideoProfile，减少视频通信的网络资源占用。切换视频为小流：小流有着与大流相同的宽高比...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
MySQL节点
您可以通过创建MySQL节点，直接使用SQL语句对目标MySQL数据源进行数据开发。本文为您介绍如何创建并使用MySQL节点。前提条件 MySQL节点仅支持使用独享调度资源组，独享调度资源组的使用请参考文档：新增和使用独享调度资源组。已通过连接串...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
集成与开发概览
您可以通过流批一体的数据集成对在线数据进行入仓、加工处理，通过数据开发模块对数仓数据进行分层开发，之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于...
离线同步数据质量排查
或者下游在查询使用数据时，分区表达式没有正确赋值，查询使用了错误的分区数据。检查数据同步任务的调度变量表达式，即调度参数配置是否符合预期，调度时参数替换值是否符合预期。数据类型、时区问题 您的源头表数据类型、数据范围和目标...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
数据同步操作指导
数据同步使用流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据同步的操作，您需要经历如下步骤。操作流程 说明 1.准备工作概览 在使用DTS执行数据同步前，您需要对源或目标数据库做一些准备工作，以满足DTS对环境的...
资源组操作及网络连通
如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库，您需要为独享数据集成资源组做相关的网络配置，详情可参见 新增和使用独享数据集成资源组，连通方案核心点为：独享数据集成资源组绑定ECS所在VPC，会自动添加一个路由指向...
OSS数据安全防护最佳实践
本文介绍如何使用 数据安全中心（DSC），对OSS中存储的敏感数据进行识别、分类分级和保护。背景信息 敏感数据主要包括个人隐私信息、密码、密钥、敏感图片等高价值数据，这些数据通常会以不同的格式存储在您的OSS Bucket中，一旦发生泄漏，...
数据转发到另一Topic
相关文档 配置解析脚本将Topic数据转发到其他Topic 基于消息转发的M2M设备间通信 基于Topic消息路由的M2M设备间通信 常见问题 两个设备之间能通信吗？设备可以订阅其他设备的通信Topic吗？硬件设备和MQTT客户端使用同一设备证书接入物联网...
元数据仓库共享模型标准访问方式
通信表说明如下：data_share_finish：基础元数据模型通信表。data_security_finish:数据安全模块共享模型通信表。data_service_finish:数据服务模块共享模型通信表。重要 部分共享模型表和是否购买对应增值模块有关，如数据安全相关数据表...
使用须知
本文介绍使用Lindorm计算引擎SQL语句访问数据库的数据时，需要提前了解的相关内容。了解开源Spark SQL 通过开源Spark SQL访问数据库的数据分为以下三个级别：Catalog：用来标识用户不同的数据源。Namespace：与数据库中的Database或者...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
Android
当监控到弱网环境时，为保证基础通信体验，建议您使用SDK对应的方法分别在发布端和订阅端进行如下优化：调整视频流规格：通过设置较低档位规格的VideoProfile，减少视频通信的网络资源占用。切换视频为小流：小流有着与大流相同的宽高比，...
目标数据库连接性检查
目标数据库对来源IP进行了限制 检测方法：您可以直接在目标数据库部署的服务器上，使用数据迁移任务中填入的数据库账号和数据库密码来连接目标数据库。如果连接正常，说明可能目标数据库可能限制了来源IP。如果目标数据库为MySQL，您可以...
iOS
当监控到弱网环境时，为保证基础通信体验，建议您使用SDK对应的方法分别在发布端和订阅端进行如下优化：调整视频流规格：通过设置较低档位规格的VideoProfile，减少视频通信的网络资源占用。切换视频为小流：小流有着与大流相同的宽高比，...
数据迁移操作指导
数据迁移流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据迁移的操作，您需要经历如下步骤。操作流程 说明 1.准备工作概览 在使用DTS迁移数据前，您需要对源或目标数据库做一些准备工作，以满足DTS对环境的要求。2....
敏感数据保护
需要注意的是，脱敏保护后的数据无法展示为原值，因此推荐用在临时查询等场景，不推荐在数据交换等场景中使用。加解密方案 Dataphin支持在数据集成中针对敏感数据进行加密或者解密。Dataphin支持常见的商密和国密，如AES、RSA、SM4等算法；...
敏感数据保护
需要注意的是，脱敏保护后的数据无法展示为原值，因此推荐用在临时查询等场景，不推荐在数据交换等场景中使用。加解密方案 Dataphin支持在数据集成中针对敏感数据进行加密或者解密。Dataphin支持常见的商密和国密，如AES、RSA、SM4等算法；...
我是DBA
资产类目 帮助您对表进行分类，便于管理人员、开发人员及运维人员能更好地管理或使用数据表。SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 ...
我是管理员
资产类目 帮助您对表进行分类，便于管理人员、开发人员及运维人员能更好地管理或使用数据表。SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 ...
DataWorks on EMR Serverless StarRocks最佳实践
数据地图可以帮助您更好地查找、理解和使用数据。数据地图概述 前提条件 已开通DataWorks并创建工作空间。操作详情请参见 开通DataWorks服务。已购买资源组并完成资源组的空间绑定、网络等配置。详情请参见 资源组管理。已创建EMR ...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。数据源...
数据保护伞概述
功能使用 目前仅支持使用数据识别和动态脱敏功能对EMR、MaxCompute、CDH、Hologres引擎的敏感数据进行识别和脱敏。其中，识别EMR引擎敏感数据并进行脱敏的使用限制如下：敏感数据识别和脱敏目前仅支持部分EMR集群类型和表类型。如下所示：...
管理数据集
可以在仪表盘中使用数据集变量对数据进行筛选。定义变量 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。进入 数据分析 页面，单击 数据集 页签。选择目标数据集行，单击 操作 列下的 图标，进入编辑...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
关联数据
本文介绍如何使用关联数据功能。背景信息 在 关联数据 页面定义了关联数据后，在自定义规则时您可以直接选择对应的数据组。管理IP组 IP组功能可以帮您管理IP集合。如果自定义的规则需要对某个固定的IP集合生效，您可以通过新增IP组定义该IP...
SQL查询
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时，如果MaxCompute项目空间开启了白名单访问控制，数据分析的相关服务（例如，费用计算、数据下载、维表使用、数据上传等）可能会出现报错。为保证DataWorks数据分析服务能顺利...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
- 产品推荐
- 这些文档可能帮助您