使用场景
数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性和可控性。数据归档与清理 将业务数据周期性地归档至低价存储并进行分析。任务调度 对定时、定期或事件触发的任务进行调度...
创建Hologres数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。后续操作 为保障您的开发过程更加顺畅，建议先阅读 DataWorks On Hologres使用说明，了解在DataWorks使用Hologres的开发流程、相关费用、环境准备、权限控制等内容。数据源创建...
创建AnalyticDB for PostgreSQL数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。方式二：通过连接串模式创建数据源 该方式仅支持使用当前阿里云账号创建数据源。配置基础信息。参数 说明 数据源名称 定义数据源在DataWorks的名称，名称必须唯一。配置模式 ...
创建AnalyticDB for MySQL3.0数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。方式二：通过连接串模式创建数据源 使用该模式创建的数据源不支持用于数据开发和调度，只能用于数据同步。创建数据源配置如下。配置基础信息。参数 说明 数据源名称 定义数据源...
创建MaxCompute数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。说明 数据源创建成功后平台会进行访问身份授权，即将访问身份账号添加至MaxCompute项目中，并为该身份映射MaxCompute对应的权限。在授权完成前，连通性测试可能会产生连通无...
自建数据库与RDS性能对比的注意事项
网络环境 应用和自建数据库都需要部署于ECS实例，且与RDS实例位于同一地域，使得应用与RDS之间，以及应用与自建数据库之间都是通过内网进行通信。说明 应用与自建数据库需要部署于两台不同的ECS实例。如果部署于同一台ECS实例，则应用到自...
自建数据库与RDS性能对比的注意事项
网络环境 应用和自建数据库都需要部署于ECS实例，且与RDS实例位于同一地域，使得应用与RDS之间，以及应用与自建数据库之间都是通过内网进行通信。说明 应用与自建数据库需要部署于两台不同的ECS实例。如果部署于同一台ECS实例，则应用到自...
自建数据库与RDS性能对比的注意事项
网络环境 应用和自建数据库都需要部署于ECS实例，且与RDS实例位于同一地域，使得应用与RDS之间，以及应用与自建数据库之间都是通过内网进行通信。说明 应用与自建数据库需要部署于两台不同的ECS实例。如果部署于同一台ECS实例，则应用到自...
概述
背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。Flink（VVR）完全兼容开源Flink，相关内容请...
数据查询与分析管控
您可通过 管控数据源的查询权限 功能，对其他用户或角色进行授权，授权时应注意：成员或角色被授权数据源查询权限后，将获得与数据源访问身份同样的权限。为保障数据的安全性（特别是生产数据），建议您合理规划后谨慎分配权限。标准模式...
数仓规划概述
使用DataWorks进行数据建模时...DataWorks智能数据建模在进行跨多个工作空间数据的统一建模情况下，为您提供了 模型设计工作空间 与 数据研发工作空间 的概念，通过建模空间功能实现模型跨工作空间应用。建模空间的详细介绍请参见 建模空间。
数据归档至DBS内置OSS
说明 数据归档功能将以0时区进行数据归档与后置行为（与数据库实际时区无关）。可选：查看已归档数据。在DBS中将备份集创建数据湖。更多信息，请参见 创建数据湖。可选：将数据湖录入至DMS实例中。您可以在SQL窗口中进行数据查询，在任务...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
功能发布记录（2024年）
2024.2.6 所有地域 所有DataWorks用户 系统配置 2024-01 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发与数据分析的查询结果支持脱敏展示 数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示...
数据安全
数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对...
创建同步任务
您需要测试每种资源组的连通性，以保证同步任务使用的资源组能够与数据源连通，否则将无法正常执行数据同步任务。测试连通性通过后，单击 完成，数据源创建完成。步骤二：新建并配置同步任务 通过创建同步节点 write_result 来生成一个同步...
快速体验
您无需自行准备RDS MySQL云产品及数据，本实验为您提供公共的实验环境与数据。任务运维 使用DataWorks的 运维中心，周期性调度数据同步、清洗加工任务流程，获得每日的最新业务数据，同时可以监控每日任务运行的状态。数据治理 使用...
数据服务入门
选择数据服务资源组并测试资源组与数据源的连通性。本文示例使用开通DataWorks时默认提供的公共数据服务资源组。说明 在任务高并发执行且无法错峰运行的情况下，需要专有资源来保障高并发和高频率的API调用。建议您选择购买使用DataWorks的...
OSS数据离线同步至MaxCompute
内网产生的流入和流出流量均免费，如果您读写与数据集成资源组同地域的OSS Bucket，您可配置内网访问端口，否则，建议您配置外网访问端口。Region和Endpoint对照表请参见 访问域名和数据中心。添加数据源 新建OSS数据源 在DataWorks 数据源...
OSS数据离线同步至MaxCompute
内网产生的流入和流出流量均免费，如果您读写与数据集成资源组同地域的OSS Bucket，您可配置内网访问端口，否则，建议您配置外网访问端口。Region和Endpoint对照表请参见 访问域名和数据中心。添加数据源 新建OSS数据源 在DataWorks 数据源...
GxP欧盟附录11标准合规包
5.1 以电子方式与其他系统交换数据的计算机化系统应包括适当的内置检查，以确保数据的正确和安全输入和处理，以最大限度地减少风险。7.1 应通过物理和电子手段保护数据免受损坏。应检查存储的数据的可访问性、可读性和准确性。应确保在整个...
采集数据
本教程采用离线同步方案，DataWorks将数据集成离线同步能力封装为离线同步节点，一个离线同步节点代表一个同步任务，节点内通过数据来源与数据去向定义数据源之间的数据传输，通过字段映射的方式定义源端字段与目标端字段的数据读取与写入...
数据集市
说明 删除 指定主题域，不仅会删除该主题域与数据集市的绑定关系，同时，会将该主题域一并删除，请您谨慎操作。创建子数据集市 在一级数据集市下，如有其他子数据集市，可继续新建子数据集市。创建方法与一级数据集市相同。后续步骤 完成...
采集数据
本教程采用离线同步方案，DataWorks将数据集成离线同步能力封装为离线同步节点，一个离线同步节点代表一个同步任务，节点内通过数据来源与数据去向定义数据源之间的数据传输，通过字段映射的方式定义源端字段与目标端字段的数据读取与写入...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
数据量
备份数据量 通过备份链路的实际数据大小，与数据文件空间不同，备份数据量取决于数据库类型、备份方式、备份粒度等因素。存储数据量 存放存储介质的实际数据大小，与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩...
什么是备份数据量
与数据文件空间不同，备份数据量取决于数据库类型、备份方式、备份粒度等因素。存储数据量 存储数据量指存放存储介质的实际数据大小。与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小 在单次全...
功能特性
作业运维 数据联邦 MaxCompute支持湖仓一体能力，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。功能集 功能 功能描述 参考文档 数据联邦 基于Delta Lake或Hudi存储...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
开发前准备：绑定数据源或集群
部分场景可能导致数据源或集群无法绑定至DataStudio（数据开发）：部分数据源或集群是否可在DataStudio绑定，与数据源或集群的配置有关。例如，不支持在DataStudio绑定AccessKey及AccessSecret模式创建的数据源。更多绑定限制，请参见产品...
功能特性
数据库管理 功能集 功能 功能描述 参考文档 实例管理 创建与释放实例 支持通过Lindorm管理控制台创建和释放Lindorm实例。创建实例 释放实例 管理存储空间 管理存储空间是数据库管理的一部分，涉及到如何规划、分配、配置、监控、维护和扩展...
Delta Lake概述
数据仓库与数据湖 Data Warehouse、Data Lake和Delta Lake对比如下所示。对比项 Data Warehouse Data Lake Delta Lake 架构 计算存储一体或分离 计算存储分离 计算存储分离 存储管理 严格、非通用 原生格式 通用格式、轻量级 场景 报表、...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
QPS限制
通过阅读本文，您可以了解音视频通信数据服务单用户的API QPS限制。单用户QPS限制 单用户的API QPS限制是指以阿里云账号为基准，该账号及其RAM用户每秒或每分钟调用某API的频率上限。例如：某阿里云账号及其对应5个RAM用户同时调用接口 ...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
数据模型架构规范
成本与性能平衡 适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制。数据可回滚 处理逻辑不变，在不同时间多次运行数据的结果需确定不变。一致性 相同的字段在不同表中的字段名必须相同。命名清晰可理解 表命名规范需清晰、一致...
安全隧道通信协议
设备端与访问端之间的通信、安全隧道内部的会话（Session）管理及Session内的数据通信，都基于通信协议中隧道帧实现。隧道帧为WebSocket中二进制类型数据帧的Payload。您需在访问端应用程序和设备端目标应用中，自行设计和开发应用层通信...
甜甜圈层
参数 说明 字段名称 该散点类的字段名称，与数据面板里的donut字段内的对应系列字段相匹配。颜色 该散点类的颜色。数据源面板 字段 说明 lng 甜甜圈中心点的经度。lat 甜甜圈中心点的纬度。inner 甜甜圈内圈的值。outer 甜甜圈外圈的值。...
- 产品推荐
- 这些文档可能帮助您