为什么已使用的Dataphin数据处理单元会超过已购买的...
内容摘要：短时间内多次执行批量发布操作，有较小概率会造成已使用的数据处理单元数超过已购买的可用上限 问题描述 为什么已使用的Dataphin数据处理单元会超过已购买的可用上限？原因说明 Dataphin中，仅已经发布到生产环境的任务或表会...
财务单元分配列表数据更新
从4月4日起，财务单元分配列表数据更新，可以满足所有的费用都可以分账。主要变化点：在未分配列表中，会多出一些待分配资源。即产生费用的资源都会显示出来，待分配。比较原版本已解决了如下问题：1、所有产品资源都可以分账 2、实例资源...
数据迁移与同步FAQ
什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis...
功能特性
什么是数据校验 订正 元数据订正 当校验出数据结构不一致时，可以根据校验结果进行订正。结构订正 查看数据校验详情 全量数据订正 当校验出全量数据不一致时，可以根据校验结果并下载订正SQL进行订正。查看数据校验详情 增量数据订正 当...
数据库代理常见问题
目录 什么是数据库代理？通用型代理和独享型代理有什么区别？数据库代理是否占用主实例的QPS或者TPS？数据库代理地址和常规地址是否是一个地址？开通数据库代理后，实例原来的地址和只读实例的地址是否会被收回？数据库代理的内网网络类型...
数据库代理常见问题
什么是数据库代理？数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于转发应用服务端访问数据库时的所有请求，提供读写分离、事务拆分等高级功能，具有高可用、高性能、可运维、简单易用等特点。更多信息，请参见 什么是...
离线同步并发和限流之间的关系
数据源连接数Quota限制 阅读此部分，您可以解决和理解如下问题：问题一：什么是数据源连接数（Quota）限制，以及如何合理配置连接数限制？问题二：为什么数据同步解决方案中的离线全量任务跑的慢，长时间任务处于Submit状态？数据源连接数...
数据上云工具
DTS（Tunnel通道系列）什么是数据传输服务DTS 是阿里云提供的一种支持RDBMS（关系型数据库）、NoSQL、OLAP等多种数据源之间数据交互的数据服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输功能。DTS可以支持RDS、MySQL...
产品优势
更多信息，请参见 什么是数据库网关。提供数据库平滑迁移工具：DMS提供了DTS数据迁移工具，覆盖数据库迁移的全生命周期。更多信息，请参见 DTS。数据库管理：可进行数据库实例信息的查看、录入、编辑，对实例、库、表、数据列、行级进行...
一键建仓
更多信息，请参见 什么是数据传输服务DTS。AnalyticDB MySQL版是云端托管的大规模并行处理的PB级数据仓库，具有快、灵活、易用、超大规模、高并发写入等特点。更多信息，请参见 什么是云原生数据仓库MySQL版。费用说明 AnalyticDB MySQL...
使用流程
若您初次使用数据库备份DBS，请先了解 什么是数据库备份DBS。如需了解DBS是否支持备份恢复您的数据库，以及各类数据库备份恢复的具体粒度等，请参见 支持的数据库引擎与功能 或 各类数据库备份配置指导文档。备份恢复方案 您可以通过如下两...
新功能发布记录
什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理，保证数据...
Dataphin新建服务单元时找不到已经创建的数据源
问题描述 本文主要描述了Dataphin的API服务开发，新建服务单元时找不到已经创建的数据源的解决方法。问题原因 数据源没有申请权限。解决方案 在资产模块点击权限管理，在数据源权限中点击申请数据源权限。选择需要申请权限的数据源，勾选...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员和运营人员的需求，沉淀出相关文档。您可以通过调查表和...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员和运营人员的需求，沉淀出相关文档。您可以通过调查表和...
常见问题
数据迁移和数据同步的区别如下表所示：对比项 数据迁移 数据同步 适用场景 主要用于上云迁移，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云数据库。主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
云产品集成
什么是数据管理DMS 支持的数据库类型与功能 云数据库录入 DataV 数据可视化 DataV 数据可视化是使用可视化应用的方式来分析并展示庞杂数据的阿里云产品。您可以使用 DataV 添加 OceanBase for MySQL 数据源，通过图形化的界面处理 ...
透明数据加密概述
什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和解密。通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 云数据库 ClickHouse-什么是...
创建MongoDB数据源
更多阿里云MongoDB信息，请参见 云数据库MongoDB-什么是云数据库MongoDB版。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加、配置及管理...
创建MongoDB数据源
更多阿里云MongoDB信息，请参见 云数据库MongoDB-什么是云数据库MongoDB版。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加Dataphin成员。...
DataWorks数据服务对接DataV最佳实践
前提条件 要想实现DataWorks数据服务与DataV的对接，您需要提前准备好数据源，并开通 什么是DataV数据可视化。新建数据源 数据服务支持丰富的数据源类型，如下所示：关系型数据库：RDS、DRDS、MySQL、PostgreSQL、Oracle和SQL Server 分析...
产品概述
具有丰富的数据可视化编辑能力、专业的地理信息可视化展示能力和灵活开发的部署方式等特点，详情请参见 什么是DataV数据可视化。DataV-TwinFabric 孪生仿真 DataV-TwinFabric孪生仿真平台是阿里云为数字孪生领域提供的一站式开发平台，旨在...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 什么是云数据库ClickHouse。...
创建Aliyun HBase数据源
更多信息，请参见 什么是云数据库HBase。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白...
数据源中心
HIVE/IMPALA数据源 参数 是否必选参数 说明 数据源 是 数据源类型。数据源名称 是 输入数据源的名称。描述 否 输入数据源的描述。IP主机名 是 输入连接HIVE/IMPALA的IP地址。端口 是 HIVE/IMPALA 数据源类型对应的端口为10000。用户名 是 ...
创建单物理表服务单元
单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目...
创建多物理表服务单元
后续您可以基于该多物理表服务单元开发可以同时访问多物理表数据的API，以实现联合数据查询。本文为您介绍如何创建多物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目分组。当数据源类型为Hbase 0.9.4/1...
解决方案与客户案例
业务高速发展支撑 业务高速发展，受限于单个地域的有限资源，尤其是数据层存在单点性能瓶颈，除异地多活以外的全部容灾架构都只能在主生产中心执行写操作。地域多活实现业务级的流量闭环，各个数据中心均可读写，具备水平扩展能力以及跨...
什么是数据库自治服务DAS
缺少数据支撑，问题排查靠猜 数据库的问题排查和性能优化一直都是数据库领域的专业问题，但是即使最专业的DBA在面对一些问题的时候，也往往耗费了很长时间，但是仍然无法定位到根因，主要的难点有三个：获取信息难，问题诊断和性能优化都...
创建数据库
字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。注意事项 支持在控制台创建管理数据库。如果您要迁移本地数据库到RDS，请在RDS实例中创建与本地数据库一致的迁移账号和数据库。创建数据库 访问 RDS实例列表，在上方选择...
解决方案与客户案例
业务高速发展支撑：业务高速发展，受限于单个地域的有限资源，尤其是数据层存在单点性能瓶颈，除异地多活以外的全部容灾架构都只能在主生产中心执行写操作。地域多活实现业务级的流量闭环，各个数据中心均可读写，具备水平扩展能力以及跨...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
管理数据库
字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。前提条件 已创建RDS MariaDB实例 注意事项 RDS MariaDB不支持修改数据库名。创建数据库 通过控制台 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏...
空间管理
文件类型 文件的类型，通常是数据（Data）和日志（Log）类型。文件名 数据库内文件的名称。总空间大小(MB)文件总的空间，单位为MB。已使用空间(MB)文件已使用空间（单位为MB）及百分比。可用空间(MB)文件可用空间（单位为MB）及百分比。...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
- 产品推荐
- 这些文档可能帮助您