应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
使用MaxCompute控制台（离线）
说明 例如：待上传的数据中，某列值为含字母的字符串类型，但对应目标表的列是BIGINT类型，那么该数据将被视为脏数据。若选择了剔除脏数据，则该条数据不会被上传。是：剔除待上传文件中与目标表中的列类型不统一的数据。否：数据全量上传...
创建集群
重要 选择该方式时，需要开通数据湖构建DLF产品，您可以单击下方的 开通，前往DLF控制台操作。开通DLF后，系统会为您选择默认的 DLF数据目录，默认为UID。如果针对不同集群您期望使用不同的数据目录，则可以按照以下方式新建目录。单击 ...
使用DataWorks（离线与实时）
前提条件 已开通DataWorks并绑定MaxCompute引擎，并在MaxCompute引擎中已创建好表用于存储后续同步至MaxCompute的数据。具体操作，请参见 创建MaxCompute项目 和 创建表。已准备好待导入MaxCompute的数据。场景1：导入本地CSV文件至...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 云数据库 ClickHouse-什么是...
购买流程
本文介绍数据传输服务中数据迁移任务、数据同步任务、数据订阅任务和Serverless任务的购买流程。前提条件 已注册阿里云账号，注册流程请参见 注册阿里云账号。若您要创建按量付费的任务，请确保您的账户 余额大于等于100元。费用说明 详情...
DataWorks On EMR使用说明
开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数...
版本发布记录
计费项 数据字典 支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...
冷数据归档常见问题
为什么PolarDB控制台导航栏中没有冷数据归档这个菜单？申请开启冷数据归档功能成功后，会有一定的延迟，等待几分钟刷新页面后即可出现冷数据归档菜单。冷数据文件的格式是什么？目前支持CSV、IBD 和ORC格式。如何判断当前表或分区是否归档...
从MaxCompute迁移至RDS MySQL
确保您已完成以下操作：开通MaxCompute 创建项目空间 设置阿里云产品访问MaxCompute白名单 注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的...
常见问题
在数据水印的基础上，数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及...
用自然语言实时查看BI报表
相关内容 相关文档 关于PolarDB for AI PolarDB for AI使用说明 PolarDB for AI算法介绍 通过AAT连接AI和数据库表 自然语言到数据库查询语言转义 通义千问大模型数据推理和交互 更多免费体验 您可以前往 PolarDB for AI：在数据库中通过SQL...
管理DAS经济版和企业版
步骤二：为目标数据库实例开通经济版 登录 DAS控制台。在左侧导航栏单击 版本管理。在 版本管理 页面，单击 经济版实例 页签。单击 操作 列的 绑定实例，在弹出的页面勾选目标实例并单击。单击 确定。企业版 步骤一：购买 企业版 重要 购买...
NL2BI：用自然语言实时查看BI报表
相关文档 关于PolarDB for AI PolarDB for AI使用说明 PolarDB for AI算法介绍 通过AAT连接AI和数据库表 自然语言到数据库查询语言转义（NL2SQL）通义千问大模型数据推理和交互 更多免费体验 您可以前往 PolarDB for AI：在数据库中通过SQL...
开通备份恢复
云数据库HBase增强版支持备份恢复功能，可以为您提供低成本快速恢复数据服务。本文介绍开通备份恢复功能。功能优势 实时增量同步，数据恢复点目标 小于30s。默认全库备份，支持对单表进行恢复。支持指定时间点恢复。使用限制 仅支持云数据...
购买数据安全中心
阿里云 数据安全中心DSC（Data Security Center）为您提供以数据为中心视角的安全风险治理能力，包括数据梳理、数据脱敏、数据风险审计等。本文介绍如何购买 DSC 服务。购买指导视频 支持的地域和数据库类型 购买数据安全中心前，您需要先...
Redis企业版实例间的双向同步
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。配置正向同步作业。定位至已购买的数据...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
Redis企业版实例间的双向同步
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。配置正向同步作业。定位至已购买的数据...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
DataWorks On CDP/CDH使用说明
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
什么是RDS SQL Server
RDS SQL Server还提供如下高级功能：专属集群MyBase：是由多台主机（底层服务器，如ECS I2服务器、神龙服务器）组成的集群，相对于全托管数据库，可以满足您更多的需求。云盘加密：基于块存储对整个数据盘进行加密，即使数据备份泄露也无法...
创建PolarDB数据源
连接重试次数将默认应用于 离线集成任务 与 全域质量（需开通资产质量功能模块），离线集成任务中支持单独配置任务级别的重试次数 单击 测试连接，测试数据源是否可以和Dataphin进行正常的连通。重要 如果连接测试失败，您可以根据网络连通...
权限管理与规范化数据开发
本实践将基于DataWorks标准模式空间完成从“数据建模”到“数据生产”的基本流程，帮助您快速掌握规范化的数据体系建设流程，提升在数据开发过程中的规范性、安全性、稳定性。背景信息 DataWorks采取RBAC权限模型供用户管理DataWorks所有...
使用流程
云原生数据湖分析DLA（Data Lake Analytics）是无服务器（Serverless）化的云上交互式查询分析服务，支持通过Presto和Spark引擎分析多种数据源中的数据。快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与...
常见问题
本文为您介绍执行MaxCompute准备工作过程中的常见问题。问题类别 常见问题 开通MaxCompute DataWorks与MaxCompute的区别是什么？如何区分DataWorks工作空间和MaxCompute项目？开通MaxCompute服务时，如何根据本身数据存储量以及计算任务...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
恢复备份数据至当前实例
前提条件 已创建 云原生多模数据库 Lindorm 实例，同时Lindorm实例已开通备份恢复功能，具体操作请参见 开通备份恢复。已完成备份数据操作，具体请参见 自动备份Lindorm数据。操作步骤 登录 Lindorm管理控制台。在页面左上角，选择实例所属...
数据防泄漏典型案例
使用数据安全中心可以监测和防范各类数据泄露风险，例如身份...处理方法：通过 数据安全中心控制台 的 数据审计>日志分析 页面中的审计日志持续监控后续行为，观察是否有违规行为。相关文档 查看审计日志 发现和处理异常告警 自定义检测模型
数据水印
水印嵌入方式（必选）您可选择如下嵌入方式：数据水印：是指将标识信息通过一定方式嵌入到数据中，该水印信息数据使用者难以察觉。文件水印：是指将标识信息通过一定方式嵌入到文件中，该水印信息数据使用者可以直接看到。数据水印信息/...
设置透明数据加密TDE
推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息，有效提高数据库中敏感数据的安全性。背景信息 ...
他云/自建数据库录入
本文介绍如何将他云/自建数据库录入至数据管理DMS中。前提条件 支持录入的他云/自建数据库类型，请参见 支持的他云/自建数据库。已在他云/自建数据库的白名单中添加DMS的服务器访问地址。详细信息，请参见 设置IP白名单。目标数据库实例的...
数据上传
（可选）上传 阿里云对象存储OSS 数据，需满足如下条件：已开通OSS并创建Bucket，将待上传数据存储至OSS Bucket中。后续可将OSS数据上传至相应数据源，详情请参见 创建存储空间、上传文件。已为执行数据上传操作的阿里云账号授予可访问目标...
BigQuery数据迁移至MaxCompute
前提条件 类别 平台 要求 参考文档 环境及数据 谷歌云GCP 已开通谷歌BigQuery服务，并准备好环境及待迁移的数据集。已开通谷歌Cloud Storage服务，并创建存储分区（Bucket）。如果您没有相关环境及数据集，可参考如下内容准备：BigQuery：...
基于AnalyticDB构建企业数仓
同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成太大的压力。同步速率建议限流，结合源库的配置，请合理配置抽取速率。错误记录数 错误记录数，表示脏数据的最大容忍条数。独享数据集成资源组 选择任务运行的...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口，支持宽表、时序、对象、文本、队列、空间等多种数据模型，适用于日志、账单、...
2021年
创建RDS MySQL数据订阅任务 创建PolarDB MySQL版数据订阅任务 创建Oracle数据订阅任务 2021年4月 类别 功能描述 相关文档 新增 ETL（Extract Transform Load）功能正在新版控制台公测中，可用于实现数据库中数据的清洗和转换处理，能够准确...
云数据库录入
本文介绍如何将阿里云数据库录入至数据管理DMS中。前提条件 支持录入的云数据库类型，请参见 支持的云数据库。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。已在云数据库的白名单中添加DMS的服务器访问地址。详细...
- 产品推荐
- 这些文档可能帮助您