（可选）创建数据库账号并添加权限
命令如下：db.createUser({user:"test",pwd:"123456Aa",roles:[{role:"read",db:"admin"}]})说明 更多权限说明，请参见 数据库账号的角色说明。返回结果中 ok 取值为 1.0 时，表示创建成功，其他取值表示创建失败。创建成功后，您可以在DMS...
常见问题
功能特性 云数据库Redis版兼容Redis哪个版本？云数据库Redis版兼容Redis哪些命令和操作？云数据库Redis版与Redis是什么关系？云数据库Redis版是否存在CPU处理能力、带宽和连接数等限制？单个实例有多少个数据库？云数据库Redis版是否都有主...
数据服务入门
数据源名称 选择需要基于该类型数据源下的哪个数据源生成API。本文示例选择 步骤一：创建数据源并配置网络连通性 创建的 rds_workshop_log 数据源。数据源环境 标准模式工作空间支持选择访问开发或生产环境数据源，两种环境的区别，详情请...
创建AnalyticDB for PostgreSQL数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for PostgreSQL的能力，您可将其他数据源的数据同步至当前AnalyticDB for PostgreSQL数据源，或将当前AnalyticDB for PostgreSQL数据源的数据同步至其他数据源。...
创建AnalyticDB for MySQL3.0数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for MySQL3.0的能力，您可将其他数据源的数据同步至当前AnalyticDB for MySQL3.0数据源，或将当前AnalyticDB for MySQL3.0数据源的数据同步至其他数据源。...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
数据写入
Lindorm时序引擎支持六种数据写入方法：Native SDK写入、行协议写入、标准SQL写入、时间序列数据库TSDB接口写入、remote write数据写入、Flink数据写入。本文介绍数据写入的六种方法。Native SDK写入 Native SDK适用于Java开发者，Native ...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
场景：跨账号创建数据源
说明 您可根据跨账号添加的数据源在A工作空间的使用场景，提前为RAM角色授权与相关权限，例如，若要在A工作空间查询B工作空间数据源下的表，需确保数据源配置的RAM角色已拥有该表的SELECT权限。账号A：使用账号B的用户信息创建数据源 说明 ...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
新用户必读
如果您是首次接触 云原生数据仓库AnalyticDB MySQL版 的用户，建议您先阅读以下部分。服务亮点和定价：产品详情...SQL手册：详细介绍 AnalyticDB MySQL 支持的数据类型、SQL语法以及示例。系统函数：介绍 AnalyticDB MySQL 支持的函数和示例。
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据源管理常见问题
在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源。说明 DataV支持自建数据库。直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库...
数据源管理常见问题
在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源。说明 DataV支持自建数据库。直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库...
风险识别管理（新版）
风险识别维度 细分类别 描述 数据属性 数据分级 识别指定级别的风险数据，您需要提前定义数据的分级，详情请参见 配置敏感数据分类分级。数据分类 识别指定类别的风险数据，您需要提前定义数据的类别，详情请参见 配置数据识别规则。敏感...
资产大盘
数据管理DMS 的资产大盘功能支持T+1离线汇总当前 DMS 租户下的所有实例、数据库、表数据，并图形化展示数据资产的引擎、环境、地域、来源、类目的分布占比及数量趋势。本文介绍如何使用DMS的资产大盘。注意事项 DMS 资产大盘的 表分布占比 ...
创建MySQL数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建MySQL数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
MySQL整库实时同步至OSS数据湖
整库实时入湖能力简介 支持将源端数据源MySQL的数据结构迁移到OSS数据湖，且支持选择将历史存量数据（整库或部分表）一次性同步至OSS数据湖，增量数据实时同步至OSS数据湖。支持源端 新建表 的DDL操作，同步过程中可根据源端数据库表数量的...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
OSS存储路径选择：选择入湖后数据存储在OSS的哪个路径下。选择元数据库自动构建位置：选择 DLF。元数据库名称前缀：元数据库是根据来源库名自动建立，但是可以手工指定元数据库的名称前缀。指定的前缀，将会应用到所有库中。数据湖格式：...
上传数据
您可以设置数据导入到该表的哪个分区，完成后可单击 检测 按钮，测试分区是否存在。当填写的分区不存在时，继续操作将会新建该分区，并插入数据到此新建的分区中。当填写的分区存在时，将上传的数据追加在该分区中。配置导入数据的文件格式...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
数据查询
使用预降采样查询提升查询性能 大范围的时间查询 预降采样 通过存储引擎将写入的数据降低精度后单独存储，查询时按查询条件中指定的降采样精度自动查询最接近预降采样精度的数据，然后再对查询的数据进行聚合计算，减少实时查询的计算数据...
表属性管理
导出 单击右上角的导出图标，导出单表数据，具体信息请查看本手册文档 单表导出与导入。列信息 在属性页签的左导航栏中单击 列 标签查看当前表中所包含的列。在 列 标签中，支持修改 名称、长度、非空 和 注释。工具栏中提供以下功能键：...
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
DLF+EMR之统一权限最佳实践
DLF 数据权限：DLF所提供的数据湖的数据权限体系，支持配置数据库、数据表、数据列、函数四种维度细粒度权限控制。详见 数据权限概述。业务场景说明 某公司有一个EMR集群，期望Hive/Spark/Presto/Impala引擎可以通过统一的数据权限，控制...
客户案例
数据库网关提供安全、可靠、低成本的数据库接入服务。本文将例举一个客户案例为您介绍如何通过数据库网关解决自身业务上的挑战。百姓网股份有限公司 行业分类：分类信息服务商 公司网站：https://www.baixing.com/ 公司介绍 百姓网...
客户案例
数据库网关提供安全、可靠、低成本的数据库接入服务。本文将例举一个客户案例为您介绍如何通过数据库网关解决自身业务上的挑战。百姓网股份有限公司 行业分类：分类信息服务商 公司网站：https://www.baixing.com/ 公司介绍 百姓网...
- 产品推荐
- 这些文档可能帮助您