大数据专家服务
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
常见问题
4.大数据专家服务范围是覆盖阿里云所有大数据产品技术栈吗？答：服务范围仅包含阿里云MaxCompute｜DataWorks｜Hologres｜DataHub｜PAI｜Flink｜EMR｜ES｜ABM产品技术专家服务。阿里云其它产品、非阿里云产品、客户软件问题、基础网络问题、...
产品优势
支持防护常见的结构化数据、非结构化数据和大数据产品，例如对象存储OSS、云数据库RDS、MaxCompute等。智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控...
发展历程
2019大数据“星河（Galaxy）”奖，最佳大数据产品奖（TOP10）。2018年 MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。基于公共云的BigBench在100 TB规模上，MaxCompute的性能指标较2017年10月提升了一倍，达到...
实施步骤
名称：数据源的显示名称，您可以自由命名。域名：DLA的外网连接地址（经典网络地址），如何获取外网连接地址，请参见 创建服务访问点。用户名：登录DLA所使用的账号。密码：登录DLA所使用的账号对应的密码。端口：DLA的外网端口为10000。...
数据源白名单配置
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
QueryPublicModelEngine
输出参数 参数名 参数类型 示例值 描述信息 code String member 数据域编码 englishName String member 数据域英文名 name String 会员 数据域中文名 ownerId String 0123456 负责人ID ownerName String 甲乙丙丁 负责人名称 ...
产品更名公告
为了帮助阿里云用户更好地应对不断加剧的数据安全挑战，2021年01月28日，阿里云整合敏感数据保护（SDDP）等产品提升了数据安全防护能力，正式...原产品名称由敏感数据保护（SDDP）正式变更为数据安全中心（DSC）。如给您带来不便，敬请谅解。
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
基本概念
元数据 元数据是数据的描述数据，可以为数据说明其属性（名称、大小、数据类型等），或结构（字段、类型、长度等），或其相关数据（位于何处、拥有者、产出任务、访问权限等）。DataWorks中元数据主要指库、表相关的信息，元数据管理对应的...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
模块 对应阿里云产品 说明 在线数据库 云数据库RDS 准备的入湖数据来源，即数据湖的数据来源。实时计算 实时计算Flink版 准备的入湖数据来源，即数据湖的数据来源。数据入湖 数据湖构建DLF 对接在线数据库，管理入湖数据来源。数据湖存储与...
什么是DataWorks
产品架构 DataWorks十多年沉淀数百项核心能力，通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。...
CheckDBName
调用CheckDBName校验数据库名称是否合法或当前集群中是否已存在重名的数据库。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选...
CheckDBName
调用CheckDBName校验数据库名称是否合法或当前集群中是否已存在重名的数据库。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数据分析：即时快速分析
功能概述 数据分析支持基于个人视角的数据上传、公共数据集、表搜索与收藏、在线SQL取数、SQL文件共享、SQL查询结果下载及用电子表格进行大屏幕数据查看等产品功能。适用场景 适合更多非专业数据开发人员，如数据分析、产品、运营等工作...
需求阶段
作为承接业务方数据需求的数据产品经理，在需求阶段需要规范首次需求流程和迭代需求流程。首次需求流程 对于业务方首次提出的需求，重点工作在于评估完成该需求的技术、数据、合规的可行性后，以细化需求的方式完成产品需求文档，并组织...
配置SQLServer数据源
数据源名称 数据源名称必须以字母、数字、下划线（_）组合，且不能以数字和下划线（_）开头。数据源描述 对数据源进行简单描述，不得超过80个字符。适用环境 可以选择 开发 或 生产 环境。说明 仅标准模式工作空间会显示该配置。地域 选择...
添加RDS PostgreSQL数据库
参数 说明 数据连接名称 数据源的显示名称，可以自由命名。域名 连接数据库的地址。重要 该地址是DataV-Atlas服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用外网环境下的阿里云RDS PostgreSQL，域名示例为...
新建数据元
参数 说明 基本信息 数据元名称 数据元的名称。所属类目 数据元所属的数据元层级。code 数据元的编码。数据元别名 数据元的别名。值域设置 数值类型 支持的数值类型，包括字符串、日期、数值等多种类型。存储类型 字段存储的类型，和数值...
新建数据元
参数 说明 基本信息 数据元名称 数据元的名称。所属类目 数据元所属的数据元层级。code 数据元的编码。数据元别名 数据元的别名。值域设置 数值类型 支持的数值类型，包括字符串、日期、数值等多种类型。存储类型 字段存储的类型，和数值...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
添加PolarDB PostgreSQL数据库
参数 说明 数据连接名称 数据源的显示名称，可以自由命名。域名 连接数据库的外网地址。重要 该地址是DataV-Atlas服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用外网环境下的阿里云PolarDB for PostgreSQL...
公开数据集概述
简介 MaxCompute开放的公开数据集类别包括：GitHub公开事件数据、国家统计数据、TPC性能测试数据、数字商业类数据、生活服务类数据、金融股票类数据。所有的数据均存储在MaxCompute产品的公开项目BIGDATA_PUBLIC_DATASET的不同Schema中。...
配置迁移实例
SourceEndpoint.DatabaseName String 否 dtstestdatabase 待迁移的数据库名称或鉴权数据库名称。说明 当 SourceEndpoint.EngineName取值为 PostgreSQL或 MongoDB时，本参数才可用且必须传入。当 SourceEndpoint.EngineName取值为 ...
创建数据板块
公用名称 数据板块名称。命名规则如下：包含汉字、数字、字母、下划线（_）或短划线（-）。不能超过64个字符。完成数据板块创建后，Dev数据板块名称格式为 {自定义的公用名称}_开发。描述 对数据板块的简单描述。图标 数据板块类型对于后续...
创建数据板块
公用名称 数据板块名称。命名规则如下：包含汉字、数字、字母、下划线（_）或短划线（-）。不能超过64个字符。完成数据板块创建后，Dev数据板块名称格式为 {自定义的公用名称}_开发。描述 对数据板块的简单描述。图标 数据板块类型对于后续...
Quick BI
当您的网络类型为外网连接时，请配置以下参数：名称 描述 显示名称 数据源配置列表的显示名称。名称由汉字、数字、字母、下划线（_）或短划线（-）组合组成。数据库地址 ClickHouse集群的公网地址。端口 ClickHouse集群的端口号。默认 8123...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
添加及管理监控对象
② 列表区 为您展示 表名称、校验开关、生效/总质量规则数、最近一次校验状态、质量负责人、数据源类型、数据源名称 数据表质量规则详细信息。指标 ① 筛选及搜索区 支持按照指标名称进行模糊搜索。您可以根据 我负责的、校验开关、最近...
添加及管理监控对象
② 列表区 为您展示 表名称、校验开关、生效/总质量规则数、最近一次校验状态、质量负责人、数据源类型、数据源名称 数据表质量规则详细信息。指标 ① 筛选及搜索区 支持按照指标名称进行模糊搜索。您可以根据 我负责的、校验开关、最近...
管理数据分级
参数 描述 分级名称 数据分级的名称。支持汉字、字母、数字或下划线（_），不超过10个字符。分级缩写 数据分级的缩写。支持汉字、字母、数字或下划线（_），不超过10个字符。敏感程度 填写数据分级的敏感程度，支持输入1~100的整数。分级...
管理数据分级
参数 描述 分级名称 数据分级的名称。支持汉字、字母、数字或下划线（_），不超过10个字符。分级缩写 数据分级的缩写。支持汉字、字母、数字或下划线（_），不超过10个字符。敏感程度 填写数据分级的敏感程度，支持输入1~100的整数。分级...
数据资产等级定义
例如，一个A2等级的数据应用产品对应的导出表Table1、Table2、Table3，几个表都打上 A2-xxx 数据产品标记。根据血缘往上追溯，将这几个表的上游都打上A2的标记，一直标记到源数据业务系统，如图所示。icmsDocProps={'productMethod':'...
Quick BI数据可视化
名称 描述 显示名称 数据源配置列表的显示名称。请输入规范的名称，不可使用特殊字符，前后不能包含空格。数据库地址 云数据库 SelectDB 版 实例的 公网地址。端口 云数据库 SelectDB 版 实例的 MySQL协议端口。数据库 云数据库 SelectDB ...
- 产品推荐
- 这些文档可能帮助您