数据分析整体趋势
随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon Redshift，Snowflake，Alibaba Cloud AnalyticDB，Google BigQuery等。这些云原生数据仓库技术分别起源...
常见问题
如何理解开源与云原生的大数据技术与产品？MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的...
创建DataV大屏（模板篇）
说明 您也可以通过宜搭首页 我的应用 页签下 创建空白应用，也可以查看和编辑已有的应用。在 页面管理 页面，单击 新建大屏。在 新建大屏 对话框中，输入 页面名称，同时您也可以 选择分组，并单击 确定。在 模板列表 中，选择一个大屏模板...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据可视化
在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据可视化（老）。单击 数据集 页签，在该页面单击右上角的。在 编写SQL 页配置参数，并单击 执行。本示例仅介绍部分涉及到的参数，更多信息，请参见 创建数据集。参数名 说明 名称（必...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
图层配置项说明
和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的数据源类型或实现与普通图表组件的数据交互，详情...
图层配置项说明
和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的数据源类型或实现与普通图表组件的数据交互，详情...
图层配置项说明
和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的数据源类型或实现与普通图表组件的数据交互，详情...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
应用场景
可以将访问频度非常高的数据存储在云数据库 Memcache 版中，底层数据存储在 RDS 中。大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的...
添加宜搭数据源
在宜搭应用的 应用设置 中的 应用数据 页签获取应用编码，如下图所示。应用密钥（必填）宜搭应用平台中已创建表单的应用密钥。在宜搭应用的 应用设置 中的 应用数据 页签获取应用密钥，如下图所示。表单ID（非必填）宜搭应用平台中已创建...
添加宜搭数据源
在宜搭应用的 应用设置 中的 应用数据 页签获取应用编码，如下图所示。应用密钥（必填）宜搭应用平台中已创建表单的应用密钥。在宜搭应用的 应用设置 中的 应用数据 页签获取应用密钥，如下图所示。表单ID（非必填）宜搭应用平台中已创建...
应用场景
云数据库Redis版 适用于多种场景，尤其是请求并发量大场景中的数据存储。游戏行业应用 游戏行业通常将云数据库Redis版作为重要的部署架构组件，用于缓存或数据持久化。场景一：Redis作为缓存加速应用访问 Redis作为缓存层，加速应用访问。...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数据质量评估标准
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要保持一致...
按应用关联
关联项说明 关联项 说明 应用 对应数据API上线时关联的应用。说明 全量新建、按应用新建、按线上API关联新建时获取到该关联项。应用需在系统设置模块创建，数据API需在统一服务模块创建并上线。服务 对应上线状态的数据API。说明 数据API需...
新建过滤器
数据过滤器功能 在DataV中可以使用数据过滤器，可以通过自定义JavaScript代码，实现数据结构转换、数据筛选展示和一些简单的计算。前提条件 已进入画布编辑器页面。新建过滤器 您可以通过以下两种方法新建过滤器。通过 数据过滤器 新建。在...
区域热力层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
添加数据源概述
数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里云提供的数据库连接代理工具来...
如何使用DataV Proxy
DataV Proxy应用是一个可视化的DataV Proxy（DataV数据代理服务）配置工具，您可以通过DataV Proxy应用访问本地或内网等不对外开放且无外网访问地址的数据库，保证数据的安全性。本文档为您介绍DataV Proxy应用的启动方法和相关功能，帮助...
应用场景
Databricks数据洞察（简称DDI）的核心引擎是Databricks Runtime和Databricks Delta Lake。商业版引擎的加持下，为您提供了新一代云数仓的解决方案。本文为您介绍Databricks数据洞察适用的典型应用场景。数据湖分析 Databricks数据洞察支持...
透明数据加密概述
经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的未知用户将不允许访问明文数据。透明：数据在使用过程中无感知，数据在...
功能特性
Datahub数据总线 功能集 功能 功能描述 参考文档 数据接入 API接入 使用REST API方式，将数据写入Datahub API参考 SDK接入 使用SDK将数据传入Datahub Java SDK C++ SDK Go SDK Python SDK 插件接入 使用插件将数据传入Datahub LogStash插件...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
DescribeColumns-查询数据资产表中列的数据
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
应用画像
系统信息 系统信息是根据ADAM应用采集器采集的应用运行时系统参数，有助于用户评估应用运行状态。对象汇总 对象汇总主要罗列了应用采集与智能分析出的SQL与数据库对象情况汇总，可以直观通过数据看到应用画像的整体内容。对象详情 对象详情...
应用场景
适用于任何数据规模，可以提供单个毫秒响应的性能，尤其擅长低成本、高并发的场景，支持水平扩展到PB级存储和千万级QPS，在淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的作用。背景 HBase的设计之初是为了满足互联网的大...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
代码智能推荐
本文介绍过滤器中代码的智能推荐功能。该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前...
数据源和项目协同
背景信息 项目管理员创建一个项目成员后，项目成员可以创建数据源，并在项目中添加数据源中的数据库后，即可进行数据库变更任务。系统管理员在 Web 版 ODC 中创建项目，并为该项目指定成员。系统管理员或者拥有新建数据源角色权限的项目...
数据加密
当云数据库MongoDB实例开启TDE功能后，新创建的数据库或集合中的数据在写入到任何设备（例如磁盘、SSD、PCIe卡）、服务（例如对象存储OSS）前都会进行加密，因此实例中对应的数据文件和备份文件都是以密文形式存在的。TDE的设置方法请参见 ...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
概述
数据湖构建可以帮助用户快速构建云上数据湖，采用统一的管理视角治理数据湖。本产品目前处于公测阶段，您可以随时开通使用，目前数据湖构建所有功能均为免费使用阶段。用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的...
- 产品推荐
- 这些文档可能帮助您