跨账号接入
在 容器服务管理控制台 目标集群下的 应用>Helm 页面，单击 arms-cmonitor 组件右侧的 更新。将 accessKey 和 accessKeySecret 替换为 步骤2 获取的AccessKey，将 uid_id 替换为账号A的UID，然后单击 确定。此时，账号B下的ACK应用就会将...
外部表概述
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
应用详情说明
若在此基础上进行清理数据、线下变更等会触发索引重建的操作时，开放搜索为保证用户线上应用稳定，此时会为该应用创建一个“线下应用”，所有的变更在“线下应用”中进行，当“线下应用”索引构建成功后，可在“线下应用”中进行简单的测试...
新建数据库SQL任务
在Dev-Prod模式的项目下使用仅配置了生产环境的数据源，在开发环境下进行补数据或运行操作可能变更生产数据，请谨慎使用。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建数据库SQL...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
应用场景
云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。
数据总览
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。在数据地图 首页，单击 元数据采集 后的 数据总览。在数据总览页，查看当前地域阿里云主账号下所有的引擎资源。以...
跨账号统一应用监控
可以进行如下设置：ACK应用 在账号A下创建RAM用户，并授予 AliyunARMSFullAccess 权限和 AliyunSTSAssumeRoleAccess 权限。具体操作，请参见 创建RAM用户。为RAM用户创建AccessKey，具体操作，请参见 创建AccessKey。为账号B下的应用安装...
全景视角
数据使用视角：在数据分析、发布或使用数据服务等数据使用场景下，建议您使用数据使用视角，关注查看数据使用过程中，浏览、访问过的表列表、拥有权限的数据服务等方面的情况。详情请参见：数据使用视角。数据生产视角：在数据开发场景下，...
应用详情说明
若在此基础上进行清理数据、线下变更等会触发索引重建的操作时，开放搜索为保证用户线上应用稳定，此时会为该应用创建一个“线下应用”，所有的变更在“线下应用”中进行，当“线下应用”索引构建成功后，可在“线下应用”中进行简单的测试...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
PolarDB的高级脱敏
高级脱敏功能具有但不限于如下特性：统一管理敏感数据 敏感数据分类分级 周期性扫描敏感数据 主动发现敏感数据 应用场景 实时从生产环境中的数据库（即生产库）获取用户已脱敏的数据来进行报表生成、数据分析、开发测试等。前提条件 已录入...
通过Prometheus监控获取ARMS应用监控数据
阿里云 可观测监控 Prometheus 版 默认集成了ARMS应用监控数据源，您可以直接在 可观测监控 Prometheus 版 下获取应用监控相关数据、查看应用监控预置大盘，并根据需求进行二次开发。前提条件 已为应用安装探针，具体操作，请参见 应用监控...
数字框
应用示例 使用数字框展示某传感器设备的温度数据，在预览或应用发布页面，可直接设置温度值下发给该设备。步骤一：添加组件 创建Web应用。具体操作，请参见 创建Web应用。在Web应用编辑器中，单击最左侧的组件图标。在画布左侧组件列表上方...
应用场景
游戏行业应用 游戏行业通常将云数据库Redis版作为重要的部署架构组件，用于缓存或数据持久化。场景一：Redis作为缓存加速应用访问 Redis作为缓存层，加速应用访问。数据存储在后端的数据库中（RDS）。场景二：Redis作为存储数据库使用 游戏...
查看云应用和用户行为统计数据
借助监控功能模块，您可以查看各种维度的云应用使用情况数据统计，包括实时数据、按日期聚合的统计数据、按用户聚合的统计数据等。查看监控数据 登录 无影云应用 控制台。在左侧导航栏中单击 监控，并根据需要选择 实时数据、单日数据 或 ...
DataWorks节点合集
数据集成节点 使用介绍 离线同步节点 用于离线（批量）数据周期性同步场景，并且支持复杂场景下多种异构数据源间数据同步。离线同步支持的数据源详情，请参见 支持的数据源及同步方案。实时同步节点 用于增量数据实时同步场景。实时同步...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
相关的云服务
数据源类云产品 使用DataWorks进行数据集成时，支持将数据从不同数据源间进行离线或实时同步，各类阿里云或自建关系型数据库、非结构化存储、大数据存储、消息队列等产品均支持添加为DataWorks的数据源，添加完成后即可使用DataWorks进行...
异地应用双活常见问题
本文介绍异地应用双活的常见问题以及解决方案。混合云场景下，涉及云上云下两朵云，两朵云的注册中心如何建立容灾？配置中心如何建立容灾？业务场景中以MySQL数据源为基准，会额外冗余到ES存储数据用于业务使用，ES数据是如何做同步？异地...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
JindoFS实战演示
视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用...
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
应用评估改造摘要
应用程序比数据库复杂，涉及的代码可能经历过很多开发者，改造应用已经成为用户迁移数据库上云的痛点：为了解决用户迁移数据库后的应用改造问题，ADAM提供了应用评估改造功能，保证用户快速改造自己的应用。1.核心功能 提供迁移数据库的...
受众与核心能力
总之，使用DataWorks，您不仅可以进行海量数据的离线加工分析，还能完成数据的汇聚集成、开发、生产调度与运维、离线与实时分析、数据质量治理与资产管理、安全审计、数据共享与服务、机器学习、应用搭建等覆盖大数据全生命周期的最佳实践...
概述
再如，数据应用需要将数据库整体线下部署到客户线下环境，需要防止数据被客户运维非授权获取。敏感数据合规：该场景主要针对在不可信环境（如第三方平台）下提供的应用服务的安全防护，保证终端用户敏感数据的安全。例如，企业使用第三方...
计费项
数据盘费用=数据盘单价*数据盘容量（GB）本示例的费用计算结果：95.00*3+1.00*20*3=345.00 元 示例二：超额费用 部署在华东1（杭州）地域下的轻量应用服务器（无挂载数据盘）中，套餐内的流量已使用完，且额外使用了8 GB流量。超额流量：8 ...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
Spark概述
使用场景 离线ETL 离线ETL主要应用于数据仓库，对大规模的数据进行抽取（Extract）、转换（Transform）和加载（Load），其特点是数据量大，耗时较长，通常设置为定时任务执行。在线数据分析（OLAP）在线数据分析主要应用于BI（Business ...
IoT数据自动化同步至云端解决方案
下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行读取，详情请参见 OSS Reader。选择数据去向进行写入，本文以 MaxCompute...
迷你线图
迷你线图组件以折线或曲线的形式展示单条数据变化趋势，不再显示X、Y坐标轴，方便您快速查看分析数据。本文介绍迷你线图组件详细配置方法。应用示例 如下图所示，使用迷你线图展示温度随时间的变化趋势。步骤一：添加组件 创建Web应用。...
接入指南
通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过OpenTelemetry上报...
功能简介
批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发...
数据库调用监控
本文说明如何查看数据库调用，从而了解应用的数据库调用情况。功能入口 登录 EDAS控制台。在左侧导航栏，单击 应用管理>应用列表，在顶部菜单栏选择地域并在页面上方选择微服务空间，在 集群类型 下拉列表中选择 K8s集群，然后单击目标 ...
管理用户
您可以维护用户的基本信息，例如用户名、邮箱，还可以执行重置用户密码、锁定用户、查看用户的应用使用统计数据等操作。创建用户 登录 无影云应用 控制台。在左侧导航栏中，单击 用户。在 用户 页面，单击左上角的 创建用户。在 创建用户 ...
功能简介
批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务...
查看资源使用情况-全托管
Dataphin支持查询当前实例下资源用量使用情况，便于您可以根据资源使用情况及时调整资源规格配置。本文为您介绍如何查看Dataphin中资源用量使用情况。资源统计入口 单击右上方菜单栏头像，选择 资源统计。下载统计详情 您可以点击 下载统计...
统一服务
批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务...
- 产品推荐
- 这些文档可能帮助您