数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据总线
通过应用声明，应用在上架到应用市场之后，用户就能感知应用与数据之间的关系。目前通用的集成方案是以项目为隔离维度的。也就是说，在一个项目内的所有应用，他们关联的相同的数据模型，会被默认放在同一个隔离区域ScopeID内。4.应用开发-...
数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
应用评估
应用评估用于衡量应用与数据库整体迁移改造的情况，可以展示应用需要改造的地方，并给出改造建议。前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题：难以估算应用改造的工作量。难以制定...
使用流程
可选：应用评估改造：帮助用户分析应用与数据库的关联关系，并分析从源库迁移到目标库的应用改造点与改造位置，同时，也可减少使用Java开发的部分业务的改造工作量。1.数据库评估 数据库采集 数据库画像 目标库选型建议 数据库评估分析 ...
数据服务：低成本快速发布API
功能概述 作为数据仓库与上层应用系统间的“桥梁”，DataWorks数据服务为企业搭建统一的服务总线，帮助企业统一创建及管理对内、对外的API服务，解决数仓、数据库与数据应用间的“最后一公里”，加速数据的流动和共享。数据服务支持通过零...
支持的云服务
AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）是海量数据实时高并发在线分析（Realtime OLAP）云计算服务，与MaxCompute结合应用于大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘，产出高质量...
产品概述
相比基于分布式存储的新型Cloud Native数据库，理论上 PolarDB-X 1.0 的扩展性没有上限，打消业务在快速发展的过程中针对数据库扩展性产生的后顾之忧与运维压力。持续可运维 对于绝大部分应用而言，关系型数据库需要保证能够7 x 24小时稳定...
应用画像
系统信息 系统信息是根据ADAM应用采集器采集的应用运行时系统参数，有助于用户评估应用运行状态。对象汇总 对象汇总主要罗列了应用采集与智能分析出的SQL与数据库对象情况汇总，可以直观通过数据看到应用画像的整体内容。对象详情 对象详情...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
适用场景
传统企业级应用因业务发展导致计算量与数据量呈爆发式增长，急需具备更强计算能力的在线事务型数据库场景。按容量选择 在OLTP业务领域，数据库的容量通常关注并发度、数据存储、复杂SQL响应时间这3个维度。若当前数据库中任意一个维度出现...
准备工作概述
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
时序引擎应用开发简介
使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口，对于已有使用OpenTSDB或者时间序列数据库TSDB的应用程序，您可以按照以下步骤进行应用迁移：应用适配 修改应用程序中的连接字符串，连接的目标从原有的...
添加成员并设置角色
超级管理员创建了服务项目后，如果需要添加成员协助开发，您可以将 管理中心-成员列表...后续步骤 完成服务项目成员添加并设置成员后，您就可以配置应用访问数据服务的网络，以实现应用与数据服务之间的网络互通。具体操作，请参见 网络配置。
快速上手可观测链路 OpenTelemetry 版
说明 语言 列显示 图标的应用为接入应用监控的应用，显示-图标的应用为接入可观测链路 OpenTelemetry 版的应用。后续步骤 将应用数据上报至 可观测链路 OpenTelemetry 版 控制台后，您可以在 可观测链路 OpenTelemetry 版 控制台执行以下...
创建DataV大屏（模板篇）
说明 您也可以通过宜搭首页 我的应用 页签下 创建空白应用，也可以查看和编辑已有的应用。在 页面管理 页面，单击 新建大屏。在 新建大屏 对话框中，输入 页面名称，同时您也可以 选择分组，并单击 确定。在 模板列表 中，选择一个大屏模板...
创建DataV大屏（空白画布篇）
说明 您也可以通过宜搭首页 我的应用 页签下 创建空白应用，也可以查看和编辑已有的应用。在 页面管理 页面，单击 新建大屏。在 新建大屏 对话框中，输入 页面名称，同时您也可以 选择分组，并单击 确定。在 模板列表 页面中，单击下方的 ...
源服务器迁移至轻量应用服务器
轻量应用服务器操作简单便捷，能让您快速上手部署简单的应用。更多信息，请参见 什么是轻量应用服务器。使用限制 不支持将阿里云ECS迁移至阿里云轻量应用服务器。不支持阿里云轻量应用服务器之间相互迁移。不支持Windows系统和Linux系统...
什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
上游应用
对于某个应用而言，上游应用是指向该应用发送数据的应用。本文说明如何查看上游应用情况，包括响应时间、请求数、错误数等信息。前提条件 接入应用监控 功能入口 登录 ARMS控制台，在左侧导航栏选择 应用监控>应用列表。在 应用列表 页面...
受众与核心能力
产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员 从事数据应用开发的开发人员 把控公司核心数据资产的管理人员 核心能力 基于DataWorks，您可以获得如下...
数据资产等级定义
例如，一个A2等级的数据应用产品对应的导出表Table1、Table2、Table3，几个表都打上 A2-xxx 数据产品标记。根据血缘往上追溯，将这几个表的上游都打上A2的标记，一直标记到源数据业务系统，如图所示。icmsDocProps={'productMethod':'...
数据资产定级
未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>Ax。在数据流转链路上，您需要整理消费各个表的应用业务。通过给这些应用...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
数据资产定级
未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>Ax。在数据流转链路上，您需要整理消费各个表的应用业务。通过给这些应用...
上游应用
对于某个应用而言，上游应用是指向该应用发送数据的应用。本文说明如何查看上游应用情况，包括响应时间、请求数、错误数等信息。功能入口 登录 EDAS控制台。在左侧导航栏，单击 应用管理>应用列表。在 应用列表 页面顶部菜单栏选择地域，在...
上游应用
对于某个应用而言，上游应用是指向该应用发送数据的应用。本文说明如何查看上游应用情况，包括响应时间、请求数、错误数等信息。应用限制 EDAS标准版不支持查看上游应用情况，专业版和铂金版支持查看上游应用情况。功能入口 登录 EDAS控制...
添加宜搭数据源
宜搭是阿里巴巴自研的低代码应用构建平台，您可以通过可视化拖拽的方式，快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...
添加宜搭数据源
宜搭是阿里巴巴自研的低代码应用构建平台，您可以通过可视化拖拽的方式，快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...
MQ监控
功能介绍 在 概览 页签中以拓扑图展示应用与MQ数据源之间的消息发布和订阅关系。在 发布端统计 页签展示消息发布的统计数据，包括请求数、响应时间和错误数。在 订阅端统计 页签展示消息订阅的统计数据，包括消息请求数、响应时间和错误数...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
概述
以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析应用（如投资和财务分析）提供数据保护，保证用户数据在存储与计算过程中的安全，降低明文数据泄露风险。...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
MQ监控
功能介绍 在 概览 页签中以拓扑图展示应用与MQ数据源之间的消息发布和订阅关系。在 发布端统计 页签展示消息发布的统计数据，包括请求数、响应时间和错误数。在 订阅端统计 页签展示消息订阅的统计数据，包括消息请求数、响应时间和错误数...
概述
Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下...
数据库调用
说明 语言 列显示 图标的应用为接入应用监控的应用，显示-图标的应用为接入 可观测链路 OpenTelemetry 版 的应用。在左侧导航栏，单击 数据库调用。在 数据库调用 页面，选择数据库，设置时间段。概览 概览 页签下显示数据库的调用关系拓扑...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
添加数据源概述
数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里云提供的数据库连接代理工具来...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
简介
DMS数据分析与应用介绍 DMS通过Data Fabric+大模型构建数据管理底座，赋能数据分析与应用。该场景下核心的四个功能如下：安全托管：DMS在阿里集团数据库权限访问控制最佳实践，为企业提供一系列数据库权限管控的集合，可帮助企业实现多云...
- 产品推荐
- 这些文档可能帮助您