概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
数据导出服务
参数 说明 导出数据字段 Jq Filter 表达式，从导出数据中选择出数据库该列对应的数据 字段名称 数据库该列的名称 字段类型 选择数据库该列的数据类型 字段大小 数据库该列的数据大小 字段描述 可选，数据库该列的描述 向导4.完成创建 单击 ...
功能更新动态（2022年之前）
新增实时元表的资产质量监控规则，包括统计趋势监测、实时多链路对比和实时离线数据核对。2020年11月17日 华北2（北京）新建数据源规则 新建实时元表规则 2020年11月26日 华南1（深圳）2020年12月15日 华东2（上海）资产安全 新增资产安全...
智能合约简介
概述 在 Hyperledger Fabric 中，链码（Chaincode）又称为智能合约（下文中我们统一称为链码），是用Go，node.js或Java编写的程序，主要用于操作账本上的数据。用户的应用程序通过链码与 Fabric 账本数据进行交互。一个完整的 Fabric 区块...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
实时分析链路数据
找到慢接口后，可以结合相关的调用链、方法栈和线程池等数据定位慢调用根因。常见原因包括以下几类：数据库或微服务连接池过小，大量请求处于获取连接状态。可以调大连接池最大线程数解决。N+1问题。例如一次外部请求内部调用了上百次的...
接口调用
本功能用于监控应用下的接口调用详情，包括SQL调用分析、NoSQL调用分析、异常分析、错误分析、链路上下游和调用链查询。功能入口 按照以下步骤进入应用接口调用监控功能。登录 ARMS控制台，在左侧导航栏选择 应用监控>应用列表。在 应用...
接口调用
本功能用于监控应用下的接口调用详情，包括SQL调用分析、NoSQL调用分析、异常分析、链路上下游、错误分析和调用链查询。本文介绍如何查看SAE应用监控的接口调用详情。功能入口 登录 SAE控制台。在左侧导航栏，选择 应用管理>应用列表，在...
API概览
ListLogicTables 获取逻辑库中的逻辑表详情列表 获取指定逻辑库下面的逻辑表详情列表。GetDBTopology 获取逻辑库拓扑信息 获取逻辑库与其对应物理分库的拓扑信息。GetTableDBTopology 获取逻辑表的拓扑图 获取数据表的拓扑图。...
创建逻辑模型：维度表
后续您可将这些维度表部署到数仓中，通过ETL将实际维度数据按照维度表定义的方式进行存储，方便业务人员在后续的数据分析时进行取用。如上图所示：创建维度表时：可以关联本维度表是用于分析哪个业务分类、哪个数据域，便于后续直接查看...
数据处理与路由规则
添加数据处理规则 通过添加数据处理规则，您可以在设备数据上链之前进行预处理操作，在后续步骤的路由规则配置中可以使用这些处理规则，对数据进行进一步的脱敏和保护处理，保证您的数据安全上链。参数 说明 规则名称 数据处理规则名称，不...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
服务开通
本文将向您介绍如何开通跨链数据连接服务ODATS。操作步骤：前往 跨链数据连接服务，单击 立即购买 进入ODATS的购买页面。在购买页面，选择跨链通道数量及购买时长，单击 立即购买。请仔细阅读并同意跨链数据连接服务的《产品服务协议》和...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
层级生成器功能介绍
层级生成器是一款用于生成自定义下钻区域树形结构数据的小工具，本文介绍层级生成器的详细功能。进入层级生成器 单击 DataV.GeoAtlas地理小工具系列，即可打开 层级生成器 工具页面。层级生成器界面概述 层级生成器界面主要分成两大主要...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
流程控制
流程控制内的逻辑节点包括 条件判断、定时器、序列执行、多路判断 和 websocket。本文介绍在蓝图编辑器中，配置流程控制类节点的方法。条件判断 条件判断 节点属于If-Else判断条件节点。当满足设定条件时，抛出 满足 事件，不满足设定条件...
ListSnapshotLinks-查询快照链
查询某个地域下满足条件的快照链。接口说明 调用该接口时，您需要注意：请求参数 RegionId、FsIds、LinkIds 等充当过滤器功能，参数间是逻辑与关系。如果不指定任何参数，则过滤器不起作用。当 FsIds 和 LinkIds 为空数组时，相当于不进行...
维度逻辑表概述
维度即进行统计的对象。通常，维度是实际客观存在的实体。Dataphin遵循Ralph Kimball的维度建模理论，创建...新建虚拟维度逻辑表 虚拟维度逻辑表用于规范化没有具体业务实体承载、没有可固化数据范围逻辑定义的维度对象。例如，访客、URL。
维度逻辑表概述
维度即进行统计的对象。通常，维度是实际客观存在的实体。Dataphin遵循Ralph Kimball的维度建模理论，创建...新建虚拟维度逻辑表 虚拟维度逻辑表用于规范化没有具体业务实体承载、没有可固化数据范围逻辑定义的维度对象。例如，访客、URL。
逻辑表配置概述
对于逻辑表任务，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍逻辑表任务属性与调度的相关内容。逻辑表任务配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入逻辑表任务配置...
逻辑数仓
数据管理DMS提供的逻辑数仓具有强大的数据源管理能力，可以实现将企业的异构数据源进行逻辑聚合，形成物理分散、逻辑统一的虚拟数仓，然后快速地提供数据分析和访问服务，满足业务人员、BI分析师、运营人员等各种角色的需求。背景信息 企业...
逻辑表配置概述
对于逻辑表任务，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍逻辑表任务属性与调度的相关内容。逻辑表任务配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入逻辑表任务配置...
数据管理DMS逻辑库同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service），支持将在数据管理（Data Management，简称DMS）配置的逻辑库同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已在数据管理...
授权和回收数据板块权限
本文为您介绍如何授予和回收数据板块的权限。授权数据板块权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据板块授权 对话框。在 数据板块授权 对话框，配置参数。参数 描述 授权用户 授权用户 包括 个人账号 ...
授权和回收数据板块权限
本文为您介绍如何授予和回收数据板块的权限。授权数据板块权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据板块授权 对话框。在 数据板块授权 对话框，配置参数。参数 描述 授权用户 授权用户 包括 个人账号 ...
使用限制
本文总结了区块链服务在功能方面的使用限制。通用限制 限制项 说明 访问底层云资源 为保证区块链服务的安全和稳定性，不支持用户直接访问底层云资源，如ECS、Kubernetes集群、Docker容器、NAS文件系统、云盘等等。如有相关问题或需求，可...
定时导出阿里云账单数据
方案架构 在该示例当中，借助逻辑编排实现账单API的调用和数据获取，并通过逻辑编排提供的MySQL连接器将数据写入到RDS中，后续可以基于RDS数据库中的数据进行分析和展现。最后，通过逻辑编排的定时任务触发器实现每天持续的自动化导入，...
元数据仓库共享模型（Hadoop）
data_domain_level5_id bigint comment '五级数据域ID',data_domain_level5_name string comment '五级数据域名称',data_domain_level5_abbreviation string comment '五级数据域缩写',data_domain_level5_name_cn string comment '五级...
元数据仓库共享模型（MaxCompute）
data_domain_level5_id bigint comment '五级数据域ID',data_domain_level5_name string comment '五级数据域名称',data_domain_level5_abbreviation string comment '五级数据域缩写',data_domain_level5_name_cn string comment '五级...
产品概述
阿里云区块链服务（Blockchain as a Service，简称BaaS）是一种基于主流区块链技术的企业级PaaS（Platform as a Service）平台服务，帮助您快速构建更稳定、安全的生产级区块链环境，减少在区块链部署、运维、管理、应用开发等方面的挑战，...
查询用户OSS或专属存储的归档数据
DMS的逻辑数仓支持联合查询不同OSS或相同OSS的数据归档，您需要进入逻辑数仓功能页面，并登录相关OSS实例，再通过联合查询语句LEFT JOIN、INNER JOIN、RIGHT JOIN，完成联合查询操作。Q：同一个工单内进行了多次归档，即周期归档，在进行...
使用pg_restore恢复逻辑备份文件数据
本文介绍如何使用pg_restore命令将逻辑备份文件（.dump文件）中的数据恢复到RDS PostgreSQL实例或本地PostgreSQL数据库中。说明 对于少量的数据，您可参考本文使用逻辑备份进行快速恢复，例如恢复某个表的数据。对于大量的数据，建议您使用...
逻辑结构说明
Dataphin业务模型的核心概念具有一定的逻辑结构，您可以通过了解其结构，为后期项目规划、建模等提供思路。本文为您介绍Dataphin中核心概念的逻辑结构及简要含义。Dataphin核心概念的逻辑结构如下图所示。由上图可见，Dataphin的架构包括...
新建逻辑表命名规则
逻辑表命名规则旨在于让创建的逻辑表遵循统一的命名规范标准，可基于模型命名属性，对模型命名规则进行配置，形成条理清晰，方便检索并易于理解的数据模型，让数据模型应用更方便。本文介绍如何创建逻辑表命名规则。前提条件 已完成模型...
新建逻辑表命名规则
逻辑表命名规则旨在于让创建的逻辑表遵循统一的命名规范标准，可基于模型命名属性，对模型命名规则进行配置，形成条理清晰，方便检索并易于理解的数据模型，让数据模型应用更方便。本文介绍如何创建逻辑表命名规则。前提条件 已完成模型...
配置逻辑表调度属性
按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期...
- 产品推荐
- 这些文档可能帮助您