创建派生指标
统计周期用于定义指标来源数据的时间跨度。例如，选择了最近7天，则表示统计最近7天内的事实行为数据。支持选择3个统计周期。原子指标 选择派生指标的原子指标，系统仅支持选择具有相同数据时效的原子指标。业务限定 选择派生指标的业务...
创建派生指标
统计周期用于定义指标来源数据的时间跨度。例如，选择了最近7天，则表示统计最近7天内的事实行为数据。支持选择3个统计周期。原子指标 选择派生指标的原子指标，系统仅支持选择具有相同数据时效的原子指标。业务限定 选择派生指标的业务...
管理数据定义资源
本文介绍在选择数据定义资源后，对应窗口的功能。前提条件 已登录DataV-TwinFabric控制台。已进入精修模式下的场景编辑器页面。上传数据定义 在 资源管理 窗口右上角，单击 导入>数据定义。在资源管理窗口，查看已导入的资源。搜索数据定义...
pg_foreign_server
外部服务器定义了外部数据的来源，例如一个远程服务器。外部服务器通过外部数据包装器来访问。列名称 列类型 描述 oid oid 行标识符。srvname name 外部服务器的名称。srvowner oid 外部服务器的拥有者。srvfdw oid 此外部服务器的外部数据...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
散点层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
词云（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
CREATE VIEW
CREATE VIEW 用于创建视图。CREATE VIEW view_name AS select_stmt 参数 ...示例 创建视图finished_orders_v1，视图数据来源为tpch Schema中的finished_orders表数据。CREATE VIEW tpch.finished_orders_v1 AS SELECT*FROM finished_orders;
新建注册上挂指标
区域 参数 描述 选择来源数据 来源表 选择注册上挂指标的数据来源。建议选择生产数据（即非Dev项目或数据板块产生的数据），以免更新至生产调度运维时，该对象在生产环境不存在导致操作失败，或者导致自动解析依赖关系失败。如您选择生产...
新建注册上挂指标
区域 参数 描述 选择来源数据 来源表 选择注册上挂指标的数据来源。建议选择生产数据（即非Dev项目或数据板块产生的数据），以免更新至生产调度运维时，该对象在生产环境不存在导致操作失败，或者导致自动解析依赖关系失败。如您选择生产...
开发Dataphin数据源并加速数据查询
数据环境对后续选择物理表和逻辑表的影响说明如下：选择了 生产环境，后续支持选择Basic和Prod业务板块中的逻辑表，支持选择Basic和Prod项目中的物理表。选择了 开发环境，后续支持选择Dev业务板块中的逻辑表，支持选择Dev项目中的物理表。...
功能简介
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
数据同步
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
功能简介
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
管理问题数据
支持保留问题数据的规则列表与问题数据口径 目前支持保留问题数据的监控规则，及各规则问题数据的定义，详情请参见：附录：支持保留问题数据的规则列表与问题数据口径。注意事项 目前仅MaxCompute表支持配置保留问题数据功能。目前仅部分...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
数据服务概述
设计理念 数据服务作为DMS的模块，其基于DMS上受控的数据定义API，与SQL Console中执行SQL时的权限控制、数据脱敏等功能检查保持一致。数据服务基于Serverless架构，您无需关注服务器、网络等运行环境相关的基础设施，只需专注于API的定义...
我的看板
本文介绍可视化应用中心下我的看板模块的数据来源和使用步骤。说明 可视化应用中心功能为7.0版本产品新增功能，请根据 可视化应用中心 环境进行操作。数据来源 在工作台中创建并发布的数据看板内容，会同步在此处展示，若数据看板仅编辑...
Schema约束
在Lindorm时序引擎中的Schema约束指的是以下行为：校验数据写入的目标表是否存在 校验数据写入的标签（Tag）或量测值（Field）是否已预先定义 校验数据写入的数据类型与预先定义的数据类型是否一致 保障数据查询时字段返回类型的一致性 ...
敏感数据溯源
解决方案：您需要确认溯源数据的来源，确保溯源的数据为本租户名下的数据。原因三：被溯源的文件中不包含水印信息。解决方案：您需要检查目标文件是否开启 数据水印，DataWorks仅支持对开启 数据水印 功能之后所执行的数据访问操作进行溯源...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
入门实践
设置后，您在引用数据标准时，数据类型、字段名称会沿用定义数据标准时定义的数据类型和字段名称。在左侧的数据模型下，右键单击 表>customer，选择 跳到当前主题。在右侧的数据视图页面，右键单击 customer 主题，选择 编辑字段。在 字段...
数据源管理
数据源管理是管理入湖数据来源的入口，支持RDS MySQL，Kafka作为数据湖的来源。您可以新建、编辑和删除数据源。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。创建数据源 连接属性配置。连接名称：请...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
设计阶段
设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最...
PyMySQL 连接 OceanBase 数据库示例程序
本文将介绍如何使用 PyMySQL 库和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、查询数据和删除表等。点击下载 python-pymysql 示例工程 前提条件 您已安装 Python 3.x 和 pip。您已安装 OceanBase ...
数据脱敏
配置脱敏数据的来源文件信息，并单击下一步。脱敏源为 RDS表/PolarDB-X表/MaxCompute表/PolarDB表/OceanBase表/ADB-MySQL表 时配置项说明 脱敏源配置项 是否必填 配置描述 数据存储类型 是 选择脱敏文件的数据存储类型。支持的存储类型包括...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
配置OSS输入组件
导出sheet名 是否导出数据的来源sheet名称，导出内容为 {文件名}-{sheet名}。文件编码 支持 UTF-8 和 GBK 编码。压缩格式 支持 zip、gzip、bzip2、lzo、lzo_deflate 压缩格式。空值转换 可指定将任意字符串转换为 Null 值。单击 确认，完成...
配置本地文件输入组件
导出sheet名 可选是否导出数据的来源sheet。导出内容为 {文件名}-{sheet名}。文件编码 选择文件编码的方式。系统支持UTF-8和GBK方式。新建输出字段 新建输出字段：单击 新建输出字段。根据页面提示，配置 来源序号 和 字段，选择字段类型。...
配置本地文件输入组件
导出sheet名 可选是否导出数据的来源sheet。导出内容为 {文件名}-{sheet名}。文件编码 选择文件编码的方式。系统支持UTF-8和GBK方式。新建输出字段 新建输出字段：单击 新建输出字段。根据页面提示，配置 来源序号 和 字段，选择字段类型。...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
SELECT FUNCTION
列的数据类型必须与SQL语言定义函数定义的数据类型保持一致。table_name：待查询目标表的名称。使用示例-创建目标表src。create table src(c bigint,d string);insert into table src values(1,100.1),(2,100.2),(3,100.3);调用my_add函数...
数据开发概述
数据开发包括编码研发和规范建模。编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务。详情请参见 ...
DROP TYPE
简介 DROP TYPE 移除一种用户定义的数据类型。只有一个类型的拥有者才能移除它。语法 DROP TYPE[IF EXISTS]name[,.][CASCADE|RESTRICT]参数 IF EXISTS 如果该类型不存在则不要抛出一个错误，而是发出一个提示。name 要移除的数据类型的名称...
数据开发概述
功能介绍 规范建模：基于已明确的业务需求，从业务顶层开始设计，规范定义数据的标准及计算口径完成数据模型的设计。同时您提供可视化、标准化、规范化和自动化定义数据，而非传统手动写SQL代码的方式，这样就避免了统计指标计算口径不一致...
UDF（SQL自定义函数）
MaxCompute支持直接通过SQL语言定义函数，简化部分简单UDF的定义使用流程。本文为您介绍如何通过SQL语言定义函数（SQL Function）并使用SQL定义的UDF。背景信息 功能介绍 SQL语言定义函数作为一种用户自定义函数（UDF），弥补了MaxCompute...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
- 产品推荐
- 这些文档可能帮助您