步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
离线预测通用说明
概述 PAI-EasyVision支持读取MaxCompute表数据并将结果写回MaxCompute表内。同时，支持读取OSS文件列表进行预测，并将结果写回OSS文件中。整个离线处理过程被抽象为一个流水线处理流程，每个原子过程在每个Worker上异步多线程并发处理。...
概述
设置质量规则和调度周期后，自动检查数据质量并生成报告。无 任务流依赖检查 实现任务流自依赖和跨任务流间依赖，依赖的目标对象可以是某个任务流或某个任务节点。配置任务流依赖检查节点 相关文档 变量 任务编排之电商打标 通过任务编排...
时空数据库版本发布记录
支持SFMesh以及Material数据类型上设置与获取二进制用户自定义数据。新增 ST_BinData 函数支持二进制数据的获取。新增 ST_SetBinData 函数支持二进制数据的设置。新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_...
时空数据库版本发布记录
支持SFMesh以及Material数据类型上设置与获取二进制用户自定义数据。新增 ST_BinData 函数支持二进制数据的获取。新增 ST_SetBinData 函数支持二进制数据的设置。新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_...
PyODPS读取分区表数据
本文为您介绍如何通过PyODPS读取分区表数据。前提条件 您需要完成以下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
采集数据
创建OSS数据源（oss_workshop_log）在您的工作空间中新建OSS数据源，用于后续读取平台提供的存放于OSS中的用户网站访问测试数据，并测试该数据源与同步数据的资源组网络是否连通。进入数据源页面。登录 DataWorks控制台，单击左侧导航栏的 ...
通过实时计算订阅数据
依次双击 DataHub 数据存储>项目名称（datahub_test_datav）>表名（mytable），选择右侧的 作为输入表引用，在开发作业中引用数据源。依次双击 RDS 数据存储>数据库名称（datav_test）>表名（target_table），选择右侧的 作为结果表引用，...
无锁结构变更
DMS为解决结构变更时的锁表问题而推出的无锁结构变更功能，能较好地规避因数据库变更导致锁表以至于阻塞业务的现象、以及数据库原生Online DDL带来的主备延迟现象。前提条件 实例的管控模式为稳定变更或安全协同。更多信息，请参见 管控...
采集数据
创建OSS数据源（oss_workshop_log）在您的工作空间中新建OSS数据源，用于后续读取平台提供的存放于OSS中的用户网站访问测试数据，并测试该数据源与同步数据的资源组网络是否连通。进入数据源页面。登录 DataWorks控制台，切换至目标地域后...
时空引擎版本发布记录
ST_LineLocatePoint 函数新增支持地理数据类型，支持基于球面距离获取最近距离百分比。Raster SQL 增加 ST_Polygonize 函数，支持栅格对象矢量化操作。性能优化 GeomGrid SQL 增强 ST_AsGeometry、ST_AsText、ST_AsBinary、ST_Level 函数...
开发自定义组件示例
只是3个列，这个列的类型需要和getInputRowMeta函数的meta对其，如果是真实数据源db，需要把读取到的数据转换成特定的column record.addColumn(new LongColumn(i));record.addColumn(new StringColumn("name_"+i));record.addColumn(new ...
什么是RDS PostgreSQL
RDS PostgreSQL 阿里云关系型数据库RDS（Relational Database Service）支持PostgreSQL引擎，RDS PostgreSQL的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等。除了完美支持事务、子查询...
开发自定义组件示例
只是3个列，这个列的类型需要和getInputRowMeta函数的meta对其，如果是真实数据源db，需要把读取到的数据转换成特定的column record.addColumn(new LongColumn(i));record.addColumn(new StringColumn("name_"+i));record.addColumn(new ...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
查询诊断
输入行数 该算子从下层算子或磁盘中读取的数据行数。执行占用内存 算子执行占用内存。说明 查询分析中只统计Sort、Hash、Hash Aggregate三个算子占用的内存，其它算子因占用内存较少而忽略。执行耗时 算子执行耗时。磁盘读取数据量 算子从...
HBase数据源
DataX内部类型 Phoenix数据类型 long INTEGER、TINYINT、SMALLINT、BIGINT double FLOAT、DECIMAL、DOUBLE string CHAR、VARCHAR date DATE、TIME、TIMESTAMP bytes BINARY、VARBINARY boolean BOOLEAN 离线写 支持读取HBase数据类型，...
Grafana数据可视化
Network Type 选择VPC通道时，请在Grafana控制台的 VPC数据通道管理 页面找到选择的数据通道对应的交换机，将其网段（格式如：192.168.0.0/16）添加到白名单，并检查数据通道安全组是否对SelectDB的端口允许放行。步骤二：使用数据源创建...
添加OSS数据源
添加OSS数据源用于实现 云原生多模数据库 Lindorm 宽表引擎读取OSS的数据。如果您要将OSS数据导入到 云原生多模数据库 Lindorm 宽表中，需要先添加OSS数据源。本文介绍如何添加OSS数据源。前提条件 已购买LTS服务，具体操作请参见 购买并...
新建并启用物理表质量检查计划
数据建模中建立的质量规则需要通过创建质量检查计划并运行后才能实现质量的管控，本文介绍如何新建并启用物理表质量检查计划。前提条件 已新建模型，且模型已经物理化，具体操作，请参见 物理化逻辑表。模型中已新建质量规则且规则已开启，...
新建并启用物理表质量检查计划
数据建模中建立的质量规则需要通过创建质量检查计划并运行后才能实现质量的管控，本文介绍如何新建并启用物理表质量检查计划。前提条件 已新建模型，且模型已经物理化，具体操作，请参见 物理化逻辑表。模型中已新建质量规则且规则已开启，...
导入概述
基本概念 名词 描述 导入作业 读取用户提交的源数据并进行清洗转换后，将数据导入到StarRocks系统中。导入完成后，数据即可被用户查询到。Label 用于标识一个导入作业，所有导入作业都有一个Label。Label可由用户指定或系统自动生成。Label...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
创建数据库账号 和 用户权限管理 数据类型映射关系 由于 RDS SQL Server 和 AnalyticDB PostgreSQL版 实例支持的数据类型不同，数据类型无法一一对应。所以DTS在进行结构初始化时，会根据目标库支持的数据类型进行类型映射，详情请参见 ...
PolarDB MySQL版迁移至Elasticsearch
对于数据类型为FLOAT或DOUBLE的列，DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度，DTS默认对FLOAT的迁移精度为38位，对DOUBLE的迁移精度为308位，请确认迁移精度是否符合业务预期。DTS会尝试恢复七天之内...
功能发布记录（2023年）
绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。2023.12.29 所有地域 所有DataWorks用户 开发前准备：绑定数据源或集群 新版数据源发布 为给您带来更统一的产品使用体验，DataWorks将MaxCompute、Hologres、AnalyticDB for ...
新建普通维度逻辑表
数据类型：支持 string、bigint、double、timestamp、decimal、文本、数值、日期时间 及 其他 数据类型。字段类别：支持设置为 主键、分区、属性。说明 仅允许一个主键字段。仅支持string、varchar、bigint、int、tinyint、smallinit类型...
RDS SQL Server同步至云原生数据仓库AnalyticDB ...
创建数据库账号 和 用户权限管理 数据类型映射关系 由于 RDS SQL Server 和 AnalyticDB PostgreSQL版 实例支持的数据类型不同，数据类型无法一一对应。所以DTS在进行结构初始化时，会根据目标库支持的数据类型进行类型映射，详情请参见 ...
新建普通维度逻辑表
数据类型：支持 string、bigint、double、timestamp、decimal、文本、数值、日期时间 及 其他 数据类型。字段类别：支持设置为 主键、分区、属性。说明 仅允许一个主键字段。仅支持string、varchar、bigint、int、tinyint、smallinit类型...
什么是数据资源平台
数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据开发、数据标签体系构建，基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据...
如何解决全量迁移慢或迁移卡住
排查实例类型：检查目标库实例是否为只读实例（不支持写入）。以MySQL数据库为例，您可以通过如下命令查询并修改数据库状态。输入命令 show global variables like '%read_only%';如返回read_only及super_read_only为ON，则表示MySQL数据库...
COALESCE
MaxCompute COALESCE函数会从左至右的顺序对输入的参数进行逐一检查，一旦遇到第一个非NULL的值，就会立即返回该值，并不再继续检查后面的参数。本文为您介绍COALESCE函数的命令格式、参数说明以及使用示例。命令格式 coalesce(,,.)参数...
规范建模任务提交说明
完成规范建模相关任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析...
规范建模任务提交说明
完成规范建模相关任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析...
配置数据脱敏
用户输入 新增敏感数据类型，系统会判断文字与已有敏感数据类型名称是否相同（包括：内置和该租户下所有用户配置的敏感数据类型），如果名称相同则提示 敏感字段类型重复。说明 内置敏感数据类型：手机号、身份证号、银行卡号、邮箱_内置、...
新建事实逻辑表
数据类型：支持 string、bigint、double、timestamp、decimal、文本、数值、日期时间 及 其他 数据类型。字段类别：支持设置为 主键、分区、属性。说明 仅允许一个主键字段。仅支持string、varchar、bigint、int、tinyint、smallinit类型...
新建Elastic Service在线类型的节点并运行
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据...
新建事实逻辑表
数据类型：支持 string、bigint、double、timestamp、decimal、文本、数值、日期时间 及 其他 数据类型。字段类别：支持设置为 主键、分区、属性。说明 仅允许一个主键字段。仅支持string、varchar、bigint、int、tinyint、smallinit类型...
接入其他自建或其他云厂商数据库实例
本文介绍如何在数据库自治服务DAS上接入除阿里云外的其他自建数据库，包括用户本地机房数据库、其他云厂商的数据库和其他云厂商虚拟机上的自建数据库。前提条件 DAS目前支持接入的自建数据库引擎：MySQL MongoDB PostgreSQL Redis 说明 ...
新建Elastic Service在线类型的节点并运行
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据...
- 产品推荐
- 这些文档可能帮助您