数据开发：开发者
任务定时时间为单个节点维度，但任务实际运行时间与节点依赖的上游节点其定时时间有关，所以即便当前节点定时时间早于上游节点，当前节点仍需要等待上游节点定时时间到并且执行成功后，下游节点才会执行。本文示例设置 result_table 节点 ...
通过HTTP API写入数据
时间戳放在行的最后，是一个从UTC 1970年1月1日起到现在的纳秒级的Unix时间，它是可选的，如果没有明确给出时间戳，TSDB For InfluxDB®会把服务器本地的纳秒级的Unix时间当作数据点的时间戳。在TSDB For InfluxDB®中，任何时间戳都是UTC...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
ExploreHiTSDBInstanceData
返回参数 名称 类型 描述 Metric List 数据 metric Start String 数据查询开始时间，毫秒值 End String 数据查询结束时间，毫秒值 TimeLines List 数据列表 Tags List 数据 tag 列表 TagKey String 数据 tag key TagValue String 数据 tag ...
恢复Oracle物理备份
数据库备份DBS 支持3种Oracle的恢复方式，包括异机恢复、原机异位置恢复、原机原位置恢复。本文介绍如何恢复物理备份的Oracle数据库。支持的恢复方式 恢复方式 说明 配置说明 异机恢复 将数据库恢复至原服务器以外的机器上。选择待恢复的...
2019年
概述 通过Tunnel迁移日志数据至MaxCompute 通过DataHub迁移日志数据至MaxCompute 通过DataWorks数据集成迁移日志数据至MaxCompute 通过日志服务迁移日志数据至MaxCompute 2019-12-25 新增开源地理空间UDF。新功能 您可以将开源地理空间UDF...
MongoDB 7.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
MongoDB 6.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
本文为您介绍如何同步 OceanBase 数据库 MySQL 租户的数据至云原生数据仓库 AnalyticDB MySQL 版。背景信息 AnalyticDB MySQL 版的基本介绍请参见 基础数据类型。AnalyticDB MySQL 版的建表、分区表和分布表的详情请参见 CREATE TABLE。...
同步 OceanBase 数据库的数据至 DataHub
本文为您介绍如何同步 OceanBase 数据库（MySQL 和 Oracle 租户）的数据至 DataHub。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于数据同步项目的数据库用户，并为其赋予...
功能更新动态（2024年）
支持所有类型的离线任务（计算任务、集成任务、逻辑表）接收直接上游任务的跨节点输出参数，可将跨节点参数值赋值本地变量，基于跨节点条件调度决定当前节点的调度方式和调度时间。原子指标计算逻辑重复性校验优化，当计算表达式一致但事件...
配置LogHub（SLS）输入
背景信息 LogHub（SLS）实时同步读取插件，会自带以下元数据字段：LogHub（SLS）实时同步字段 数据类型 说明_time_STRING SLS保留字段：_time_写入日志数据时指定的日志时间，unix时间戳，单位为秒。source_STRING SLS保留字段：_source_...
配置监控报告模板
报告模板管理页面支持动态配置报告模板，数据质量根据您配置的报告模板定时生成并发送报告。前提条件 您需要购买DataWorks企业版及以上版本，才可以使用报告模板管理功能。新增报告模板 登录 DataWorks控制台，单击左侧导航栏的 数据建模与...
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
DescribeDataAssets-查询数据资产敏感信息
取值：1：未识别到敏感数据，无风险 2：1 级敏感数据风险 3：2 级敏感数据风险 4：3 级敏感数据风险 5：4 级敏感数据风险 6：5 级敏感数据风险 7：6 级敏感数据风险 8：7 级敏感数据风险 9：8 级敏感数据风险 10：9 级敏感数据风险 11：10 ...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
FAQ
本页面讨论了经常容易混淆的内容，以及跟其它数据库系统相比TSDB For InfluxDB®以意想不到的方式运行的地方。管理（Administration）如何识别TSDB For InfluxDB®的版本？shard group duration和保留策略之间的关系是什么？当更改保留策略...
版本说明
本文介绍GTS各版本的发布时间和主要功能说明，帮助您了解并选择适合的GTS版本。请根据需要选取合适的版本。版本发布记录 如果您是第一次使用GTS或专有云用户，请选用2.8.x系列版本，推荐使用最新版本。版本 发布时间 说明 2.8.94 2023-05-...
使用ACM简化Spring Cloud微服务环境配置管理
在本文中，以测试和生产环境下连接不同的数据库、配置不同的数据源（包括连接池）参数为例，介绍了如何搭配使用阿里云配置中心ACM与Spring Cloud，帮助您在微服务架构中简化环境配置管理。迁移到MSE Nacos ACM进入下线状态，所有配置管理...
DBMS_PIPE
DBMS_PIPE内置包用于在连接到相同数据库集群的会话内部或者会话之间传递消息。注意事项 DBMS_PIPE不建议集群地址使用，可能引起长事务问题。DBMS_PIPE子程序总览 子程序 说明 CREATE_PIPE Function 创建一个命名管道。NEXT_ITER_TYPE ...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
创建实时元表规则
实时离线数据核对 实时数据与离线数据在使用相同统计路逻辑时，实时离线数据核对质量规则可以检测数据之间的差异。如果差异较大，可能存在数据质量的问题。质量规则配置 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 ...
创建实时元表规则
实时离线数据核对 实时数据与离线数据在使用相同统计路逻辑时，实时离线数据核对质量规则可以检测数据之间的差异。如果差异较大，可能存在数据质量的问题。质量规则配置 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 ...
Spring Boot应用如何快速接入Prometheus监控
在使用Spring Boot应用过程中，为了对系统的状态进行持续地观测，您可以将Spring Boot应用接入Prometheus监控。本文介绍如何将Spring Boot应用快速接入Prometheus监控。背景信息 对于开发者而言，大部分传统SSM结构的MVC应用背后的糟糕体验...
Spring Boot应用如何快速接入Prometheus监控
在使用Spring Boot应用过程中，为了对系统的状态进行持续地观测，您可以将Spring Boot应用接入Prometheus监控。本文介绍如何将Spring Boot应用快速接入Prometheus监控。背景信息 对于开发者而言，大部分传统SSM结构的MVC应用背后的糟糕体验...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
组复制简介
特性 组复制 半同步复制 异步复制 数据可靠性★数据一致性 保证主备数据一致性 不保证 不保证 全局事务一致性 支持 不支持 不支持 数据 强 可靠性 组复制的数据强可靠性来源于Paxos协议的多数派原则，即当多数派收到事务的Binlog后，事务...
新建Elastic Service在线类型的节点并运行
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据...
创建指标质量规则
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 当 规则模板 选择为 自定义SQL 大类时，对应的参数如下所示。自定义统计指标校验：自定义SQL：支持select查询语句，查询对象须包含主表。例如：select sum(sale)from...
新建Elastic Service在线类型的节点并运行
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据...
为Spring Cloud服务配置服务Mock
您可以通过EDAS创建Mock服务，系统自动根据请求参数返回不同的结果，并且随机生成返回数据，能够真实地模拟后端服务，支持系统联调。例如部署了2个应用：生产者Provider和消费者Consumer，Consumer依赖了Provider的接口，由于Provider的...
创建指标质量规则
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 当 规则模板 选择为 自定义SQL 大类时，对应的参数如下所示。自定义统计指标校验：自定义SQL：支持select查询语句，查询对象须包含主表。例如：select sum(sale)from...
新建基线监控
数据业务产出的核心质量指标是及时性与准确性，您可以按照数据业务的重要程度，用质量规则监控来实现内容保障，用基线监控来实现时效保障。基线一旦建立后，会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务，并按照设定的预警时间...
- 产品推荐
- 这些文档可能帮助您