常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
导入概述
较小的内存限制可能会影响导入效率，因为导入流程可能会因为内存达到上限而频繁的将内存中的数据写回磁盘。而过大的内存限制可能导致当导入并发较高时系统OOM。所以需要根据需求合理地设置内存参数。通用系统配置 FE配置 以下配置属于FE的...
导入概述
较小的内存限制可能会影响导入效率，因为导入流程可能会因为内存达到上限而频繁的将内存中的数据写回磁盘。而过大的内存限制可能导致当导入并发较高时系统OOM。所以需要根据需求合理地设置内存参数。通用系统配置 FE配置 以下配置属于FE的...
MCU+支持TCP的模组
应用场景：设备的硬件由一个MCU加上一个通信模组构成，设备的应用逻辑运行在MCU上，模组上支持了TCP但是并不支持MQTT，MCU通过模组提供的AT指令来控制模组何时连接云端服务以及收发数据。说明 本示例中：示例app+SDK+TCP模组驱动一起消耗...
短信发送状态回执错误码
调用接口成功后，运营商会异步返回短信发送状态码。阿里平台 错误码（Code）错误信息（Message）原因及解决方案 isv.SMS_SIGNATURE_SCENE_ILLEGAL 签名和模板类型不一致 原因：模板和签名类型不一致，例如：用验证码签名发送了通知短信或...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
写入数据
写入数据 TSDB-Client 有两种写数据的方式：同步阻塞的写数据和异步非阻塞的写数据。同步阻塞的写数据 假设我们现在需要构建 500 个时间点提交给 TSDB。示例代码 List<Point>points=new ArrayList();构建 Point for(int i=0;i;i+){ long ...
写数据表
本文介绍写数据表算子的使用方法。用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 ...
topRegion分析
写rt 毫秒（ms）不同分片写数据的平均响应时间。Memstore Size MB 内存数据量。总请求数据量 KB/每秒 不同分片每秒的总请求数据量。读数据量 KB/每秒 不同分片每秒的读请求数据量。写数据量 KB/每秒 不同分片每秒的写请求数据量。说明 在 ...
配置DM（达梦）输出组件
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
配置DM（达梦）输出组件
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
配置Greenplum输出组件
如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表 Target_A，执行写入到目标表 Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表 Service_B 重命名成 Temp_C，然后将表 Target_A 重命名为 Service_B，最后...
配置Greenplum输出组件
如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表 Target_A，执行写入到目标表 Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表 Service_B 重命名成 Temp_C，然后将表 Target_A 重命名为 Service_B，最后...
配置AnalyticDB for MySQL 3.0输出组件
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
配置AnalyticDB for MySQL 3.0输出组件
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
离线同步数据质量排查
写端数据一致性排查 数据集成的Writer插件用来将源头读取到的数据写出至数据目标端，每一个目标存储类型都会有对应的Writer插件，Writer插件会根据用户配置的数据写出模式（包括冲突替换策略），使用JDBC或者对应数据源SDK最终将数据提交给...
重要组件
常用的Ext4等文件系统不支持多点挂载，PolarDB数据库团队自行研发了专用的用户态文件系统，提供常见的文件读写查看接口，支持类似O_DIRECT的非缓存方式读写数据，还支持数据页原子写，IO优先级等优秀的特性，为上层数据库的高性能提供了...
整库离线同步至OSS
text格式是用列分隔符简单分割待写数据，对于待写数据包括列分隔符情况下不做转义。列分隔符 将源端每列数据写入OSS时所使用的列分隔符，默认值为（,）。行分隔符 将源端每行数据写入OSS时所使用的行分隔符，默认值为（）。编码 定义文件...
配置同步任务
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
适配模组特性
发送数据/*发送数据AT命令表*/static core_at_cmd_item_t at_send_cmd_table[]={ {.fmt="AT+QISEND=d,%d\r",.rsp=">",},{/*纯数据，没有格式*/.rsp="SEND OK",},};定义数据接收格式 static core_at_recv_data_prefix at_recv={.head="+...
FTP数据源
TEXT格式是用列分隔符简单分割待写数据，对于待写数据包括列分隔符情况下不做转义。否 TEXT header header:txt文本（包括csv、text等）写出时的表头，脚本模式支持配置表头信息，例如"header":["id","name","age"]，表示将id、name、age...
新零售：杭州数云信息技术有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍杭州...
有数BI
AnalyticDB MySQL版 支持您将 AnalyticDB MySQL版 数据接入网易有数BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接 AnalyticDB MySQL版，并进行可视化数据分析。前提条件 在执行操作前，请确认您已满足...
配置同步任务
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
TOP Objects
平均逻辑写 数据库对象平均每次执行的逻辑写入。总逻辑IO 重启实例或清理缓存后数据库对象总的逻辑IO消耗。平均逻辑IO 数据库对象平均每次执行的逻辑IO消耗。TOP Objects列表详情：若需要查看某一个具体数据库对象中每个步骤的性能消耗，...
使用参数模板
参数 取值 说明 innodb_flush_log_at_trx_commit 1 事务提交时，把事务日志从缓存区写到日志文件中，并且立刻写入到磁盘上。2 事务提交时，把事务日志从缓存区写到日志文件中，但不一定立刻写入到磁盘上。日志文件会每秒写入到磁盘，如果...
使用DataWorks
更多创建表及写入数据操作，请参见 表操作 和 插入或覆写数据（INSERT INTO|INSERT OVERWRITE）。已准备好目标数据源及目标表。使用限制 每个离线同步节点仅支持将单张表数据导出至其他数据源。如果您需要导出多张表数据，需要创建多个离线...
写入数据
请求路径和方法 请求路径 请求方法 描述/api/put POST 一次写入多个数据点。请求参数 名称 类型 是否必需 描述 默认值 举例 summary 无类型 否 是否返回摘要信息。false/api/put?summary details 无类型 否 是否返回详细信息。false/api/...
多值数据写入
时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的被测量的多个指标在同一行上，所以每一个数据源，数据的来源在每一个时间点上都有一行，这就是多值的模型。比如某个机器的cpu，mem和load指标。每次是...
功能特性
监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，...
功能发布记录 2022年之前
您可以购买该功能模块，将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力您实现数据资产价值化输出，在数据全生命周期上夯实数据基础，为数据价值化提供有力支撑。2021.02.20 全部地域。DATABLAU数据建模计费标准 ...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
- 产品推荐
- 这些文档可能帮助您