TSDB数据源
DataWorks数据集成支持使用TSDB Writer将数据点写入到阿里巴巴云原生多模数据库Lindorm TSDB数据库中，本文为您介绍DataWorks的TSDB数据写入能力。支持的版本 TSDB Writer目前仅支持Lindorm TSDB全部版本以及HiTSDB 2.4.x及以上版本，其他...
自建Oracle迁移至AnalyticDB MySQL 3.0
支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 说明 在数据写入到 云原生数据仓库 AnalyticDB MySQL 版 3.0时，UPDATE语句会自动转化为REPLACE INTO语句。数据类型映射关系 详情请参见 异构数据库间的数据类型...
产品整体介绍
在第三方认证层面，AnalyticDB PostgreSQL版 通过了“国际数据库TPC官方TPC-H 30TB认证”（性价比综合排名第一），信通院“分布式事务型数据库基础能力评测”（TPC-C）和“分布式分析型数据库大规模性能认证”（640节点 TPC-DS 100TB）。...
定时SQL Exactly-Once
当您将数据写入到相同的Hash Key中时，如果待写入数据的Sequence ID大于Hash Key中记录的最近一次写入的数据的Sequence ID，则日志服务将允许数据写入，并更新Hash Key中的Sequence ID。基于幂等写入的定时SQL Exactly-Once 定时SQL采用幂...
Stream Load
two_phase_commit Stream Load导入可以开启两阶段事务提交模式：在Stream load过程中，数据写入完成即会返回信息，此时数据不可见，事务状态为PRECOMMITTED，您手动触发commit操作之后，数据才可见。默认的两阶段批量事务提交为关闭。开启...
自建Oracle迁移至PolarDB-X
实际业务写入编码 您可以根据实际情况，选择数据写入目标端的编码类型。配置ETL功能 选择是否配置ETL功能。关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置...
Stream Load
开启两阶段事务提交模式后，数据写入完成即会返回信息给用户，此时数据不可见，事务状态为PRECOMMITTED，用户手动触发commit操作之后，数据才可见。由于Stream load是一种同步的导入方式，所以导入的结果会通过创建导入的返回值直接返回给...
自建Oracle迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标实例 RDS MySQL。说明 目标实例 RDS MySQL 的创建...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
MongoDB数据源
MongoDB数据源为您提供读取和写入MongoDB双向通道的功能，本文为您介绍DataWorks的MongoDB数据同步的能力支持情况。支持的版本 仅支持4.x、5.x版本的MongoDB。使用限制 数据集成支持使用MongoDB数据库对应账号进行连接，如果您使用的是云...
自建Oracle迁移至自建PostgreSQL
实际业务写入编码 您可以根据实际情况，选择数据写入目标端的编码类型。配置ETL功能 选择是否配置ETL功能。关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置...
自建Oracle迁移至RDS PostgreSQL
实际业务写入编码 您可以根据实际情况，选择数据写入目标端的编码类型。配置ETL功能 选择是否配置ETL功能。关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置...
自建Oracle迁移至PolarDB MySQL版
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标集群 PolarDB MySQL版。说明 目标集群 PolarDB ...
产品规格和定价
写入能力TPS：指TSDB支持的最大写入速率，即每秒写入数据点的最大数量（数据点/秒）。存储空间 设备产生的原始数据都需要存储起来，以供您后续处理或分析。购买的存储空间建议匹配实际存储的数据量的大小。若随时间积累，存储空间不足，您...
基础数据操作
时序数据写入到时序表后，您可以使用QueryTimeseriesMeta接口检索时间线以及使用GetTimeseriesData接口或者SQL查询时序数据。如果为时序表创建了分析存储，您还可以使用SQL查询与分析时序数据。写入时序数据 创建时序表后，请根据实际场景...
FineReport
在弹出的数据库查询对话框中，找到AnalyticDB对应的数据源和对应表，写入数据查询语句，新建数据集ds1。如下示例，查询 select*from demo_sales，查询并取出demo_sales表中的所有数据。通过聚合查询选出聚合的数据集。如新建数据集 ds2，...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
外部表常见问题
查询外部表Tablestore数据慢 问题现象 查询外部表Tablestore的数据慢，同样的业务数据，1个实时写入Tablestore，1个定时写入MaxCompute，两个表结构和数据量一样。查询MaxCompute内部表耗时远小于查询Tablestore外部表。解决措施 这种情况...
数据加工
结果数据写入 限制项 说明 目标Logstore写入 将处理结果写入目标Logstore时，需要满足Logstore的数据写入限制，具体请参考 基础资源 和 数据读写。如果在使用 e_output、e_coutput 函数时，指定 hash_key_field 或者 hash_key 参数且通过 ...
使用限制
结果数据写入 限制项 说明 目标Logstore写入 将处理结果写入目标Logstore时，需要满足Logstore的数据写入限制，具体请参考 基础资源 和 数据读写。如果在使用 e_output、e_coutput 函数时，指定 hash_key_field 或者 hash_key 参数且通过 ...
全球多活使用限制
不一致情况 图示 说明 value互换 子实例A在1.1时刻收到SET命令（key->value_A），并于1.2时刻将数据写入数据库。子实例B在2.1时刻收到SET命令（key->value_B），并于2.2时刻将数据写入数据库。在3.1时刻子实例A向子实例B同步数据（key->...
全球多活使用限制
不一致情况 图示 说明 value互换 子实例A在1.1时刻收到SET命令（key->value_A），并于1.2时刻将数据写入数据库。子实例B在2.1时刻收到SET命令（key->value_B），并于2.2时刻将数据写入数据库。在3.1时刻子实例A向子实例B同步数据（key->...
表
PyODPS支持对MaxCompute表的基本操作，包括创建表、创建表的Schema、同步表更新、获取表数据、删除表、表分区操作以及如何将表转换为DataFrame对象。背景信息 PyODPS提供对MaxCompute表的基本操作方法。操作 说明 基本操作 列出项目空间下...
近实时增量导入
实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据...
写入时空对象
在索引表创建完成、时空对象创建完成后，即可调用数据写入接口将数据写入到Lindorm Ganos中。单条记录写入 Lindorm Ganos通过GeoTools API中的SimpleFeatureWriter写入单条数据，SimpleFeatureWriter支持事务，可以通过DataStore的...
写入时空对象
在索引表创建完成、时空对象创建完成后，即可调用数据写入接口将数据写入到HBase Ganos中。单条记录写入 HBase Ganos通过GeoTools API中的SimpleFeatureWriter写入单条数据，SimpleFeatureWriter支持事务，可以通过DataStore的...
Kafka兼容说明
本文介绍通过开源Kafka客户端将数据写入流表的操作步骤。操作步骤 获取流引擎连接地址。具体操作，请参见 查看连接地址。创建流表。如何创建，请参见 流表。获取Kafka Topic名称。Kafka Topic名称的格式为：LINSTREAM-+Database名+“.”+流...
基本操作
Transaction Table2.0 支持更多能力，同时在DDL，DML和DQL以及数据管理上都...DDL操作 表操作 分区和列操作 CLONE TABLE 数据写入 SQL写入 Flink近实时写入 数据查询：Time travel查询与Incremental查询 数据合并：COMPACTION 数据备份与恢复
自建SQL Server通过物理网关迁移上云
物理协议迁移上云和逻辑数据迁移上云的区别 对比项 物理协议迁移上云 逻辑数据迁移上云 迁移原理 采用数据库原生物理备份协议以数据块的方式写入到目标端。采用JDBC逻辑协议获取SQL并写入到目标端。操作系统要求 仅支持Windows上的SQL ...
自建SQL Server通过物理网关迁移上云
物理协议迁移上云和逻辑数据迁移上云的区别 对比项 物理协议迁移上云 逻辑数据迁移上云 迁移原理 采用数据库原生物理备份协议以数据块的方式写入到目标端。采用JDBC逻辑协议获取SQL并写入到目标端。操作系统要求 仅支持Windows上的SQL ...
CREATE TABLE AS SELECT（CTAS）
云原生数据仓库AnalyticDB MySQL版 支持通过 CREATE TABLE 创建表，也支持通过 CREATE TABLE AS SELECT（CTAS）将查询到的数据写入新表中。语法 CREATE TABLE[IF NOT EXISTS][table_definition][IGNORE|REPLACE][AS]说明 该建表方式默认与...
产品功能
高效压缩存储 TSDB 使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低90%存储使用空间，同时加快数据写入的速度。时序数据计算能力 TSDB 提供专业全面的时序数据计算函数，支持降采样、数据插值和空间聚合...
应用开发概览
规划数据库对象 二级目录 文档名称 规划数据对象 创建数据库 创建表 创建索引 数据写入 二级目录 文档名称 数据写入 插入数据 更新数据 删除数据 替换数据 数据读取 二级目录 文档名称 文档名称 数据读取 关于查询 单表查询 条件查询 排序...
表设计最佳实践
采集源表的设计 数据采集方式包括流式数据写入、批量数据写入和周期调度条式数据插入。数据量较大时，需确保同一个业务单元的数据使用分区表设计；数据量较小时，需优化采集频率。流式数据写入 对于流式写入的数据，采集的通道通常较多，...
输出数据
输出的数据写入已有数据表中。重要 分区表：每次写入会删除表中原有数据，并插入新数据，请谨慎操作。非分区表：覆盖数据：每次写入会覆盖之前的数据，请谨慎操作。追加数据：主键/约束不冲突时，插入数据；主键/约束冲突时，则会报错。...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
引擎功能
数据写入 支持以下方式进行数据写入：使用SQL的INSERT语句（推荐使用JDBC）。兼容InfluxDB的写入Line Protocol。兼容OpenTSDB协议的写入API。支持 Prometheus 以 Remote Storage 的形式将监控数据写入。数据查询 支持通过SQL进行数据查询，...
静态脱敏
系统支持在代码任务中引用脱敏算法函数脱敏字段，将脱敏后的数据写入开发环境或生产环境的目标表。静态脱敏入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 静态脱敏 页面。静态脱敏操作指引 步骤一：安装算法包 在...
静态脱敏
系统支持在代码任务中引用脱敏算法函数脱敏字段，将脱敏后的数据写入开发环境或生产环境的目标表。静态脱敏入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 静态脱敏 页面。静态脱敏操作指引 步骤一：安装算法包 在...
C SDK
本文介绍使用C Producer SDK的基本操作。日志服务C Producer是用纯C编写的日志采集客户端，提供更加精简的环境依赖以及更低的资源占用，适用于各类嵌入式/智能设备的日志采集。功能特性 异步 异步写入，客户端线程无阻塞。聚合&压缩上传 ...
- 产品推荐
- 这些文档可能帮助您