AnalyticDB for PostgreSQL数据源
AnalyticDB for PostgreSQL数据源提供读取和写入AnalyticDB for PostgreSQL的双向功能，本文为您介绍DataWorks的AnalyticDB for PostgreSQL数据同步的能力支持情况。使用限制 离线同步支持读取视图表。支持的版本 支持版本最高至7.0（含）...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
专业术语
points per second 这是一个现在已经弃用的术语，原来表示数据写入TSDB For InfluxDB®的速率，因为TSDB For InfluxDB®的数据模型（schema）允许甚至鼓励每个数据点记录多个测量值（metric），所以这个概念有歧义。写入速率现在通常是按...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
FAQ
如果非admin用户尝试用 USE 指定一个他们没有 READ 和/或 WRITE 权限的数据库，那么系统会返回错误：ERR:Database<database_name>doesn't exist.Run SHOW DATABASES for a list of existing databases.说明 SHOW DATABASES查询只返回那些非...
使用INSERT ON CONFLICT覆盖写入数据
本文介绍在AnalyticDB PostgreSQL版数据库中，如何使用INSERT ON CONFLICT语法覆盖写入数据。针对数据写入时有主键冲突的情况，INSERT ON CONFLICT语法可以将冲突主键的INSERT行为转换为UPDATE行为，从而实现冲突主键的覆盖写入。该特性又...
资源
w：写模式，只能写入而不能读文件，注意用写模式打开，文件内容会先被清空。a：追加模式，只能写入内容到文件末尾。r+：读写模式，可以任意读写内容。w+：类似于 r+，但会先清空文件内容。a+：类似于 r+，但写入时只能写入文件末尾。同时，...
半结构化分析
JSON格式数据在业务上也可以用text类型来存储，但是使用JSON/JSONB数据类型会在用户写入数据时对输入做JSON规则校验，避免不合法JSON数据写入。同时 AnalyticDB PostgreSQL版 提供一些列特定的JSON化函数，让用户可以对这些数据做出一些...
通过导入实现列更新
列更新支持高频的并发写入，写入成功后数据即可见，系统自动通过MVCC机制来保证并发写入的数据正确性。Unique模型和Aggregate模型详情请参见 数据模型。适用场景 列更新的适用场景如下。实时的动态列更新，需要在表中实时的高频更新某些...
使用Flink写入时序引擎
Flink可以处理实时数据流，并将处理结果写入Lindorm时序引擎，以实现实时数据监控等场景。本文介绍如何将Flink上实时的数据处理结果写入到时序引擎。前提条件 已开通实时计算Flink版或者已有自建Flink。实时计算Flink版的开通，请参见 开通...
Python SDK示例：资源
表资源：表资源相关SDK示例请参见下文的 表资源 文件资源 文件资源常见操作如下：创建文件资源 您可以通过给定资源名、文件类型和一个file-like的对象（或字符串对象）调用 create_resource()来创建。使用file-like的对象创建文件资源，...
表删除，更新和合并
在这个部分：写入Delta表时的重复数据删除 缓慢将数据（SCD）类型2操作更改为Delta表 将更改数据写入Delta表 使用Upsert 从流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到表中来将日志收集到...
使用MongoDB存储日志数据
如果日志的重要性比较高（比如需要用日志来作为计费凭证），则可以使用更安全的 writeConcern 级别，比如 {w:1} 或 {w:"majority"}。同时，为了达到最优的写入效率，用户还可以考虑批量的写入方式，一次网络请求写入多条日志。格式如下所示...
一键实时同步至Kafka
此时写入kafka记录的key将使用空值，只有当写入的kafka topic是单分区，才能确保变更有序写入，此外，您还可以选择单击 图标自定义主键，即使用其他非主键的一个或几个字段的联合，代替主键作为kafka记录的key。当在 设置目标Topic 页面未...
行协议参考
行协议（Line Protocol）是一种基于文本的格式，用于将数据点写入TSDB For InfluxDB®。行协议 语法[,<tag_key>=[,<tag_key>=]]<field_key>=[,<field_key>=][]使用换行符 分隔每一行，每一行表示TSDB For InfluxDB®中的一个数据点。行协议...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
快速入门
写入验证 通过TSDB实例的管理控制台界面的 实例监控 界面，观察写入的TPS是否有所变化来验证。刚开始没有任何数据写入时，写入的TPS为0，当TPS开始从0变为正数时，则说明Prometheus已经将数据上报到了TSDB中。查询验证 本文提供Prometheus...
CreateFileTrans-创建文件转写任务
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
DescribeDBClusterPerformance-查看集群性能数据
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
访问控制
所有这些操作产生的费用由该Bucket的Owner承担，请慎用该权限。警告 互联网上任何用户都可以对该Bucket内的文件进行访问，并且向该Bucket写入数据。这有可能造成您数据的外泄以及费用激增，如果被人恶意写入违法信息还可能会侵害您的合法...
二级索引
Lindorm宽表支持Tabular模型下的二级索引功能，此功能在非主键匹配的查询场景下，可以降低应用的开发复杂性、保证数据的一致性和提高写入效率。本文介绍Lindorm Tabular模型下二级索引的基本特性和使用示例。背景信息 对于Lindorm Tabular...
名词解释
Topic Topic是 DataHub 订阅和发布的最小单位，用户可以用Topic来表示一类或者一种流数据。更多详情请参考：Project及Topic数量限制。Topic Lifecycle 表示一个Topic中写入数据在系统中可以保存的最长时间，以天为单位，最小值为1，最大值...
OnsTrendTopicInputTps-统计消息生产数据
查询一段时间内指定的Topic的消息写入报表数据。接口说明 注意 阿里云提供的 OpenAPI 属于管控类 API，用于管理和查询阿里云服务的相关资源。仅推荐在管控链路集成，消息收发的核心数据链路中严禁依赖 OpenAPI 实现，否则可能会导致链路...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。背景信息 物化视图(Materialized View)是一个包含查询结果的数据库对象。与普通的视图不同，物化视图不仅保存视图的定义，还保存了 创建物化视图 时的数据副本。当物化视图的数据与视图...
DeploySDG-部署SDG
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
RebootInstances-重启实例
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
RebootInstance-重启实例
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.6.0及以上）PostgreSQL 11（内核小版本1.1.30及以上）说明 您可通过如下语句查看 PolarDB ...
StopInstances-批量停止实例
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
通过索引生命周期管理实现冷热数据分离
索引不再写入，主要用来提供查询。cold 冷数据阶段。索引不再更新，查询很少，查询速度会变慢。delete 删除数据阶段。索引将被删除。您可以通过两种方式为索引添加生命周期管理策略：为索引模板添加生命周期管理策略：将策略应用到整个别名...
定时SQL Exactly-Once
日志服务基于Logstore的幂等写入来实现定时SQL结果数据的Exactly-Once。说明 本文内容适用于Logstore和MetricStore，仅以Logstore为例进行说明。背景信息 日志服务Logstore中包含多个Shard，每个Shard对应一个Hash Key区间（左闭右开）。您...
实时数仓Hologres
背景信息 实时数仓Hologres 是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），...
表数据格式
此外还可设定其他一些重要的表属性，比如 write.bucket.num 用来配置数据写入的并发度，acid.data.retain.hours 用来配置历史数据的有效查询时间范围等。更多属性可参见 Transaction Table2.0表参数。Transaction Table2.0数据文件类型 ...
流式数据湖仓Paimon
背景信息 Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon...
数据组织优化
解决方案 Clustering服务主要由MaxCompute内部的Storage Service来负责执行，专门解决小文件合并的问题，但它并不会改变任何数据的历史中间状态，即不会消除任何一条记录数据的中间历史状态。Clustering服务流程 Clustering服务的整体操作...
HTTP API
如果设置为true，TSDB For InfluxDB®按序列或按10,000个数据点（哪个条件最先满足就以哪个条件来分块）分批返回结果。如果设置为一个特定的值，TSDB For InfluxDB®按序列或按指定数量的数据点分批返回结果。db=database_name 对依赖数据...
开通备份恢复
对于写入量大的集群，LOG的日增量会很大，可以通过适当减小全备周期来减少LOG存储量。请合理评估使用空间,用超以后，会导致备份中断。常见问题 Q：故障时最近可以恢复到哪个时间点？A：正常不积压情况下，取决于持久HBase Log到OSS周期，...
DataHub数据源
DataHub数据源作为数据中枢，为您提供读取和写入DataHub数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...
- 产品推荐
- 这些文档可能帮助您