使用JDBC Connector导入
当您需要将Flink处理后的数据导入ClickHouse时，本文为您提供了使用ClickHouse JDBC Connector的方法，使不同版本的Flink处理后的数据写入到ClickHouse中。背景信息 Flink在1.11.0版本对其JDBC Connector进行了一次较大的重构：重构之前（1...
开源Flink 1.11及以上版本实时写入
本文为您介绍开源Flink 1.11如何实时写入数据至Hologres。前提条件 开通Hologres实例，并连接开发工具，详情请参见 连接HoloWeb。搭建Flink集群（本次示例使用的是1.13版本），可以前往Flink官网下载二进制包，启动一个Standalone集群，...
上下游存储
Flink使用Kafka客户端拉取下拉的Kafka服务端网络地址来消费或者写入数据。排查方法 通过以下步骤来确认Flink与Kafka之间是否存在代理或端口映射等转发机制：使用ZooKeeper命令行工具（zkCli.sh或zookeeper-shell.sh）登录您Kafka使用的...
NFS协议
其中，尽快刷回NAS服务端，则涉及NAS所提供的如下多节点一致性模型：基于超时的最终一致性 NFS会缓存目录或者文件的属性（FileAttr），操作系统会根据FileAttr是否发生变化，来判断这个目录或者文件是否在其他ECS被修改过。同时，加载...
INSERT INTO
本文介绍如何用INSERT INTO 语句向 云数据库 ClickHouse 数据表中插入数据。基本语法 INSERT INTO 语句基本格式如下：INSERT INTO[db.]table[(c1,c2,c3)]VALUES(v11,v12,v13),(v21,v22,v23),.对于存在于表结构中但不存在于插入列表中的列，...
从采集到分析-TSDB For InfluxDB®让你的数据产生价值
在写入前指定数据写入的数据库和保留策略（如果不指定，则写入默认的保留策略），数据可以按行或者Batch的方式写入。为了提高写入吞吐，推荐Batch的写入方式，Batch行数按数据大小可以在100~1000行左右。SDK下载，请参见 地址，程序编译...
现代IM系统中的消息系统—实现
失败的任务可以重新写入任务队列来提升容错，并增加重试计数。出现多次失败后放弃重写，然后将该任务写入特殊的问题队列，方便应用的开发者们查询、定位问题。功能：元数据管理 元数据是指描述数据的数据，此处主要体现为用户元数据和会话...
数据总线DataHub
说明 DataHub兼容Kafka协议，因此您可以使用Kafka连接器（不包括Upsert Kafka）来访问DataHub，详情请参见 兼容Kafka。DataHub连接器支持的信息如下。类别 详情 支持类型 结果表和源表 运行模式 流模式和批模式 数据格式 暂不适用 特有监控...
表操作篇
为了解决这种问题，可以用不同的表来区分冷热数据，并设置不同的预留读/写吞吐量。例如，将消费记录按月份分表，每一个新的自然月就换一张新的表。当月的消费记录表需要不停写入新的消费记录，同时有查询操作。当月的消费记录表可以设置...
整库离线同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
write写入优化
很多时候，写都是用可靠性来换取性能。批量写 也是为了减少rpc的次数 HTable.put(List)Auto Flush autoflush=false可以提升几倍的写性能，但是还是要注意，直到数据超过2 M（由hbase.client.write.buffer决定）或用户执行了 hbase....
写入
其中异步接口的底层是通过TableStoreWriter来写入，其写入吞吐能力更高，对延时不是特别敏感的业务建议使用异步接口。元数据写入 Timestream支持元数据同步写入。Timestream支持写入和删除元数据。重要 写入时间线元数据会覆盖该时间线...
C SDK
日志服务C Producer是用纯C编写的日志采集客户端，提供更加精简的环境依赖以及更低的资源占用，适用于各类嵌入式/智能设备的日志采集。功能特性 异步 异步写入，客户端线程无阻塞。聚合&压缩上传 支持按超时时间、日志数、日志size聚合数据...
Upsert Kafka
用表来类比，changelog流中的数据记录被解释为UPSERT，也称为INSERT或UPDATE，因为任何具有相同key的现有行都被覆盖。另外，value为空的消息将会被视作为DELETE消息。作为结果表，此连接器可以消费上游计算逻辑产生的changelog流。它会将...
产品概述
用户可以编写应用程序或者使用流计算引擎来处理写入到数据总线 DataHub的流式数据比如实时Web访问日志、应用日志、各种事件等，并产出各种实时的数据处理结果比如实时图表、报警信息、实时统计等。产品概述 数据总线 DataHub基本介绍 阿里...
配置说明
tablestore.test.columns.whitelist.name=A,B#tablestore.test.columns.whitelist.type=string,integer#以下为写入Tablestore相关的配置。指定写入模式，可选值包括put和update，默认值为put。put表示覆盖写。update表示更新写。insert....
写入数据
写入模式与业务场景的说明，可参见 写入模式及其响应内容。注意 不要在回调方法中做耗时操作。若有此需要，可以再把操作交给其他工作线程执行。回调方法 response()与 failed()被调用的时机是不一样的：response():指的是写入请求合法且被...
云监控控制台查看监控
磁盘空间已用比例 磁盘空间的使用量与最多可使用磁盘空间容量的比值。磁盘总使用空间 磁盘总计使用的空间容量。单位：MB。每秒插入数据量 各节点每秒写入的大小。单位：MB。每秒插入行数 各节点每秒写入的行数。内存使用比例 集群各节点的...
迁移时源库为MongoDB的注意事项及限制
由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。目标端MongoDB的count数量需要使用 db.$table_name.aggregate([{$count:"myCount"}])语法查询。请确保目标端MongoDB没有与源端相同的主键（默认为_id），...
Blink和Flink常见问题及诊断
基本概念 Hologres性能 写入性能 列存表：InsertOrIgnore>InsertOrReplace>InsertOrUpdate 行存表：InsertOrReplcae=InsertOrUpdate>InsertOrIgnore 参数 说明 InsertOrIgnore 结果表有主键，实时写入时如果主键重复，丢弃后到的数据。...
命令行界面
环境变量 以下环境变量可用于配置 influx 客户端使用的设置，它们可以用小写或大写的形式来指定，但是优先考虑用大写。HTTP_PROXY 定义HTTP使用的代理服务器。value的格式：[protocol:/][:port]...
表设计规范
以上各通道本身均由自身逻辑进行流式数据写入、批量数据写入和周期调度写入。当使用数据通道写入表或分区时，需将1次写入的数据量控制在合理范围，例如，64 MB以上。分区设计与存储逻辑 一张表里有很多个一级分区，每个一级分区都会按时间...
HBase数据源
HBase数据源为您提供读取和写入HBase的双向通道，本文为您介绍DataWorks的HBase数据同步的能力支持情况。支持的版本 支持HBase0.94.x、HBase1.1.x、HBase2.x和Phoenix5.x版本。如果您的HBase版本为HBase0.94.x，Reader和Writer端的插件请...
云数据库HBase
分隔符的使用情况如下所示：用英文逗号（,）来分隔多个黑名单。用箭头（->）来分割黑名单的起始结束时间。cacheScanLimit 读取全量HBase数据，RPC（Remote Procedure Call Protocol）服务端一次返回给客户端的行数。Integer 否 100 缓存...
使用DataX同步
对于新建表，如果需要马上进行数据导入，由于单分区很可能不够用导致数据导入不够顺畅，因此建议在新建表时对表进行预分区，在开始导入数据时即可获得极好的性能，而不用等待自动分裂。{"job":{"setting":{.#省略 },"content":[{"reader":{...
迁移时源库为MySQL的注意事项及限制
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致迁移结果不符合预期。在数据迁移完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
一键实时同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
表设计最佳实践
批量数据写入 使用批量数据写入方式时，应重点关注写入周期。周期调度条式数据插入 应避免使用周期调度条式数据插入的方法。若无法避免使用此方法，则需建立分区表，在新分区进行插入操作，减小对于原来分区的影响。日志表的设计 日志的...
COMPACTION
在数据频繁写入的场景中，必然会引入大量的小文件，需要设计合理高效的合并策略来对小文件进行合并以及数据去重，解决大量小文件读写IO低效以及缓解存储系统的压力，但也要避免频繁Compact引发严重的写放大和冲突失败。目前主要支持两种...
使用前须知
如果您已开通免费试用版审计日志，但需要更长的保留时间或用更大的存储空间来存储审计日志，您可以将其升级为正式版审计日志，升级方法请参见 升级为正式版审计日志。费用说明 正式版审计日志根据审计日志的存储用量和保存时长按量收费。推...
行协议教程
TSDB For InfluxDB®的行协议（Line Protocol）是一种基于文本的格式，用于将数据点写入数据库。数据点必须符合行协议格式，TSDB For InfluxDB®才能成功解析和写入数据点。语法 行协议中，一行数据表示TSDB For InfluxDB®中的一个数据点...
离线同步常见问题
写入DataHub时，一次性写入数据超限导致写入失败如何处理？使用lindorm bulk方式写入数据，是否每次都会替换掉历史数据？如何查询一个ES索引下的所有字段？MongoDB Reader是否大小写敏感？怎么配置MongoDB Reader超时时长？向包含主键自增...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
Modbus驱动
如放大10倍（即真实的值为1000），则放大因子为10。数据上报方式 有两种数据上报方式。按时上报：选择 按时上报 后，根据步骤9中为子设备设置的 数据采集间隔，采集数据并上报。变更上报：采集后的值发生变化后才会上报。返回 实例详情 ...
性能监控
您可以通过阿里云云监控来监控文件系统读请求频率、读取请求大小、每秒读取字节数、存储空间等。并通过设置报警规则，及时获取异常信息。本文介绍如何查看性能监控详情及创建报警规则。前提条件 已创建 文件存储 HDFS 版 文件系统。具体...
相比OpenTSDB优势
测试环境说明 机型配置 写入机型：2C8G 查询机型：64C256G HBase机型：8C16G*5 数据库版本 OpenTSDB：2.3.2+HBase 1.5.0.1 TSDB：2.4.2 写入性能对比 写入场景列表 数据点写入的压力由上述压测配置可得知，5台压测机，每台压测机设置目标...
跨域
总是建议使用JS来写入Cookie，只有需要向其它域名写入Cookie时才使用此方法。输入参数[string]要写入的Cookie 的键，可以参考下面的示例。[string]domain：要写入的Cookie的域。[string]max-age：（可选）要写入的Cookie的max-age。[string...
如何支持超大事务
测试所用实例规格 使用以下 PolarDB-X 实例进行测试：PolarDB-X 版本 polarx-kernel_5.4.11-16301083_xcluster-20210805 节点规格 4核16GB 节点个数 4 创建一个规格为4C16G的ECS连接实例进行测试，该ECS与实例位于同一网段下，由同一个虚拟...
Hologres推荐的数仓分层
实时数仓场景三：增量数据实时统计 增量计算的场景是因为一些场景对数据延迟非常敏感，数据产生的时候必须完成加工，此时通过增量计算的方式，提前用Flink将明细层、汇总层等层数据进行汇聚，汇聚之后把结果集存下来再对外提供服务，如下图...
管理共享
设置修改时间会被转换成修改存储桶里的对象的元数据，通过调用拷贝对象API来实现，如果是归档类型或者冷归档类型的文件，就会需要执行耗时的解冻动作，影响上传效率，甚至可能因为缓存盘内的数据来不及上传导致写入失败，所以不建议网关...
- 产品推荐
- 这些文档可能帮助您