数据倾斜调优
本文为您介绍使用MaxCompute过程中常见的数据倾斜场景以及对应的解决方案。MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
多NUMA机型的容器内存就近访问加速
本文测试用例在4 Core 32 GB的Redis应用中写入数据，本次参数设置为 max-our-cir=300、max-in-cir=1000000。说明 数据量较大时，数据写入时间较长。为提高写入速度，建议在测试机本地进行数据写入。for((j=1;j;j+))do echo"set k$j-0 v$j-0...
如何将一棵LSM-Tree塞进NVM
全持久化 Low Fast 持久化索引的更新以及添加操作通常涉及PM中多个超过8字节的小的随机写入，因此引入用于维护一致性的开销以及随机写入导致的写放大问题。无持久化是指将PM当作DRAM使用，此种方法可以保证索引处于最高的性能，但掉电数据...
断点续传下载
断点续传下载将需要下载的文件分成若干个分片分别下载，所有分片都下载完成后，将所有分片合并成完整的文件。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于...
整库离线同步至OSS
说明 当上一步骤中 写入单个文件 开关为关闭状态时，即单表写入OSS多个文件时，此处的OSS文件名为写入OSS文件的前缀名称，实际写入的文件名会添加随机字符串。功能 描述 文件建立方式 写入OSS时的文件建立方式，支持写入已有文件或自动建立...
MongoDB 5.0新特性概览
Write Concern 默认Majority级别 从MongoDB 5.0开始，Write Concern 默认级别为majority，仅当写入操作被应用到Primary节点（主节点）且被持久化到大多数副本节点的日志中的时候，才会提交并返回成功，“开箱即用”地提供了更强的数据可靠...
如何基于LSM-tree架构实现一写多读
一个2PC事务除了数据本身的日志，还包括BeginPrepare、EndPrepare、Commit、Rollback四类日志，写入过程中保证BeginPrepare和EndPrepare写入到一个WriteBatch中并顺序落盘，可以确保同一个事务的Prepare日志都会被解析到一个ReplayTask中。...
OSS数据源
OSS数据源为您提供读取和写入OSS的双向通道，本文为您介绍DataWorks的OSS数据同步的能力支持情况。支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言...
分歧争端机
显示效果 涉及知识点 三轴加速度传感器的原理和使用 随机数生成的方法 OLED绘图 开发环境准备 硬件 开发用电脑一台 HAAS EDU K1 开发板一块 USB2TypeC 数据线一根 软件 开发环境的搭建请参考《AliOS Things集成开发环境使用说明之搭建开发...
离线同步常见问题
设置脏数据允许条数为x条，则当脏数据产生条数超过x条时，任务将失败退出，当脏数据产生条数小于x条时，任务将继续运行，但脏数据将会被舍弃，不写入目的端。脏数据实时场景分析：场景一：报错现象：{"message":"写入 ODPS 目的表时遇到了...
配置OSS文件系统
步骤二：创建函数并在代码中访问OSS挂载的目录文件 完成OSS挂载配置后，您可以通过以下步骤访问OSS挂载的目录下的文件内容，即可以用访问本地文件的方式访问OSS挂载目录下的文件。在 创建函数 页面，配置以下配置项，其他配置保持默认值，...
Sysbench测试
rand-type：随机数的分布模式。导入压测数据 sysbench-config-file='sysb.conf'-create-table-options='dbpartition by hash(id)'-tables='16'-table-size='10000000'-threads='16'-auto_inc='off' oltp_point_select prepare 参数说明：...
配置OSS文件系统
使用限制 函数计算 在同一地域下的一个函数最多支持配置5个NAS挂载点和5个OSS挂载点。NAS挂载点和OSS挂载点设置的函数运行环境中的本地目录不能冲突。关于配置NAS挂载点的更多信息，请参见 配置NAS文件系统。前提条件 对象存储 OSS（Object...
Sysbench测试
rand-type：随机数的分布模式。导入压测数据 sysbench-config-file='sysb.conf'-create-table-options='single locality="balance_single_table=on"'-tables='16'-table-size='10000000'-threads='16'-auto_inc='off' oltp_point_select ...
客户端加密
背景信息 使用客户端加密时，会为每个Object生成一个随机数据加密密钥，用该随机数据加密密钥明文对Object的数据进行对称加密。主密钥用于生成随机的数据加密密钥，加密后的内容会当作Object的meta信息保存在服务端。解密时先用主密钥将...
TensorFlow常见问题
例如，数据集有10000个数据，如果需要从5000个数据中随机抽取，则将capacity配置为5000。min_after_dequeue：维持队列的最小长度，不能大于 capacity。如何为OSS写入数据？您可以通过以下任意一种方式将数据写入OSS中，生成的文件存储在...
云原生多模数据库Lindorm
动态表模式 动态表模式适用于在表定义中并未指定列名的情况，根据作业运行情况动态创建数据列并插入的场景。例如统计每天每小时的交易量，以天作为主键，小时作为列，每个小时的数据都是动态生成的，示例如下。主键 列名：0点 列名：1点 ...
上下游存储
例如如下JSON格式的数据，直接用JSON format解析，会被解析成一个ARRAY,colb VARCHAR>>字段，就是一个 Row类型的数组，其中这个Row类型包含两个VARCHAR字段，然后通过UDTF解析。{"data":[{"cola":"test1","colb":"test2"},{"cola":"test1",...
文档修订记录
新说明 Hologres中每次数据写入会生成一个数据文件，Compaction就是将多个数据文件合并成一个更大的数据文件，进行Compaction可以提高读写效率。本文为您介绍如何在Hologres中执行Full Compaction操作。Compaction（Beta）2023.10.17 新增...
2.3 门禁设备与手机蓝牙对接协议
4.自定义数据 厂商自定义数据，此处存放的是由时间加密因子计算出的 4 字节随机数，用于与双方约定的 16 字节固定密钥生成随机密钥，每次链接断开后都会更新 4 字节随机数。2.2.4 服务和特征值说明 蓝牙门口机作为从机（服务器），手机作为...
表操作篇
每天每张卡产生的消费记录数从总体上来讲是均匀的，每一个分区中的访问压力也应该是均匀的。以 CardID 作为表的分区键可以较好地利用预留读/写吞吐量资源。使用 SellerID 作为表的分区键 使用 SellerID 作为表的分区键不是一个好的选择。...
COPY
COPY TO 把一个表的内容复制 到 一个文件，而 COPY FROM 则从一个文件复制数据到一个表（把数据追加到表中原有数据）。COPY TO 也能复制一个 SELECT 查询的结果。如果指定了一个列列表，COPY TO 将只把指定列的数据复制到文件。对于 COPY ...
Tunnel SDK常见问题
对于同一个UploadSession，用一个BlockId打开RecordWriter，写入一批数据后，调用Close，写入成功后不可以再用该BlockId打开另一个RecordWriter写入数据。Block默认最多20000个，即取值范围为0~19999。Block大小是否存在限制？每次上传至...
DBMS_RANDOM
DBMS_RANDOM 包提供了可以产生随机值的方法。下表列出了 DBMS_RANDOM 包中可以使用的函数及存储过程。表 1.DBMS_RANDOM 函数/存储过程 函数/存储过程 返回类型 描述 INITIALIZE(val)N/A 使用指定的种子值初始化 DBMS_RANDOM 随机包。已弃用...
数据写入、更新、点查场景压测最佳实践
Hologres是兼容PostgreSQL协议的一站式实时数仓引擎，支持海量数据实时写入、实时更新、实时分析，既支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），又支持高并发低延迟的在线数据服务（Serving）。本文为您介绍Hologres在数据写入、...
开源Flink 1.11及以上版本实时写入
本文为您介绍开源Flink 1.11如何实时写入数据至Hologres。前提条件 开通Hologres实例，并连接开发工具，详情请参见 连接HoloWeb。搭建Flink集群（本次示例使用的是1.13版本），可以前往Flink官网下载二进制包，启动一个Standalone集群，...
行协议教程
例如，如果TSDB For InfluxDB®尝试将整数存储在与浮点数相同的shard中，那么将整数写入一个之前接受浮点数的field会失败：>INSERT weather,location=us-midwest temperature=82 1465839830100400200>INSERT weather,location=us-midwest ...
FTP数据源
对于数据同步而言，目前FTP Reader支持的功能如下所示：支持 不支持 支持且仅支持读取TXT的文件，并要求TXT中的schema为一张二维表。支持类CSV格式文件，自定义分隔符。支持多种类型数据读取（使用STRING表示）、支持列裁剪和列常量。支持...
自建Gitlab迁移
二、迁移准备 现在，你有一个自建的 Gitlab 服务，上面有若干个用户，以及若干代码库和已经设置好的代码库成员权限、保护分支规则，正在进行中的合并请求等数据。本工具可以帮助你进行如下数据的迁移：代码库 Git 数据 代码库的基本设置：...
概述
原始值：12345 脱敏值（随机）：28175 小数型（DECIMAL、FLOAT、DOUBLE）原始值：1.2345 脱敏值（随机）：8.2547 时间型（DATE、TIME、DATETIME、TIMESTAMP、YEAR）原始值：2021-01-01 00:00:00 脱敏值（随机）：4926-12-13 17:23:07 除...
队列（MessageQueue）
如果您在代码中自定义拼接队列名称并和其他操作进行绑定，一旦服务端版本升级，可能会出现队列名称无法解析的兼容性问题。使用建议 按照实际业务消耗设置队列数 云消息队列 RocketMQ 版 的应遵循少用够用原则，避免随意增加队列数量。主题...
实时数仓Hologres
本文为您介绍如何使用实时数仓Hologres连接器。背景信息 实时数仓Hologres 是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc）...
现代IM系统中的消息系统—实现
如上图所示，对于一个在线客户端，每个会话都会维护一个未读消息的计数（小红点），也会有一个总未读数的计数，这个数量一般会存储在客户端本地或者通过Redis持久化。未读消息是指通过同步库拉取并统计过，但是还未被用户点开的消息数量。...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
Elasticsearch数据源
Relational DB（实例）->Databases（数据库）->Tables（表）->Rows（一行数据）->Columns（一行数据的一列）Elasticsearch->Index->Types->Documents->Fields Elasticsearch中可以有多个索引或数据库，每个索引可以包括多个类型或表，每个...
UDF开发（Python2）
def evaluate(self,arg0,arg1):if None in(arg0,arg1):return None return arg0+arg1 使用限制 MaxCompute Python 2 UDF使用的Python版本为2.7，并以沙箱模式执行用户代码，即代码是在一个受限的运行环境中执行的。在该环境中，以下行为会...
HTTP API
文件中的多个查询必须用分号隔开。语法：curl-F"q=<path_to_file>"-F"async=true"https://<网络地址>:3242/query?u=<账号名称>&p=<密码>请求返回CSV格式的查询结果 语法：curl-H"Accept:application/csv"-G 'https://<网络地址>:3242/query...
Hologres管控台的监控指标
实例连接数 实例连接数包括实例的使用连接数（个）和FE节点连接数最高使用率（%），其中：实例连接数（个）：代表实例中已经使用的总SQL连接数，包括active、idle等各种状态的JDBC/PSQL等连接。FE节点连接数最高使用率（%）：代表使用率...
执行补数据并查看补数据实例（旧版）
代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码有关。本文为您介绍旧版补数据如何执行补数据操作并管理补数据实例。背景...
- 产品推荐
- 这些文档可能帮助您