MapReduce
Reduce Worker收到数据后依赖Key值再次对数据排序。Reduce阶段：每个Reduce Worker对数据进行处理时，采用与Combiner相同的逻辑，将Key值（Word值）相同的Count累加，得到输出结果。输出结果数据。说明 由于MaxCompute的所有数据都被存放在...
数据迁移与同步FAQ
数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可停止该任务，属于一次性任务。数据同步：将Redis数据库中的数据（即键值对）实时同步至另一个Redis数据库中。通常会持续运行该任务，用于保持源...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对键值进行取余散列，其散列效果可能会比较差。但如果通过RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了0x01、0x02、0x03和0x04，这样的散列效果就会比较...
SQL窗口介绍
键值（key-value）对信息 说明 NoSQL数据库将会显示键值对信息。备份数据 RDS MySQL实例支持历史备份数据查询功能，可以在DMS控制台查询全量备份时间点的数据。② 扩展功能区域 支持的功能如下：（申请数据Owner、变更管控）：单击此图标可...
实时数据订阅概述
每次对Lindorm表格的数据执行增删改操作时，数据订阅都会生成一个Stream Record键值对，键值对的键是这一行数据的主键，值是此次操作的详细信息（操作前的值，操作后的值，时间戳，操作类型）。开通模式 开通 云原生多模数据库 Lindorm ...
Binlog日志服务
当需要对某行数据进行分区键值变更时，需在采用TSO事务策略的分布式事务内进行，才能保证delete事件在binlog中的位置早于insert事件，从而保证数据一致。具体来讲，首先需要采用TSO事务策略，然后按如下任意一种进行操作都可以实现分区键...
代码智能推荐
用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：柱状图）。单击右侧配置面板中的 数据源。在 数据源 配置...
StorageDescriptor
API 解释 org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat Parameters object 键值对的映射数组 string 键值对 key SerDeInfo SerDeInfo 序列化/反序列化信息 SkewedInfo SkewedInfo 一个字段中的大量重复值（数据倾斜）的...
StorageDescriptor
string 键值对 key SerDeInfo SerDeInfo 序列化/反序列化信息 SkewedInfo SkewedInfo 一个字段中的大量重复值（数据倾斜）的设定 SortCols array 排序字段设定 Order 排序字段 StoredAsSubDirectories boolean 表数据是否存储在子目录中 ...
Beam排序优化（7.0版）
Beam组合排序键和多维排序键查询效果对比 以下是对数据量1 TB的SSB Benchmark中 lineorder_flat Beam表分别建立的组合排序键和多维排序键后，对比不同场景筛选条件下的查询效果，其中排序键为 LO_ORDERDATE 和 P_BRAND。筛选条件 组合排序...
C100售前支持相关问题
数据库审计C100实例通过对数据库全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为数据库资产做好安全监控保障。数据库全行为追溯：对RDS云数据库、ECS自建数据库、线下数据库的全量行为审计，有效实现数据库访问行为全追溯...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
索引优化
尤其是结合排序键对数据聚集，可以达到用很小的索引达到很惊艳的索引加速效果。考虑对经常进行join操作的列建索引：在执行join时使用索引可能会有更好的执行计划。对于经常做限定条件查询的列建索引：对于经常更在WHERE后面做限定条件的列...
查看资源用量大盘
②最近30天使用增量项目 按照最近1个月每个项目使用的数据处理单元增加（即最近1天统计的值减去1个月之前的统计值）对项目进行排行，整数说明使用的单元数据有所增加，负数说明使用的单元数有所减少。为您展示消耗增量最多的10个项目。点击...
UDF示例：获取字符串（不含分隔符）Value
} }/*使用split对键值对进行分割，将分割后的结果缓存到keyValueCache中*@param keyValueCache 分割后的键值对缓存*@param keyValue 待分割的键值对*@param split 分割符*/private void storeKeyValue(Map,String>keyValueCache,String ...
排序优化
如何选择排序键 当您的查询SQL的等值条件或范围条件经常包含几个固定列，可以考虑将这些列作为排序键，从而利用数据排序结合粗糙索引，加速这类SQL的查询速度。一般情况下应该考虑使用组合排序。当您的查询SQL包含的过滤条件不是固定的列，...
节点编程差异对比
画布中添加的转换器 升级为 串行数据处理节点 逻辑节点。升级后将转换器名称保留在节点名称中。左侧图层列表 升级为 导入节点 栏，并且只展示已在 画布编辑器 中被导出到蓝图编辑器的图层。已导出的图层在后期如果取消导出后会标注红色️...
UDF示例：获取字符串（含分隔符）Value
string UDF_EXTRACT_KEY_VALUE_WITH_SPLIT(string,string,string,string)函数功能：在键值对字符串 s 中使用 split1 分割出键值对后，再根据 split2 分割键值对获得键和值，最后返回键 keyname 对应的值。与 获取键值对字符串中指定Key的...
SDK多值写入
本文通过示例代码指导您使用多值模型写入数据。详细示例请参见 Aliyun TSDB SDK for Java 中的 test/example/SampleOfMultiField和test/TestHiTSDBClientMultiFieldFeatures。注意：多值模型仅在0.2.0版本及以上的SDK支持。关于最新SDK版本...
SDK多值写入
本文通过示例代码指导您使用多值模型写入数据。详细示例请参见 Aliyun TSDB SDK for Java 中的 test/example/ExampleOfMultiField和test/com.aliyun.hitsdb.client/TestHiTSDBClientMultiFieldFeatures 。说明 多值模型仅在0.2.0版本及以上...
列存表使用排序键和粗糙集索引加速查询
如何选择排序键和排序方式 当您的查询SQL经常包含某一个列或者某几个列的等值或者范围限定条件查询时，比如时间列等，可以考虑使用这些列作为排序键，从而利用数据排序并结合粗糙索引，加速这类SQL的查询速度。一般情况下建议使用组合排序...
单元测试报告
代码值分布检查 从业务逻辑考量字段值的分布情况是否合理。可累加值与不可累加值检查 检查可累加值和不可累加值的处理逻辑正确性，如：计算客户数总计时需要做去重处理，金额则可以累加。单元测试用例记录 序号 用例大类 测试要点 表 字段 ...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
调用其他接口
示例代码 查询 Tag 名称为”tagk1”，值为”tagv1”开头的 10 个 Tag 键值对：List< TagResult >dumpMeta=tsdb.dumpMeta("tagk1","tagv1",10);System.out.println("查询结果："+dumpMeta);DeleteData 删除一段时间的数据。示例代码 删除 ...
基本概念
Tile在Lindorm（HBase）中以Key-Value（键值对）的形成进行存储。每个Tile的Key是由图层名、层级、时间（SpaceTimeKey）、行号、列号等属性构成。目前Lindorm（HBase）Ganos Raster提供了两种Key模型：SpatialKey：空间主键 SpatialKey采用...
数据重排
salutation char(10),c_first_name char(20),c_last_name char(30),c_preferred_cust_flag char(1),c_birth_day bigint,c_birth_month bigint,c_birth_year bigint,c_birth_country varchar(20),c_login char(13),c_email_address char(50)...
排序加速计算
ORDER BY加速 排序加速前（未排序）排序加速后 GROUP BY加速 排序加速前（未排序）排序加速后 JOIN加速 排序加速前（未排序）排序加速后 说明 JOIN排序加速需要关闭ORCA功能，打开mergejoin功能，语句如下：SET enable_mergejoin TO on;...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
数据源插件说明
目前系统提供了若干的数据处理插件可以实现一些简单的数据转化操作，在配置数据源字段对应关系（API方式上传数据的暂不支持，需要用户推送前处理好）可以选择使用。一张OpenSearch表可以支持多个RDS及Polardb来源表（如分库分表的场景），...
UNI_HASH
说明 按照键值或者哈希值取余时，不会对键值会哈希值进行截取。分库和分表都使用同一个拆分键进行UNI_HASH时，先根据分库键键值按分库数取余，再均匀散布到该分库的各个分表上。注意事项 UNI_HASH算法是简单取模，要求拆分列的值的自身分布...
数据源插件说明
目前系统提供了若干的数据处理插件可以实现一些简单的数据转化操作，在配置数据源字段对应关系（API方式上传数据的暂不支持，需要用户推送前处理好）可以选择使用。一张OpenSearch表可以支持多个RDS及Polardb来源表（如分库分表的场景），...
智能合约Java API
账本数据操作 方法名称 说明 public byte[]getState(String key)获取指定键对应的值 public void putState(String key,byte[]value)在账本中添加或者更新一对键值 public void delState(String key)在账本中删除一对键值 public byte[]...
CREATE TABLE
当聚集索引键涉及多个列时，数据会先根据第一个列的值排序，在第一个列的值相同时，按第二个列的值进行次级排序。所以 CLUSTERED KEY index(id,name)与 CLUSTERED KEY index(name,id)是不同的聚集索引。如果字段值较长，例如长达十几KB或几...
HASH
描述 若分库和分表使用不同拆分键进行HASH时，则根据分库键的键值直接按分库数取余。如果键值是字符串，则字符串会先被换算成哈希值再进行路由计算。例如HASH(8)等价于8%D（D是分库数目）,而HASH("ABC")等价于hashcode("ABC").abs()%D（D是...
创建数据流
说明 除 数据输入 和 数据输出 外，其他任务类型均可作为数据处理节点。在左侧 任务类型 列表中，拖拽 数据过滤 节点到画布的空白区域。将鼠标放在 数据输入 节点上，单击节点右侧出现的空心圆点并拉出连接线，连接至 数据过滤 节点上。...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
设置列索引的排序键
列存索引数据排序与DDL排序的区别 列存索引数据排序的本质是按照指定键组合进行排序，类似于其他普通二级索引DDL排序过程，但两者也有不同之处，具体区别如下：列存索引排序不使用索引列作为排序键，而是可以指定任意组合的排序键。...
HASH
使用限制 拆分键的数据类型必须是整数类型或字符串类型。路由方式 若分库和分表使用不同拆分键进行HASH时，则根据分库键的键值直接按分库数取余。如果键值是字符串，则字符串会先被换算成哈希值再进行路由计算。例如 HASH(8)等价于 8%D（D...
- 产品推荐
- 这些文档可能帮助您