如何优化数据全量抽取
本文主要介绍在应用内通过代码高效抽取数据的方法，根据是否一次性读取全量数据，分为全量抽取和分页查询。全量抽取场景 全量抽取使用的SQL通常不包含表的拆分键，以全表扫描的方式执行，随着读取数据量的增加，数据抽取操作的执行时间线性...
最佳实践：表管理OpenAPI基础实践
DataWorks提供了丰富的OpenAPI，您可以根据需要使用DataWorks的OpenAPI等开放能力实现各种业务场景。本文以元数据表管理为例，为您介绍如何串连元数据的OpenAPI来达成查询列表、查询表详情、血缘图展示与创建表等操作。背景信息 在进行本...
任务拆分和执行
拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 chunk（一批待处理数据的索引集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的数据，...
Spark的数据写入至Hologres
本文为您介绍如何通过Spark读取或写入数据至Hologres的操作方法。背景信息 Spark是用于大规模数据处理的统一分析引擎，Hologres已经与Spark（社区版以及EMR Spark版）高效打通，快速助力企业搭建数据仓库。Hologres提供的Spark Connector，...
WorkQueue
以下分别以文件数据源和MaxCompute表数据源为例，介绍如何使用 pai.data.WorkQueue 类实现弹性数据切分（仅提供核心代码片段）：文件数据源 import pai#.#path1、path2及path3表示需要读取的文件列表。shuffle取值为True，表示每个Epoch都...
RestAPI Reader最佳实践
数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...
读取优化
Result[]re=table.get(List<Get>gets)大scan缓存是否设置合理 scan一次性需求从服务端返回大量的数据，客户端发起一次请求，服务端会分多批次返回客户端，这样的设计是避免一次性传输较多的数据给服务端及客户端有较大的压力。目前数据会...
电子罗盘
数据校准 原始数据采样 通过前文中实现的 int qmc5883l_readRaw(int16_t x,int16_t y,int16_t*z)函数，我们可以实现对器件在各个方向上的采样，由于我们主要关心 X，Y 轴的数据，因此我们需要将器件在水平面上遍历各个方向并读取数据。数据...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
Spark-2.x示例
从MaxCompute中读取数据写入HBase 通过IntelliJ IDEA工具编写代码，实现从MaxCompute中读取数据写入HBase。代码示例 object McToHbase { def main(args:Array[String]){ val spark=SparkSession.builder().appName("spark_sql_ddl").config...
Java库管理
从而加载自己想要依赖的第三方资源 NoteBook在启动前只能加载一次，如需更新spark.conf，需要重启NoteBook，所以请一次性加载好所需依赖 不同NoteBook作业间不会共享使用spark.conf引入的依赖，在开发中推荐使用spark.conf的方式。...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
Java SDK
访问阿里云OpenAPI时，如果在代码中硬编码明文AK，容易因代码仓库权限管理不当造成AK泄露。Alibaba Cloud Credentials是阿里云为阿里云开发者用户提供的身份凭证管理工具。配置了Credentials默认凭据链后，访问阿里云OpenAPI时，您无需在...
规划器使用的统计信息
[RECORD 1]--k|1 2 5 nd|{"1,2":33178,"1,5":33178,"2,5":27435,"1,2,5":33178}(1 row)这表示有三种列组合有 33178 个可区分值：ZIP 代码和州、ZIP 代码和城市、ZIP 代码+城市+周（事实上对于表中给定的一个唯一的 ZIP 代码，它们本来就...
排序和翻页
使用场景 分类 使用方式 功能 使用场景 排序 创建时指定排序方式 IndexSort（索引预排序）多元索引默认按照设置的索引预排序（IndexSort）方式进行排序，用于确定数据的默认返回顺序。查询时指定排序方式 ScoreSort（分数排序）按照查询...
风险识别规则响应案例
DataWorks通过OpenEvent能力为您提供消息订阅能力，您可以将服务程序注册为DataWorks的扩展程序，通过扩展程序来捕捉并响应订阅的事件消息，以此实现对特定事件进行消息通知与流程管控。本文以“实时阻断或审批超过1000条数据的下载行为”...
Java UDAF
UDAF代码结构 您可以通过IntelliJ IDEA（Maven）或 MaxCompute Studio 工具使用Java语言编写UDAF代码，代码中需要包含如下信息：Java包（Package）：可选。您可以将定义的Java类打包，为后续查找和使用类提供方便。继承UDAF类：必选。必须...
SDK端接入
在 gradle 文件中引入以下需要的库依赖：implementation(name:'lib-verify-xxx-release',ext:'aar')implementation(name:'SecurityGuardSDK-external-release-5.4.121',ext:'aar')implementation(name:'SecurityBodySDK-external-release-5...
2020年
2020-12 功能名称 功能描述 发布时间 发布区域 相关文档 流式数据写入服务（Streaming Tunnel）开始公测 MaxCompute Streaming Tunnel服务，支持通过API方式实现流式数据无感知高QPS写入MaxCompute。2020-12-28 所有区域 流式数据通道概述 ...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
元数据仓库共享模型（Hadoop）
data_domain_level5_id bigint comment '五级数据域ID',data_domain_level5_name string comment '五级数据域名称',data_domain_level5_abbreviation string comment '五级数据域缩写',data_domain_level5_name_cn string comment '五级...
元数据仓库共享模型（MaxCompute）
data_domain_level5_id bigint comment '五级数据域ID',data_domain_level5_name string comment '五级数据域名称',data_domain_level5_abbreviation string comment '五级数据域缩写',data_domain_level5_name_cn string comment '五级...
简介
只读实例可以满足大量的数据库读取需求，增加应用的吞吐量，实现读取能力的弹性扩展，分担数据库压力。使用场景 数据库有少量写请求，但有大量读请求。总览 GDB创建只读实例时会利用云盘快照功能，发起最新的数据快照，数据与主实例一致，...
GetMetaTableBasicInfo
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetMetaTableBasicInfo 系统规定参数。取值：GetMetaTableBasicInfo。TableGuid String 是 odps.engine_name.table_name...
PAI-TF数据IO方式介绍
oss:PutObject 上传文件或文件夹对象 oss:GetObject 获取文件或文件夹对象 oss:ListObjects 查询文件列表信息 oss:DeleteObjects 删除对象 TensorFlow读取OSS数据的方法：低效的IO方式 本地执行TensorFlow代码和分布式云端执行TensorFlow的...
Paimon外部表
MaxCompute支持通过创建Paimon外部表来与存储在OSS上的Paimon表目录建立映射关系，并访问其中的数据。本文将介绍如何创建Paimon外部表并通过MaxCompute访问Paimon外部表。背景信息 Apache Paimon是一种流批一体的湖存储格式，具备高吞吐的...
概述
为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，增加应用的吞吐量。读写分离：读写分离功能是在只读实例的基础上，额外提供了一个读写分离地址，联动主实例及其所有...
什么是RDS MySQL
为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，增加应用的吞吐量。读写分离：读写分离功能是在只读实例的基础上，额外提供了一个读写分离地址，联动主实例及其所有...
什么是RDS SQL Server
为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，增加应用的吞吐量。读写分离：创建只读实例后，您可以开通只读地址，然后在应用程序中配置主实例地址和只读地址，可以...
读取OSS数据
在成功创建了OSS外部表后，您可以访问和查询存储在OSS指定目录下的数据文件，实现高效的数据读取操作。背景信息 完成OSS外部表创建后，您可以根据需要选择如下方式之一对OSS外部表进行操作：（推荐）方式一：将OSS的开源格式数据导入...
外部表常见问题
本文为您介绍外部表的常见问题。问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时...相比每次从Tablestore远程读取数据，更高效快速的方法是先一次性把需要的数据导入到MaxCompute内部，转为MaxCompute内部表，再进行查询。
分页显示查询分析结果
在分页读取时，不停地增大offset的值，直到读取到某个offset值后，获取的结果行数为0，并且结果的progress为complete状态，则表示读取了所有数据。分页的示例代码逻辑 offset=0#从第0行开始读取。line=100#每次读取100行。query="status:...
计算引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm 会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm计算引擎的版本更新说明。查看计算引擎版本 进入SparkUI界面。如何进入，请参见 进入SparkUI界面。单击 ...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？...目前DLF支持与阿里云E-MapReduce产品组合实现Spark数据的读取，详细请参考：EMR+DLF数据湖解决方案，暂不支持与自建Hadoop/Spark集群的集成。
数据导出到OSS概述
实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，方便您通过定义来源与去向数据源并结合DataWorks调度参数使用，将来源数据源中的全量或增量...
7.数据加载
针对 Data 类型，需要配合实现的代码就是调用 PageContext 的 changeChildContextData API，不传递 data 参数。警告 特别注意这里是不传递 data 参数。import React,{ PropsWithChildren } from 'react';import api,{ PropsWithPageContext...
分析外部OSS上的数据
本文介绍了使用列存索引功能查询OSS上的外表数据的技术原理和使用方法等内容。背景信息 业务存续期间，随着时间的推移，数据的规模不断增加导致存储成本上升。用户在应对激烈的市场竞争时，业务逻辑也在不断地发生变化，对应计算分析的复杂...
使用OSS加速器
随着AI、数据仓库、大数据分析等业务发展，越来越多运行在OSS上的业务对于数据的访问延迟和吞吐量有了更高的要求。OSS推出加速器功能，可以将OSS中的热点文件（Object）缓存在NVMe SSD高性能存储介质上，提供毫秒级低延迟和高吞吐量的数据...
强一致分布式事务
因查询操作的数据涉及多个分区，PolarDB-X 首先会获取中心授时确定读取版本，读取过程中会对每行数据的MVCC多版本进行可见性判断，确保只会读取在全局时间戳之前已完成提交的事务。例如转账事务在多个数据节点的提交有先后时间差，已提交的...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
- 产品推荐
- 这些文档可能帮助您