读取数据
表格存储 提供了单行读取、批量读取、范围读取、迭代读取和并行读取的查询方式用于读取数据表中数据。数据写入到数据表后，您可以选择所需数据查询方式进行数据读取。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore...
读取数据
重要 如果未记录自增主键列的值，您可以使用范围读取数据按照第一个主键列确定范围读取数据。读取单行数据 调用 GetRow 接口读取一行数据。适用于能确定完整主键且要读取行数较少的场景。读取单行数据时，您可以配置如下条件过滤所需数据。...
如何优化数据全量抽取
简介 数据抽取是指通过代码或者数据导出工具，从 PolarDB-X 中批量读取数据的操作。主要包括以下场景：通过数据导出工具将数据全量抽取到下游系统。PolarDB-X 支持多种数据导出工具，更多内容请参考 数据导入导出。在应用内处理数据或者...
分页显示查询分析结果
} } 分析结果分页 您可以使用SQL中的Limit语法实现分析结果分析显示，示例如下所示：limit Offset,Line 参数说明如下所示：offset：指定从某一行开始读取分析结果。line：指定当前请求读取的行数，最大值为1,000,000。如果一次读取太多，会...
任务拆分和执行
读取数据服务需要实现接口 IReader：public interface IReader<T>{/*读取数据*@param context*@return*/LoadData<T>read(ClusterJobExecuteContext context)throws Exception;} LoadData 对象数据结构如下：public class LoadData<T>...
读取数据
表格存储提供了单行读取、批量读取和范围读取的查询方式用于读取数据表中数据。当要读取单行数据或者批量读取表中数据时，您必须指定行的完整主键；当要范围读取表中数据时，您需要指定完整主键范围或者主键前缀。读取数据时支持配置返回...
Tablestore数据源
表格存储Tablestore是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，Tablestore数据源为您提供读取和写入Tablestore双向通道的功能，本文为您介绍DataWorks的Tablestore数据同步的能力支持情况。使用限制 Tablestore Reader和Writer...
概述
配置DTS数据迁移节点 离线数据集成 用于数据迁移、数据传输等场景，实现数据源之间的数据同步。配置离线数据集成节点 数据加工 单实例SQL 将SQL语句发放到指定的关系型数据库上并执行。说明 如果目标实例已开启无锁结构变更，单实例SQL任务...
设置透明数据加密TDE
经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的不法之徒将不允许访问明文数据。PolarDB PostgreSQL版 TDE加密使用的密钥...
设置透明数据加密TDE
经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的不法之徒将不允许访问明文数据。PolarDB PostgreSQL版（兼容Oracle）TDE...
深度解析PolarDB数据库并行查询技术
传统的优化器只能生成串行的执行计划，为了实现并行读取数据，同时并行处理数据，首先必须对现有的优化器进行改造，让优化器可以生成需要的并行计划。例如，选择哪个表或哪些表可以并行读取，并且通过并行读取会带来足够的收益；或者哪些...
Quick BI v4.6.1版本说明
发布日期 2023年5月9日 重点升级概览 电子表格功能大升级 专业版 支持自由式单元格，可拖入数据集字段并设置多种聚合、明细模式，轻松搭建复杂报表。专业版 支持卡片视图，快速制作分栏报表以及可视化分析报告中的指标卡。专业版 支持分页...
RestAPI Reader最佳实践
背景信息 DataWorks数据集成RestAPI Reader在读取数据和返回读取结果的能力如下。维度 能力支持 返回值类型 当前仅支持JSON格式的返回结果。读取数据类型 支持读取INT、BOOLEAN、DATE、DOUBLE、FLOAT、LONG、STRING数据类型。请求方式 支持...
WorkQueue
同时，以文件数据源和MaxCompute表数据源为例，介绍实现数据切分的经典示例。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。背景...
分页
本文介绍分页全量选择时各配置项的含义。图表样式 分页是高级控件组件的一种，支持自定义设置分页页码的基础设置样式和高级功能样式，可自定义选择并跳转展示多个页面内容。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
MaxCompute数据源
parameter":{"partition":[],/读取数据所在的分区。isCompress":false,/是否压缩。datasource":"",/数据源。column":[/源头表的列信息。id"],"emptyAsNull":true,"table":""/表名。},"name":"Reader","category":"reader"},{"stepType...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
PolarDB Serverless实现了哪些突破
在国际数据库顶级会议2021 ACM SIGMOD上，一篇标题为《PolarDB Serverless:A Cloud Native Database for Disaggregated Data Centers》的论文，介绍了阿里云自研数据库 PolarDB 基于计算存储分离，实现的最新Serverless技术架构研究进展。...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
离线同步常见问题
读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直...
装饰条
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
RDS(SQL Server)
spark/从oss读取数据到spark的rdd import org.apache.spark.sql.types.{LongType,StringType,StructField,StructType} import org.apache.spark.sql.{Row,SQLContext}/从oss地址读取文本文档（注意oss文件在账号下上传到对应目录）val text...
数字输入框
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
DataWorks数据服务对接DataV最佳实践
通过数据服务，您可以将MaxCompute中加工好的数据结果，直接在DataV中进行呈现，实现数据开发-数据服务-数据分析展现的全链路开发。在开发过程中，请注意以下事项：DataWorks数据服务向导模式生成API仅支持单表简单条件查询，脚本模式支持...
DescribePropertyProcItem-获取进程信息列表
1 PageSize integer 否 分页查询时，显示的每页数据的最大条数。10 返回参数 名称 类型 描述 示例值 object RequestId string 结果的请求 ID。BD8AD4C6-A169-4FA3-BA1F-ED40ED52973B PageInfo object 页面显示信息。CurrentPage integer ...
输入框
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
LOCK
语法 LOCK TABLE name[,.]IN lockmode MODE[NOWAIT]其中，lockmode 是以下项之一：ROW SHARE|ROW EXCLUSIVE|SHARE|SHARE ROW EXCLUSIVE|EXCLUSIVE 说明 LOCK TABLE 可获得表级别的锁定，必要时等待释放所有冲突的锁定。如果指定 NOWAIT，则...
DescribePropertyPortItem-获取所有端口信息
1 PageSize integer 否 分页查询时，显示的每页数据的最大条数。5 返回参数 名称 类型 描述 示例值 object RequestId string 结果的请求 ID。7E0618A9-D5EF-4220-9471-C42B5E92719F PageInfo object 页面显示信息。CurrentPage integer ...
2023年
2023-02-01 全部地域 使用标签分账 2023-01 功能名称 功能描述 发布时间 发布地域 相关文档 支持Hologres外部表存储直读 支持Hologres存储直读，直读Hologres存数据时可以减少Hologres的连接数和提高读取数据的速度。2023-01-21 全部地域 ...
ListEntitiesByTags
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListEntitiesByTags 系统规定参数。取值：ListEntitiesByTags。EntityType String 是 maxcompute-table 实体的类型。...
DescribePropertyUserItem-获取资产的账号信息
1 PageSize integer 否 分页查询时，每页显示数据的最大条数。2 返回参数 名称 类型 描述 示例值 object RequestId string 阿里云为该请求生成的唯一标识符。76068BE2-F9C4-4EDD-967B-F503B8CCDD3D PageInfo object 页面显示信息。...
通用标题
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
DescribeVulWhitelist-分页查询漏洞白名单
分页查询漏洞白名单。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用...
文档修订记录
绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。开发前准备：绑定数据源或集群 2023.12.29 新增功能 数据源 为给您带来更统一的产品使用体验，DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for ...
7.数据加载
如何实现数据上下文 在确定数据容器的类型后，数据上下文应该是什么样就已经确定了，但是需要组件配合才能实现。如果不是容器组件，数据容器的类型仅有 Data、List-Data 两种，不需要特别处理。如果是容器组件，数据容器的类型仅有 Data、...
光照信息屏
本实验的主要结果是通过I2C总线控制光强度传感器AP3216C对环境光强度及物体接近情况进行测量并获取环境光强度及是否有物体靠近，然后通过OLED显示屏将读取到的光强度、接近程度、红外信息显示在HaaS EDU K1的屏幕上。HaaS EDU K1搭载了丰富...
版本说明
修复读取数据类型和写入类型不一致的问题；修复写入速率监控和磁盘监控数据错误的问题。V2.2.7 2018年7月6日 新特性 发布新版本 SDK，支持多值的数据写入、查询和分析。V2.2.4 2018年5月24日 新特性 支持 string 和 boolean 类型数据的写入...
- 产品推荐
- 这些文档可能帮助您