冷热分层
Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作。通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会...
对象存储OSS使用Java实现签名Header上传的示例
概述 对象存储OSS SDK提供了集成签名、上传和下载的SDK，但实际使用中，有时需要使用API的方式实现在签名的情况下进行上传和下载，本文以PutObject接口为例，提供了Java语言实现的示例。说明：建议优先使用OSS提供SDK，本文提供的只是签名...
HLS标准加密
业务方调用阿里云密钥管理服务（KMS）生成数据密钥（DK）和信封数据密钥（EDK），然后利用数据密钥（DK）加密视频，并将加密后的文件和信封数据密钥（EDK）存储。播放器终端通过解密服务获取数据密钥（DK）请求解密播放视频。说明 HLS加密...
公共请求头
x-acs-security-token 字符串 否 使用STS临时身份发送数据。当使用STS临时身份时必填，其他情况不要填写。说明 请求中Date所表示的时间与服务器接收到该请求的时间最大可接受误差为15分钟，如果超过15分钟服务器端会拒绝该请求。如果请求中...
通过HTTP上报监控数据
215614AA47799058C009D3E20B19B83A Content-Type String 发送端发送的实体数据的数据类型。只支持 application/json。application/json Date String HTTP请求中的标准时间头（遵循RFC 1123格式，使用GMT标准时间）。示例：Mon,3 Jan 2010 ...
HLS标准加密
业务方调用阿里云密钥管理服务（KMS）生成数据密钥（DK）和信封数据密钥（EDK），然后利用数据密钥（DK）加密视频，并将加密后的文件和信封数据密钥（EDK）存储。播放器终端通过解密服务获取数据密钥（DK）请求解密播放视频。如果您需要对...
自定义函数（邀测中）
数据发送和返回的数据格式 数据发送的格式 {"rowCount":3,"compressed":true,"data":[[1,"a","2023-08-22 11:30:00"],[2,"b","2023-08-22 12:30:00"],[3,"c",null]]} JSON数据结构说明：rowCount：数据的行数。compressed：传输的数据是否...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
使用MNS服务端订阅
当需要对设备数据进行复杂或精细化处理，且单个产品下所有设备的消息量小于1,000 QPS时，可将物联网平台设备消息发送至消息服务MNS消费。配置MNS服务端订阅产品和消息类型完成创建MNS队列，MNS客户端可通过监听MNS队列，接收设备消息。本文...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
MySQL分库分表同步至Hologres（方案1.0）
本文以MySQL分库分表实时写入Hologres场景为例，为您介绍如何通过数据集成同步分库分表数据至Hologres。前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
2021年
新功能 MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。MaxCompute湖仓一体概述 2021年2...
公众号管理
重要 微信公众号采集依赖于微信平台定制的规则，比较重要的内容总结如下，若您需要采集此类事件前，请详细阅读（点击可查看 微信官方说明）：微信公众号事件是由微信定义、生成和发送的，开发者仅为订阅这些数据，无法进行自定义。...
常见问题
如何在Java代码中使用CSB SDK发送POST请求？请参见 SDK 使用说明。下一个问题中也有示例代码可以参考。将后端HSF/Dubbo服务发布为RESTful服务时，HSF/Dubbo入参是必须要在CSB控制台上配置的吗？是的。HSF/Dubbo的入参顺序和类型，必须在CSB...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
签名机制
}/*发送POST请求*/public static String sendPost(String url,String body,String ak_id,String ak_secret){ PrintWriter out=null;BufferedReader in=null;String result=";try { URL realUrl=new URL(url);http header 参数*/String ...
水印使用限制
数据源嵌入水印时有以下使用限制。哪些数据源适合嵌入水印？数据安全中心支持静态脱敏的数据源，均支持嵌入水印。支持静态脱敏的数据源类型，请参见 支持的数据类型。对待嵌入水印的源数据有什么要求？由于嵌入水印的原理是将水印原子信息...
01新建模型目录
DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有后期分析的数据基础。具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据...
查看ECI实例监控指标
内存相关指标计算方式如下：内存利用率=WorkingSet/（WorkingSet+AvailableBytes）网络指标计算方式 调用openAPI接口可以获取的网络原始数据如下：名称 类型 示例值 描述 TxBytes Long 1381805699 累计发送字节数。RxBytes Long 505001954 ...
创建数仓分层
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
前言
本文档基于OSS Java SDK 3...AppendObjectSample.java 追加上传 UploadSample.java 断点续传上传 MultipartUploadSample.java 分片上传 CallbackSample.java 上传回调 SimpleGetObjectSample.java 下载文件 DownloadSample.java 断点续传下载 ...
Java SDK
本文介绍如何使用智能语音交互一句话识别的Java SDK，包括SDK的安装方法及SDK代码示例等。注意事项 在使用SDK前，请先阅读接口说明，详情请参见 接口说明。从2.1.0版本开始，原有 nls-sdk-short-asr 更名为 nls-sdk-recognizer，升级时需...
物联网平台通信方式概述
设备发送数据到物联网平台 设备接入物联网平台后，便可与物联网平台进行通信。设备可通过以下方式发送数据到物联网平台：使用自定义Topic发送自定义格式的数据。在物联网平台上，为产品自定义 操作权限 为 发布 的Topic类。产品的Topic类会...
内置的安全审计规则
数据库探测 获取数据库版本（DB2语法）中 数据库探测 获取当前用户_SESSION用户（DB2语法）中 数据库探测 探测数据库版本 低 数据库探测 探测登录用户 低 数据库探测 探测数据库名称 低 数据库探测 探测系统版本 低 数据泄露 操作类别 操作...
Hudi数据源
本文介绍 云数据库 SelectDB 版 与Hudi数据源进行对接使用的流程，帮助您对Hudi数据源进行联邦分析。注意事项 Hudi表支持的查询类型如下。表类型 支持的查询类型 Copy On Write Snapshot Query+Time Travel Merge On Read Snapshot Queries...
API调用示例
本文提供RPA 服务端API的Python语言调用示例与Java语言调用示例。配置访问凭证 重要 调用接口前，需要配置环境变量，通过环境变量读取访问凭证。关于配置环境变量的操作，机器人流程自动化的AccessKey ID和AccessKey Secret的环境变量名：...
使用Aliyun Log Java Producer写入日志数据
本文介绍日志服务Aliyun Log Java Producer类库的使用方法。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
调度设计文档
节点ID 节点名称 用途 数据输入表 数据产出表 调度周期 320170257 workshop_start 虚拟节点，用于管理下游节点 Null Null 日 320170260 MySQL数据同步 拉取MySQL数据源数据 ods_user_info_d ods_user_info_d 日 320170260 FTP数据同步 拉取...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
预测函数
该示例重点关注 NOAA_water_database 数据集的如下数据：SELECT"water_level"FROM"NOAA_water_database"."autogen"."h2o_feet"WHERE"location"='santa_monica' AND time>='2015-08-22 22:12:00' AND time步骤一：匹配原始数据的趋势 编写...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
- 产品推荐
- 这些文档可能帮助您