按使用功能计费模式计费项
无 外网读取流量 从日志服务公网域名所在接口拉取数据时，会产生外网读取流量（按照压缩后的数据量计算）。按量付费：外网读取流量费用=日累计外网读取流量×每GB单价 资源包：新版资源包（预付计划2.0），换算成资源额度（CU）进行抵扣。...
按写入数据量计费模式计费项
无 外网读取流量 从日志服务公网域名所在接口拉取数据时，会产生外网读取流量（按照压缩后的数据量计算）。按量付费：外网读取流量费用=日累计外网读取流量×每GB单价 新版 资源包-预付计划 2.0（推荐）：换算成资源额度（CU）进行抵扣。无
数据投递仪表盘
总览指标 总览指标信息如下所示：读Logstore流量总计：从源Logstore的各个Shard中读取到的日志条数。投递成功行数总计：从源Logstore的各个Shard中读取日志后，投递到目标云产品成功的日志条数。投递失败行数总计：从源Logstore的各个Shard...
查询诊断
输入行数 该算子从下层算子或磁盘中读取的数据行数。执行占用内存 算子执行占用内存。说明 查询分析中只统计Sort、Hash、Hash Aggregate三个算子占用的内存，其它算子因占用内存较少而忽略。执行耗时 算子执行耗时。磁盘读取数据量 算子从...
创建和管理流日志
被访问控制允许的流量：捕获指定资源被安全组规则和网络ACL规则允许的流量。被访问控制拒绝的流量：捕获指定资源被安全组规则和网络ACL规则拒绝的流量。项目（Project）选择管理捕获流量的项目（Project）的类型：选择现有Project：从已有...
透明数据加密概述
通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取...
常见问题（FAQ）
是的，您可以使用结构化流直接将数据写入Delta表并从Delta表中读取。Delta Lake是否支持使用Spark Streaming DStream API进行写入或读取？Delta不支持DStream API。我们建议进行表流读取和写入。使用Delta Lake时，是否可以轻松地将代码...
管理数据集合
读取数据 以下代码示例展示了适用于不同场景的数据读取方法：从集合中读取所有数据。例如，查询所有图片：mpserverless.db.collection('images').find();根据查询条件从集合中读取指定数据。例如，查询特定用户添加的图片：mpserverless.db...
Alibaba Cloud Linux 3系统的NFS文件系统读取文件性能...
问题描述 问题表现 在Alibaba Cloud Linux 3系统的NFS文件系统中读取文件时性能不符合预期，典型表现如下：使用read、copy_file_range等系统调用从NFS文件系统中读取大文件时，耗时较久。使用 dd 命令从NFS挂载点的文件中读取数据时，...
设置透明数据加密TDE
背景信息 TDE通过在数据库层执行静止数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户...
功能特性
FTP：从 FTP 系统中读取文件的配置，需要您输入 FTP 服务器访问信息。DB：从 DB 中读取数据的配置，需要您输入数据库访问配置信息，建议使用备库来进行核对。离线：离线数据仓库访问的配置信息。数据源管理 您可以在产品中添加多种不同类型...
设置透明数据加密TDE
背景信息 TDE通过在数据库层执行静止数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户...
WorkQueue
reader=tf.TextLineReader()#从文件列表中读取2条记录。keys,values=reader.read_up_to(work_queue.input_producer(),num_records=2)with tf.train.MonitoredTrainingSession()as sess:sess.run(.)MaxCompute表数据源 TableRecordDataset...
HBase数据源
配置格式如下所示："range":{"startRowkey":"aaa","endRowkey":"ccc","isBinaryRowkey":false } 否 无 scanCacheSize HBase Reader每次从HBase中读取的行数。否 256 scanBatchSize HBase Reader每次从HBase中读取的列数。否 100 HBase ...
Spark的数据写入至Hologres
Spark支持从其他数据源中读取数据写入Hologres中，例如使用Spark从Hive中读取数据，代码如下。import org.apache.spark.{SparkConf,SparkContext} import org.apache.spark.sql.hive.HiveContext val sparkConf=new SparkConf()val sc=new ...
TableRecordDataset
执行Session时调用 get_next()方法，从表中读取128行数据，并根据 record_defaults 指定的类型将每列数据解析为对应类型的Tensor。其中 get_next()返回的 output_types 需要与 record_defaults 的参数类型相同，output_shapes 的Tensor ...
管理MaxCompute投递任务（新版）
图表名称 说明 读成功条数 从源Logstore中读取成功的日志条数。读失败条数 从源Logstore中读取失败的日志条数。读公网流量（MB）通过公网读取数据的流量。写成功条数 投递到MaxCompute成功的日志条数。写失败条数 投递到MaxCompute失败的...
消息队列Kafka
例如，当WITH参数中定义了多个topic时，如果在Kafka源表中定义了元信息列，那么Flink读取到的数据就会被标识是从哪个topic中读取的数据。元信息列的使用示例如下。CREATE TABLE kafka_source(-读取消息所属的topic作为`record_topic`字段 `...
创建流日志
您可以在云企业网控制台上创建流日志实例，将转发路由器之间的跨地域流量信息或边界路由器VBR连接的流量信息投递到日志服务中。本文介绍创建流日志实例的操作步骤及相关操作。前提条件 如果您需要捕获跨地域连接的流量信息，请确保已经创建...
管理OSS投递任务（新版）
图表名称 说明 读成功条数 从源Logstore中读取成功的日志条数。读失败条数 从源Logstore中读取失败的日志条数。读公网流量（MB）目前不支持公网，因此数据为0。写成功条数 投递到目标OSS Bucket成功的日志条数。写失败条数 投递到目标OSS ...
配置流日志
dstport 目的端口 protocol 协议类型 packets 数据包数量 bytes 数据包大小 start 捕捉窗口开始时间 end 捕捉窗口结束时间 direction VBR连接流量的方向 in：表示流量从云下去往云上的方向。out：表示流量从云上去往云下的方向。计费说明 ...
读数据表
用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源，支持的数据源类型...
防盗链
您可以使用Go SDK在OSS中配置基于请求标头Referer的访问规则，包括白名单Referer、黑名单Referer以及是否允许空Referer等，阻止某些Referer访问您的OSS文件，防止其他网站盗用您的文件，并避免由此引起的不必要的流量费用增加。注意事项 在...
CreateFlowlog-创建流日志
接口说明 流日志可以帮您捕获转发路由器之间的跨地域流量信息和边界路由器 VBR（Virtual border router）连接的流量信息，在创建流日志前，请先了解以下说明：仅企业版转发路由器支持创建流日志。当前仅部分地域的流日志功能支持捕获 VBR ...
接入Go应用
AHAS支持的YAML配置项如下：说明 若通过 InitAhasFromFile(path)初始化AHAS，则会从path指定的YAML文件中读取配置项。若通过 InitAhasDefault()初始化AHAS，则会尝试从SENTINEL_CONFIG_FILE_PATH环境变量读取path并读取对应的文件。若未...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
请求者付费模式
请求者付费模式是指由请求者支付读取存储空间（Bucket）内数据时产生的流量费用和请求费用，而Bucket拥有者仅支付存储费用。当您希望共享数据，但又不希望产生流量费用和请求费用时，您可以开启此功能。注意事项 本文以华东1（杭州）外网...
DescribeFlowlogs-查询流日志
tr-attach-5x4o4ynzuqbv6g*Interval long 流日志捕获流量的捕获窗口时长。单位：秒。取值：60 或 600。默认值：600。60 Tags object[]标签列表。Key string 标签键。TagKey Value string 标签值。TagValue 示例 正常返回示例 JSON 格式 {...
实时消费概述
计费规则 若涉及的Logstore的计费模式为按写入数据量计费模式，实时消费将不产生费用，仅从日志服务公网域名所在接口拉取数据时，会产生外网读取流量（按照压缩后的数据量计算）。具体内容，可参见 按写入数据量计费模式计费项。若涉及的...
过滤VPC流日志公网流量
每条日志会捕获特定捕获窗口中的特定五元组网络流量，捕获窗口大约为10分钟，该段时间内流日志功能先聚合数据，再发布日志。如果您选择为VPC或交换机创建流日志，则会捕获VPC和交换机中所有弹性网卡的流量，包括开启流日志功能后新建的弹性...
CreateTrafficMarkingPolicy-创建流量标记策略
流量标记策略通过流分类规则捕获符合规则的流量，捕获后，您可以为流量添加DSCP（Differentiated Services Code Point）值作为标记。您可以通过调用CreateTrafficMarkingPolicy创建流量标记策略。接口说明 仅企业版转发路由器支持创建流量...
阿里云Elasticsearch数据采集解决方案
Beats有多种风格，可以收集不同类型的数据：Filebeat Filebeat支持从文件形式的数据源中读取、预处理和传输数据。虽然大多数用户使用Filebeat来读取日志文件，但它也支持非二进制文件格式。Filebeat还支持多种其他数据源，包括TCP/UDP、...
高级管理FAQ
当您使用安全服务（例如云安全中心的防勒索服务）扫描通用型NAS低频存储或归档存储中的文件时，安全服务会读取目标文件中的数据，文件存储NAS将收取低频存储或归档存储访问流量费用。更多信息，请参见 通用型NAS计费。创建经典网络挂载点时...
步骤三：创建实时计算表
现在我们需要创建一个订单表对应的实时元表，可以从订单表中读取增量数据。步骤一：创建 oms_orders订单来源元表 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建表 对话框。在 新建表 页面，配置相关参数。参数 描述...
步骤三：创建实时计算表
现在我们需要创建一个订单表对应的实时元表，可以从订单表中读取增量数据。步骤一：创建 oms_orders订单来源元表 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建表 对话框。在 新建表 页面，配置相关参数。参数 描述...
数据缓存
ReadFromFileCacheBytes 从缓存文件中读取的数据量。ReadTotalBytes 总共读取的数据量。SkipCacheBytes 创建缓存文件失败，或者缓存文件被删，需要再次从远程读取的数据量。WriteInFileCacheBytes 保存到缓存文件中的数据量。...
CreateCloudBenchTasks-创建压测任务
smart pressure test：生成压测，通过分析和学习短时间内在源实例上捕获的流量，生成和原始流量的业务模型和流量分布基本一致的流量进行持续压测，减少从源实例采集数据的时间，降低存储成本和性能开销。pressure test SrcInstanceId ...
迁移指南
对于分区中有许多文件的大型表，这可能比从Parquet表加载单个分区（使用直接分区路径或WHERE）要快得多，因为在目录中列出文件通常比从事务日志中读取文件列表慢。将现有应用程序移植到Delta Lake时，应避免执行以下操作，这些操作会绕过...
DescribeCloudBenchTasks-查询压测任务列表
smart pressure test：生成压测，通过分析和学习短时间内在源实例上捕获的流量，生成和原始流量的业务模型和流量分布基本一致的流量进行持续压测，减少从源实例采集数据的时间，降低存储成本和性能开销。pressure test StartTime string 否...
高级配置：内存缓存本地目录
eascmdwin64.exe create服务部署成功后，可以直接从本地目录的内存缓存中读取模型文件，以提高模型读取、模型切换和扩缩容场景的效率。有关加速效果的更多详细说明，请参见 加速效果。加速效果 以Stable Diffusion场景为例，模型切换场景的...
- 产品推荐
- 这些文档可能帮助您