配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
创建Sap Table数据源
创建Sap Table数据源用于实现Dataphin通过RFC读取Sap Table的数据。本文为您介绍如何创建Sap Table数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部...
创建Sap Table数据源
创建Sap Table数据源用于实现Dataphin通过RFC读取Sap Table的数据。本文为您介绍如何创建Sap Table数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部...
TableInBatchGetRowRequest
在BatchGetRow操作中，TableInBatchGetRowRequest表示要读取的一个表的请求信息。数据结构 message TableInBatchGetRowRequest { required string table_name=1;repeated bytes primary_key=2;Plainbuffer编码 repeated bytes token=3;...
常见问题
primary key：在读取数据的时候因为有内存中的索引和delete vector，不需要做merge操作，所以count操作比uniq key和agg模型会快些。如果有更新操作，建议使用该模型。如何减少/mnt/disk1/starrocks/storage/trash/目录磁盘占用？mnt/disk1/...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
概述
用户在创建数据同步时，DataHub会自动为该同步任务绑定SubscriptionId用于记录从DataHub读取数据的读取点位（非同步点位），该SubscriptionId请用户不要操作。目前只有DataHub topic的Owner/Creator账号才具备创建connector（数据同步）的...
只读副本概述
而是作为一个观察者实时追赶 Paxos 成员的日志，并在本地回放，在业务对读取数据的一致性要求不高的时候可提供只读服务。关于 Paxos 的更多介绍，可以参考 Paxos 协议。在代理层面，用户创建只读副本访问地址后，通过对代理服务的设置，...
DataCheckConfigure参数说明
fullCheckMaxReadRps Integer 每秒读取数据的最大行数，取值为0~9007199254740991的整数。说明 取值为0时表示不做限制。fullCheckMaxReadBps Integer 每秒读取的最大数据量（Byte），取值为0~9007199254740991的整数。说明 取值为0时表示不...
配置同步任务
选择读取数据的编码方式。Dataphin支持选择的 编码方式 包括 UTF-8、GBK、ISO-8859-1 和 系统默认。筛选条件 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。当数据同步来源端...
存储监控
InnoDB读写 MySQL_InnoDBDataReadWriten 实例存储节点中InnoDB平均每秒钟读取的数据量和InnoDB平均每秒钟写入的数据量，单位为KB。缓存请求次数 MySQL_InnoDBLogRequests 实例存储节点平均每秒向InnoDB缓冲池的读次数和平均每秒向InnoDB...
配额与限制
为确保 云原生多模数据库 Lindorm 实例的正常运行，在使用之前，请您仔细阅读以下内容。通用限制 说明 通用限制同时适用于Lindorm单机版和Lindorm集群版。Lindorm单机版在通用限制之上对数据请求和对象还有额外限制，具体内容，请参见 ...
0006-00000106
问题原因 您通过PostObject请求上传文件时，由于网络环境或网络配置等原因导致服务端读取Post表单超时。问题示例 无 解决方案 参考网络超时处理方法排查并解决PostObject请求上传超时的问题。更多信息，请参见 网络超时处理。相关文档 ...
CreateAccount-创建账号
取值如下：0：允许进行读取、写入和更改设置的查询 1：仅允许进行读取数据的查询。2：允许进行读取数据和更改设置的查询。0 DdlAuthority boolean 否 是否授予数据库账号 DDL 权限，取值说明：true：允许 DDL。false：禁止 DDL。true ...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
配置DataHub输入
DatahubStream Reader插件通过DataHub SDK实时读取DataHub数据的功能。背景信息 插件启动后一直运行，等待源端DataHub有数据后进行读取。DatahubStream Reader插件有以下两个功能：实时读取。根据DataHub Shard个数并发读取。操作步骤 进入...
SELECT
PREWHERE子句与WHERE子句作用相似，不同之处在于表数据的读取。使用PREWHERE时，首先只读取PREWHERE表达式需要的列，然后再根据PREWHERE的执行结果读取其他列。如果过滤条件中有少量不适合索引过滤的列，但是这些过滤条件又有较强的过滤...
附录：消息格式
背景信息 同步整库数据至kafka任务，是将从上游数据源读取的数据，按照下面描述的JSON格式写入到Kafka的topic。消息总体格式包括变更记录的列信息、以及数据变更前后的状态信息等。为确保消费Kafka中数据时能够准确判断同步任务进度，同步...
使用Presto访问
说明 本文中Presto是通过连接Hive的元数据服务来读取文件存储HDFS上的数据，在文件引擎上使用Presto时需要额外配置一些依赖包，详细操作步骤请参见 配置Presto。准备工作 搭建和使用Presto读写文件引擎，需要先完成以下准备工作。开通文件...
使用数据镜像保护尚未写入完整的数据
数据镜像的读取性能与先前非镜像数据的读取性能完全保持一致。说明 数据更新完成后，可将数据正式同步生效，供应用正常连接读取最新数据。通过阿里云提供的数据镜像操作命令，可实现数据自动同步生效（秒级别同步）。数据同步期间不影响...
PAI-TF数据IO方式介绍
在PAI通过OP的方式读取数据的代码如下。import argparse import tensorflow as tf import os FLAGS=None def main(_):dirname=os.path.join(FLAGS.buckets,"csvtest.csv")reader=tf.TextLineReader()filename_queue=tf.train.string_input_...
产品计费
数据安全中心DSC（Data Security Center）采用包年包月（预付费）的计费方式。本文介绍 DSC 的计费情况。新用户7天免费试用 数据安全中心支持7天免费试用企业版（含全部功能）。阿里云账号和RAM用户均可申请免费试用，且申请时需要使用中文...
MongoDB（公测中）
sink.buffer-flush.interval 写入数据的刷新间隔。Duration 否 1s 无。sink.delivery-guarantee 写入数据时的语义保证。String 否 at-least-once 可选的取值包括：none at-least-once 说明 目前不支持exactly-once。sink.max-retries 写入...
数据输入输出
processed_df.to_odps_table("test_processed_odps_table")如果表为分区表，read_odps_table 方法会读取所有分区的数据，因此如果存在多个分区，您可以通过 partitions 参数读取部分的分区数据：df=md.read_odps_table("parted_odps_table...
DataWorks数据服务对接DataV最佳实践
无需每个API都设置AppKey和AppSecret认证信息，且支持通过表单填写API参数，操作快捷方便并安全可靠。通过数据服务，您可以将MaxCompute中加工好的数据结果，直接在DataV中进行呈现，实现数据开发-数据服务-数据分析展现的全链路开发。在...
2021年
专有网络连接管理产品化发布后，您可以通过MaxCompute控制台的 网络资源 功能界面自行增加或删除专有网络连接，无需通过表单申请并等待审批，提升开发效率。在配置前，您需先了解 网络资源 管理相关的管理权限，有权限的账号方可进行操作。...
HTTP
args description client_data 用户字段指针 content_disposition 待添加的内容地址 content_type 内容类型 name 名称的地址 data 表单数据地址 data_len 表单数据长度 添加文件表单数据 int httpclient_formdata_addfile(httpclient_data_...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
配置回调通知
关于回调数据的结构描述，请参见 回调通知表单数据。表 1.回调通知表单数据 名称 类型 描述 checksum String 总和校验码，由<阿里云账号ID>+<seed>+拼成字符串，通过SHA256算法生成。其中，阿里云账号ID可以在 阿里云控制台 上查询。说明 ...
数据集成
功能介绍 功能描述 相关文档 数据集成离线同步，通过读取插件与写入插件实现数据的读取与写入，并且支持在DataWorks新建数据源，通过数据源名称决定同步数据的来源与去向。支持的数据源与读写插件 离线同步能力说明 在DataWorks新建数据源...
版本及存储引擎
原生时间序列平台 通过原生支持整个时间序列数据的生命周期（从采集、存储、查询、实时分析和可视化，到在线归档或随着数据老化自动失效），使构建和运行时间序列应用程序的速度更快、成本更低。随着MongoDB 5.0的发布，MongoDB扩展了通用...
一键实时同步至Kafka
这样即使源端没有读取到新数据，Kafka中最新数据的时间信息也会持续更新，您可以根据Kafka中读取到的最新数据的时间判断实时同步的进度。源端update变更对应一条Kafka记录 定义当源端进行update操作时，是否同步update源表数据。勾选后，源...
配置并管理实时同步任务
这样即使源端没有读取到新数据，Kafka中最新数据的时间信息也会持续更新，您可以根据Kafka中读取到的最新数据的时间判断实时同步的进度。心跳记录具体格式请参考 附录：消息格式。源端update变更对应一条Kafka记录 定义当源端进行update...
检测攻击类型说明和防护建议
任意文件读取 对于网站提供的文件下载和读取功能，如果是直接通过绝对路径或目录穿越符对文件进行读取和下载，没有相关文件路径的限制，那么，攻击者就可以利用这种方式获取敏感信息，对服务器进行攻击。请检查文件读取操作是否正常。如果...
从Kafka同步数据
kafka_skip_broken_messages 否 Kafka消息解析器对于脏数据的容忍度，默认值为0。如果 kafka_skip_broken_messages=N，则引擎将跳过N条无法解析的Kafka消息（一条消息等于一行数据）。kafka_commit_every_batch 否 执行Kafka Commit的频率...
背景信息以及准备工作
背景信息 Data Lake Analytics（简称DLA）作为云上数据处理的枢纽，支持通过标准JDBC对RDS、Table Store、OSS中的数据进行查询和分析。您还可以在DLA中创建 云数据库 Redis 版（简称Redis）的数据库连接（映射数据库），然后通过MySQL客户...
方案实现
表格存储消息（Timeline）模型是针对消息数据场景所设计的，能够满足消息数据场景对消息保序、海量消息存储、实时同步的业务需求，同时支持全文检索与多维度组合查询。更多信息，请参见 模型介绍。一个Timeline模型存储有若干Timeline，...
功能更新动态（2024年）
通过表映射创建离线视图 通过SQL加工创建离线视图 通过表单加工创建离线视图 标签资产市场概述 创建及管理标签离线服务任务 分析平台 Notebook和SQL查询支持访问MySQL、Oracle数据库中的数据；支持运行SQL脚本。SQL查询概述 Notebook概述 ...
文档更新动态（2024年）
更新说明 通过表映射创建离线视图 通过SQL加工创建离线视图 通过表单加工创建离线视图 标签资产市场概述 创建及管理标签离线服务任务 分析平台-基于分析平台创建SQL查询/基于分析平台创建NoteBook Notebook和SQL查询支持访问MySQL、Oracle...
- 产品推荐
- 这些文档可能帮助您