使用clickhouse-client导入数据
当您需要将本地文件的数据导入到云数据库ClickHouse时，本文将指导您如何通过clickhouse-client工具进行数据导入，以帮助您快速的完成数据导入。注意事项 支持导入到 云数据库ClickHouse 的常见文件格式为TabSeparated、...
通过流引擎实现地理围栏监控
场景说明 通过流引擎的流数据存储和实时计算能力，结合Ganos时空引擎技术，对车辆的点位数据进行地理围栏（指定的路径数据）监控判断。在地理围栏监控场景中，根据业务需求提前将地理围栏数据记录在Lindorm宽表中（图中的route_table表）。...
计费常见问题
本地数据迁移至 文件存储 HDFS 版 本地数据迁移至 文件存储 HDFS 版 时，需要配置ECS作为中转节点从公网访问阿里云 文件存储 HDFS 版。弹性公网IP对入方向流量不收费，仅对出方向流量收费。即从公网上传数据到 文件存储 HDFS 版 不会收取...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
配置数据传输中转节点
使用新购ECS作为数据传输中转节点 上传下载文件数据需要占用ECS公网带宽，建议您新购一台ECS实例专门负责文件数据的上传与下载，避免占用业务带宽。新购ECS挂载NAS文件系统有以下限制：镜像：仅支持ECS官方自营镜像配置自动挂载NAS。如果...
后续操作
修改限流 数据迁移过程中，您可以根据您的实际情况随时修改限流参数。登录 数据在线迁移控制台。在顶部菜单栏，选择任务所在的地域。在左侧导航栏，选择 在线迁移服务>迁移任务。在迁移任务列表中，单击对应任务的 管理，进入任务详情页面...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
Parquet
Parquet是Apache开源项目Hadoop支持的一种列存储文件格式，同一份数据以ORC格式和Parquet格式存储时，其数据扫描性能要优于普通文本CSV格式。本文介绍如何在DLA中为Parquet类型的文件创建表。前提条件 请参见文档 文件格式转换，准备...
ORC
ORC（Optimized Row Columnar）是Apache开源项目Hive支持的一种经过优化的列存储文件格式，与CSV文件相比，ORC文件不仅节省存储空间，而且数据查询性能更高。本文介绍如何在DLA中为ORC类型的文件创建表。前提条件 请参见文档 文件格式转换...
堆表结构
结构 说明 table files 表文件，由一个或多个数据文件组成，文件数量与文件大小有关，超过1 GB就会生成一个新的数据文件。file 数据文件，由多个数据块组成。page 数据块，由多个数据行组成。page header 数据块头，详细信息请参见 数据...
DataHub数据源
topic":"",/Topic是DataHub订阅和发布的最小单位，您可以用Topic来表示一类或者一种流数据。maxRetryCount":500,/任务失败的重试的最多次数。maxCommitSize":1048576/待积累的数据Buffer大小达到maxCommitSize大小（单位Byte）时，批量...
常见问题
information_schema.file_storage 展示文件数据源配置信息，包含文件数据源读锁、写锁的持有情况。示例如下：select URI,ENGINE,ROLE,READ_LOCK_COUNT,WRITE_LOCK_COUNT from information_schema.file_storage where ENGINE='OSS';...
受众基本功能
输入受众名称和备注信息，设置受众是否公开，选择用户ID类型、数据将保存到的数据源、受众保存的文件夹、关联的子活动，上传CSV或TXT文件。文件模板可单击 获取上传模板 获取。说明 用户ID类型支持OneID、UnionID、手机号码、电子邮箱、...
实时数据订阅概述
云原生多模数据库 Lindorm 支持实时数据订阅功能，实时数据订阅功能帮助您获取Lindorm的实时增量数据，您可以根据自身业务需求自由消费增量数据，搭建或实现多种业务场景。背景信息 云原生多模数据库 Lindorm 数据订阅功能支持任何一个表的...
上传数据
DataWorks支持将本地的CSV文件或部分文本文件数据直接上传至MaxCompute表中，本文为您介绍操作步骤详情。前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可...
基于OSS外表的单表多文件查询
一般情况下，OSS外表存储的数据是冷数据，数据量比较大，当单个CSV格式的数据文件过大时，对其进行查询会非常耗时。因此 PolarDB 支持单表多文件查询功能，您可以将单个OSS外表的数据文件拆分为多个小的数据文件，以加快查询速度。本文介绍...
导出结构和数据
创建导出任务时，如果您指定 数据格式 为 SQL 格式，那文件包中的结构定义文件是以 对象名-schema.sql 命名的 SQL 文本，数据文件是以 对象名.sql 命名的 SQL 文本，其中对象名与数据库实际对象名保持一致。如果您指定 数据格式 为 CSV ...
概述
保存成本较低，但使用二级备份恢复数据的速度较慢。开启二级备份后，若一级备份超出您设置的保留时间，将会被自动转存为二级备份，转存速度约为150 MB/秒。说明 若一级备份未能在下一个一级备份开始转存前完成，则下一个一级备份将会被直接...
通过元数据发现导入至湖仓版
企业的业务服务所产生的一些标准化表单、日志等数据文件，会被周期性地上传到OSS。但是这些存储在OSS的数据文件缺少元数据管理，导致数据难以分析和计算。AnalyticDB MySQL 元数据发现任务具备自动映射OSS路径、自动对OSS文件分组、自动...
高级管理
在页面右上方单击 修改，可修改数据保存时间。修改完成后单击 保存。导出日志数据 开启SQL日志审计 后，单击原始日志页签右侧的日志下载图标，打开日志下载对话框。在日志下载对话框中选中 下载日志，单击 确定，以CSV格式将本页面的日志...
通过外表导入至数仓版
本文介绍如何通过外表查询OSS数据文件，并将OSS中的数据文件导入 AnalyticDB MySQL 数仓版（3.0）。目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台...
导入接口介绍
您可以发送请求至<gdb-endpoint>:<port>/loader 终端，实现将数据文件从OSS的Bucket中导入至图数据库GDB实例，还可以查看任务状态和删除导入任务。本文介绍添加导入任务（POST）、查看导入任务状态（GET）和删除导入任务（DELETE）的应用...
管理数据流动
在进行CPFS Fileset与OSS Bucket之间的数据流动之前，需要确保已经创建对应的数据流动。本文介绍如何在CPFS控制台创建并管理数据流动。前提条件 已创建CPFS Fileset。更多信息，请参见 创建Fileset。源端OSS Bucket已设置标签（key:cpfs-...
功能特性
OSS数据源 一键入湖 通过DLA控制台配置数据源（RDS数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表...
数据缓存
原始数据文件会根据访问的IO大小切分为Block，Block被存储到本地文件 cache_path/hash(filepath).substr(0,3)/hash(filepath)/offset 中，并在BE节点中保存Block的元信息。当访问相同的远程数据时，SelectDB会检查本地缓存中是否存在该文件...
使用OSS Foreign Table进行数据湖分析
OSS FDW支持多种格式的数据文件，适用不同的业务场景，具体文件格式如下：支持访问CSV、TEXT、JSON、JSONLINE格式的非压缩文本文件。支持访问CSV、TEXT格式的GZIP压缩、标准SNAPPY压缩文本文件。支持访问JSON、JSONLINE格式的GZIP压缩文本...
OSS数据源
元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张或多张表），具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。OSS数据源配置模式 OSS数据...
常见问题
但您可以参照以下操作，重新购买一个目标文件系统，将旧文件系统中的数据迁移至新文件系统并切换应用到新的文件系统。购买目标存储类型的文件系统。具体操作，请参见 创建文件系统。将源文件系统中的数据迁移至目标文件系统中。您可以通过...
使用DataWorks（离线与实时）
MaxCompute支持通过DataWorks的 数据集成 功能将其他数据源的数据以离线或实时方式导入MaxCompute，也支持将部分类型的本地文件数据导入MaxCompute。本文为您介绍使用DataWorks将数据导入MaxCompute的主要操作流程与注意事项。前提条件 已...
概述
AnalyticDB MySQL Spark全密态计算引擎是首批通过信通院隐私计算可信执行环境《产品性能》和《安全功能》两项认证的产品，它可以加密敏感数据，避免数据泄露。您可以通过本文，了解Spark全密态计算引擎在安全合规等领域的应用场景、功能...
概述
背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。Flink（VVR）完全兼容开源Flink，相关内容请...
概述
保存成本较低，但使用二级备份恢复数据的速度较慢。开启二级备份后，若一级备份超出您设置的保留时间，将会被自动转存为二级备份。二级备份支持同地域备份和跨地域备份，详情请参见 同地域备份和跨地域备份。二级备份支持 稀疏备份 功能。...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
导入数据并查询
本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB for MySQL 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB for MySQL 数据的目录。开通OSS服务。详情请参见 开通OSS服务。...
建表并上传数据
如果您需要上传超过30MB的文件，则可以使用如下方式：将数据文件上传至OSS，使用MaxCompute外部表映射的方式获取OSS中相应的文件数据。上传数据至OSS，详情请参见 上传文件，MaxCompute外部表映射，详情请参见 外部表。将数据文件上传至OSS...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
功能优势
为了让您对非结构化数据拥有更多的自主控制权，您可以把非结构化数据保存在OSS或者图片服务器上（下图使用OSS），非结构化数据的保存地址即URL存储在分析型数据库MySQL版中，整体架构如下所示。通过分析型数据库MySQL版控制台注册特征提取...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
- 产品推荐
- 这些文档可能帮助您