数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
管理数据库资产
支持加密审计的数据库需满足以下条件：数据库类型为自建数据库MySQL 5.6 加密算法为AES256-SHA和AES128-SHA（单向认证）如果您的MySQL数据库满足上述条件并配置了SSL证书，您需要打开 使用SSL 开关，并在 SSL密钥 处上传数据库使用的证书，...
DataX Writer
在DataWorks上创建测试表并上传数据到MaxCompute数据源，详情请参见 建表并上传数据。创建StarRocks数据源。在DataWorks的 工作空间列表 页面，单击目标工作空间操作列的 数据集成。在左侧导航栏，单击 数据源。单击右上角的 新增数据源。...
复杂数据类型上传下载示例
本文为您介绍如何通过Tunnel SDK上传或下载复杂数据类型。MaxCompute支持ARRAY、MAP和STRUCT这3种复杂数据类型，具体用法请参见 数据类型版本说明。上传复杂类型数据 代码示例 RecordWriter recordWriter=uploadSession.openRecordWriter(0...
表设计最佳实践
使用MaxCompute Tunnel SDK上传数据时，如果创建了Session却没有上传数据，而是直接Commit，则会产生大量空目录（在服务侧等同于小文件）。使用MaxCompute客户端执行Tunnel命令上传时，将本地大文件切分过小会导致上传后产生大量小文件。...
外部表概述
您可以通过Tunnel直接上传数据到MaxCompute内部表，或者是通过OSS Python SDK上传到OSS后，在MaxCompute使用外部表做映射。您可以通过DataWorks配合MaxCompute对外部表进行可视化的创建、搜索、查询、配置、加工和分析。详情请参见 外部表...
创建并分享可视化作品
选择 本地上传，单击下图红框部分上传数据集后，单击 打开。等待上传成功后，单击 确定。设置 数据集名称 后，再次单击 确定。筛选数据集数据。在弹窗中单击 查看详情，进入数据详情页面。在数据列表中选择 游戏、年份、分类、发行商 和 ...
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
概述
物理日志备份 特点 物理日志备份通过实时并行上传数据库Redo日志文件到OSS来达到备份的目的。日志备份默认开启，最短保留时间为3天，最长保留时间为7300天。您也可以通过开启 删除集群前长期保留 功能长期保存。说明 日志备份默认开启，...
管理数据库资产
如果您已为要审计的数据库配置了证书，您需要在此参数处上传数据库正在使用的证书或私钥文件，否则数据库审计服务将无法审计该数据库加密后的访问流量。如果您的数据库未配置证书，则您无需配置该参数。您可以通过以下方式导入证书或私钥...
概述
物理日志备份 特点 物理日志备份通过实时并行上传数据库Redo日志文件到OSS来达到备份的目的。日志备份默认开启，最短保留时间为3天，最长保留时间为7300天。您也可以通过开启 删除集群前长期保留 功能长期保存。说明 日志备份默认开启，...
迁移服务（MMA）
步骤一：安装UDTF 使用MaxCompute迁移功能时，需要在Hive服务器上安装UDTF（Unified Data Transfer Service）并自定义Hive UDTF函数，利用Hive UDTF函数来获取、转换、上传数据到MaxCompute，以实现复杂数据的迁移。关于Hive UDTF详情，请...
PyODPS概述
需要注意的是，PyODPS提供了多种方便拉取数据到本地的操作，如tunnel下载操作、execute操作、to_pandas操作等，因此，很多初始使用PyODPS的用户会试图把数据拉取到本地，处理完成后再上传到 MaxCompute上，很多时候这种方式是十分低效的，...
创建同步任务
已准备好结果表 result_table，详情请参见 建表并上传数据。已创建虚拟节点（start）和ODPS SQL节点（insert_data，详情请参见 创建业务流程。背景信息 在DataWorks中，通常通过数据集成功能，定期导入系统中产生的业务数据至工作区。SQL...
将数据写入OSS
实现示例如下：示例：通过内置文本数据解析器将数据写入OSS-非分区路径 示例：通过内置文本数据解析器将数据写入OSS-分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
审计配置
SSL证书 如果已为要审计的数据库配置了证书，您需要在此参数处上传数据库正在使用的证书，否则 DSC 将无法审计该数据库加密后的访问流量。如果您的数据库未配置证书，则您无需配置该参数。以下是配置说明：单击目标资产 SSL证书 列的 导入...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
Tunnel操作
类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加模式导入。具备修改表权限（Alter）的用户。本文中的命令您需要在 MaxCompute客户端 执行。下载数据 将MaxCompute表数据或指定Instance的执行结果下载至...
后续指引
说明 相关文档 数据迁移 上传下载数据 MaxCompute提供Tunnel批量数据通道、Streaming Tunnel流式数据写入通道和DataHub实时数据通道三种数据上传下载的通道，同时还支持基于DataHub和Tunnel提供的SDK实现上传下载数据，满足多样化场景需求...
上传数据
未勾选，则首行数据上传。选择目标表字段与源字段的匹配方式，确认后单击 导入数据。您可以选择按位置匹配或按名称匹配两种方式来匹配待上传的数据与MaxCompute表字段的对应关系。完成后，界面提示数据导入成功，您即完成了从本地上传数据...
典型场景
文件上传：数据上传后，DLA元数据发现功能可自动发现并构建好元数据体系。数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。机器学习：DLA支持Spark，支持开源算法库。交互式分析：DLA提供Presto...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
通过Tunnel迁移日志数据至MaxCompute
执行如下命令将日志数据上传至MaxCompute。Tunnel u D:\loghub.csv loghub;上述命令中需要指定如下两个参数：D:\loghub.csv：本地日志数据文件存储路径。loghub：MaxCompute中存储日志数据的表名。说明 使用Tunnel数据不支持通配符或正则...
使用Copilot+增强分析实现一站式智能数据查询与可视化
在弹出的对话框中，您可看到数据上传的进度，关闭当前弹窗不会停止数据上传的进程。您也可单击 返回列表，查看此次数据上传的进度，也可发起新的数据上传。数据上传结束后，您可在弹窗中执行如下操作。查看上传任务的成功或失败状态，以及...
上传本地文件
单击 本地数据上传。在弹出对话框中，配置本地数据。参数 说明 文件格式 默认CSV格式。不可修改。列分隔符 可选：逗号、竖线、空格、制表符、自定义。选择 自定义 时，需输入一个可见字符。自定义存储表 选择当前实例下已创建的自定义存储...
数据传输服务概述
普通Tunnel可以对数据进行离线批操作，对数据进行上传与下载，包括单表数据上传下载和查询实例下载。流式操作。Stream Tunnel可以对流式数据做数据微批的方式写入表。产品架构 数据传输服务产品架构图如下，目前一个地域只有一个数据传输...
TableTunnel
TableTunnel接口实现流程 RecordWriter.write()将数据上传到临时目录的文件。RecordWriter.close()将相应的文件从临时目录移到数据目录。session.commit()将相应数据目录下的所有文件移到相应表所在目录，并更新表Meta，即数据进表。使数据...
Tunnel命令
支持文件的上传，每一次上传只支持数据上传到一张表或表的一个 分区。分区表一定要指定上传的分区，多级分区一定要指定到末级分区。将log.txt（在MaxCompute客户端的bin目录中）中的数据上传至项目空间test_project的表test_table（二级...
Tunnel命令
支持文件的上传，每一次上传只支持数据上传到一张表或表的一个 分区。分区表一定要指定上传的分区，多级分区一定要指定到末级分区。将log.txt（在MaxCompute客户端的bin目录中）中的数据上传至项目空间test_project的表test_table（二级...
概述
HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹 用于存放并...
使用说明
支持文件的上传，每一次上传只支持数据上传到一张表或表的一个 分区。分区表一定要指定上传的分区，多级分区一定要指定到末级分区。更多信息请参见 Upload。Download：下载MaxCompute表或指定Instance执行结果至本地。只支持下载到单个文件...
HDFS与ClickHouse间的数据导入与导出
说明 本文示例是将示例数据上传到了HDFS集群的根目录下。代码中的 192.168.*.*为HDFS集群的core-1-1节点的内网IP地址，您可以在EMR控制台的 节点管理 页签查看。执行以下命令将数据导入product.orders_all表中。INSERT INTO product.orders...
创建数据集
选择数据库类型，当前支持 MySQL数据库、AnalyticDB MySQL 数据库、AnalyticDB PostgreSQL数据库、Hologres数据库和MaxCompute数据库。以MySQL数据库为例，输入 数据库连接名称，数据库配置参数 和 数据库登录信息。为保证数据连接成功，请...
API概览
UpsertCollectionData 上传向量数据 上传向量数据到指定的向量集中。QueryCollectionData 召回向量数据 召回向量数据。DeleteCollectionData 删除向量数据 删除向量数据。创建实例 API 标题 API概述 CreateDBInstance 创建实例 创建...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
通过上传本地数据新建数据集
上传本地文件的方式导入业务所需的数据集，以便在模型画布中编辑业务模型时使用导入的数据集。本文介绍如何通过上传本地数据新建数据集。前提条件 已创建云计算资源作为存储数据源，具体操作，请参见 新建计算资源。已准备好待上传的数据表...
背景信息及准备工作
建议目录为：workshop_sh/trade 和 workshop_sh/user 上传文件 下载 模拟数据，将交易记录和开户信息数据分别上传到trade、user目录。在DLA中完成以下准备工作 开通云原生数据湖分析服务。重置数据库密码。在Quick BI中完成以下准备工作 ...
- 产品推荐
- 这些文档可能帮助您