MaxCompute表数据
如果目标用户需要上传数据，则可授权 空间管理员 权限，详情请参见 全局级模块权限控制。仅支持上传.xlsx（Excel 2007版本）格式的文件，您也可以 下载模板文件。智能建模生成的模型表不支持此功能。下载 单击后，直接下载当前表的字段信息...
全量备份数据上云（SQL Server 2008 R2云盘、2012及...
以本地文件为例，说明如何通过File.length()获取上传数据的大小。final File sampleFile=new File(filePath);long fileLength=sampleFile.length();int partCount=(int)(fileLength/partSize);if(fileLength%partSize!0){ partCount+;}/遍...
使用curl命令导入数据文件
已将数据文件上传至Bucket中，上传方法请参见 使用OSS控制台上传数据文件 或 使用ossutil工具上传数据文件。操作步骤 在客户端执行如下命令，将存储至对象存储OSS的Bucket中的数据文件导入至图数据库GDB实例。curl-i-u<username>:...
SQL周期性采集
说明 通过创建 周期性采集项目，上传数据文件，系统则会为您进行SQL信息自动合并与分析。详情操作请参见 分析信息。采集信息 下载采集器。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移（ADAM）>迁移实验...
表设计最佳实践
使用MaxCompute Tunnel SDK上传数据时，如果创建了Session却没有上传数据，而是直接Commit，则会产生大量空目录（在服务侧等同于小文件）。使用MaxCompute客户端执行Tunnel命令上传时，将本地大文件切分过小会导致上传后产生大量小文件。...
外部表概述
您可以通过Tunnel直接上传数据到MaxCompute内部表，或者是通过OSS Python SDK上传到OSS后，在MaxCompute使用外部表做映射。您可以通过DataWorks配合MaxCompute对外部表进行可视化的创建、搜索、查询、配置、加工和分析。详情请参见 外部表...
基于OSS外表的单表多文件查询
上传数据文件。文件拆分后，您需要手动将所有的CSV文件上传到OSS上的同一路径下。此处以使用ossutil命令行工具批量上传CSV文件为例，关于ossutil命令行工具更多内容请参见 ossutil。ossutil64 cp localfolder/oss:/examplebucket/desfolder...
使用GdbLoader脚本导入数据文件
已将数据文件上传至Bucket中，上传方法请参见 使用OSS控制台上传数据文件 或 使用ossutil工具上传数据文件。已在客户端安装Python，具体请参见 安装Python。操作步骤 在客户端下载并安装GdbLoader.py工具。执行如下命令，下载图数据库GDB...
创建并分享可视化作品
选择 本地上传，单击下图红框部分上传数据集后，单击 打开。等待上传成功后，单击 确定。设置 数据集名称 后，再次单击 确定。筛选数据集数据。在弹窗中单击 查看详情，进入数据详情页面。在数据列表中选择 游戏、年份、分类、发行商 和 ...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
SQL Server实例级别迁移上云
以本地文件为例，说明如何通过File.length()获取上传数据的大小。final File sampleFile=new File(filePath);long fileLength=sampleFile.length();int partCount=(int)(fileLength/partSize);if(fileLength%partSize!0){ partCount+;}/遍...
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
迁移服务（MMA）
步骤一：安装UDTF 使用MaxCompute迁移功能时，需要在Hive服务器上安装UDTF（Unified Data Transfer Service）并自定义Hive UDTF函数，利用Hive UDTF函数来获取、转换、上传数据到MaxCompute，以实现复杂数据的迁移。关于Hive UDTF详情，请...
功能特性
功能集 功能 功能描述 参考文档 上传数据 Tunnel（离线）MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载。Tunnel（离线）Kafka（离线与实时）支持将消息队列Kafka版数据导入MaxCompute。...
项目编辑器页面管理
如果此处无待添加的数据，请参见 上传数据 章节上传所需数据文件。在映射字段属性页面，单击属性下拉框，选择映射数据样例中某个已有的字段内容，配置映射属性字段，完成后单击 下一步 即可进入预览数据页面。在预览数据页面查看数据解析...
项目编辑器页面管理
如果此处无待添加的数据，请参见 上传数据 章节上传所需数据文件。在映射字段属性页面，单击属性下拉框，选择映射数据样例中某个已有的字段内容，配置映射属性字段，完成后单击 下一步 即可进入预览数据页面。在预览数据页面查看数据解析...
概述
物理日志备份 特点 物理日志备份通过实时并行上传数据库Redo日志文件到OSS来达到备份的目的。日志备份默认开启，最短保留时间为3天，最长保留时间为7300天。您也可以通过开启 删除集群前长期保留 功能长期保存。说明 日志备份默认开启，...
支持的数据源及同步方案
Lindorm数据源-LogHub（SLS）数据源-MaxCompute数据源-MariaDB数据源-Maxgraph数据源-Memcache（OCS）数据源-MetaQ数据源-MongoDB数据源-MySQL数据源-OpenSearch数据源-Oracle数据源-OSS数据源-OSS-HDFS数据源-PolarDB数据源-PolarDB-X 2.0...
数据上传下载成本优化
本文为您介绍如何优化数据上传和下载的同步成本。尽可能使用经典网络和VPC网络 您可以使用内部网络（经典网络或VPC）实现零成本数据导入和导出。网络设置详情请参见 配置Endpoint。合理利用ECS的公共下载资源 如果您的ECS使用包月资源，...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
管理数据库资产
如果您已为要审计的数据库配置了证书，您需要在此参数处上传数据库正在使用的证书或私钥文件，否则数据库审计服务将无法审计该数据库加密后的访问流量。如果您的数据库未配置证书，则您无需配置该参数。您可以通过以下方式导入证书或私钥...
概述
物理日志备份 特点 物理日志备份通过实时并行上传数据库Redo日志文件到OSS来达到备份的目的。日志备份默认开启，最短保留时间为3天，最长保留时间为7300天。您也可以通过开启 删除集群前长期保留 功能长期保存。说明 日志备份默认开启，...
2023年
Github公开事件数据 2023年7月更新记录 时间 特性 类别 描述 产品文档 2023-07-31 新增简单用户画像分析（MaxCompute版）新说明 本文以网站用户画像分析为背景，通过使用DataWorks完成数据采集、数据加工、配置数据质量监控、数据可视化...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
背景信息以及准备工作
步骤一：在OSS中准备测试数据 开通OSS服务 创建存储空间 上传文件 下载TPC-H 100 MB的数据集，数据集中有8个数据文件，在OSS中为每个数据文件创建对应的文件夹，并上传数据文件。说明 示例使用的数据集引用自TPC。更多信息，请参见 TPC。...
导入接口介绍
已将数据文件上传至Bucket中，上传方法请参见 使用OSS控制台上传数据文件 或 使用ossutil工具上传。添加导入任务 使用HTTP POST请求发送至<gdb-endpoint>:<port>/loader 终端，将数据从OSS的Bucket导入至图数据库GDB实例中。注意 MIME类型...
PyODPS概述
整个流程中，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别是对于使用DataWorks节点的用户来说，很容易因为超过默认分配的内存值而导致OOM运行报错。高效处理代码demo from odps.df import ...
视频专区
DataV数据可视化 7.0 如何使用模板快速创建第一个大屏 如何配置可视化组件样式和数据 如何发布并分享数据大屏 如何创建演示预案进行投屏演示 DataV数据可视化 6.0 基本概念及应用场景说明 工作空间管理和用户中心说明 我的可视化界面说明 ...
概述
配置DTS数据迁移节点 离线数据集成 用于数据迁移、数据传输等场景，实现数据源之间的数据同步。配置离线数据集成节点 数据加工 单实例SQL 将SQL语句发放到指定的关系型数据库上并执行。说明 如果目标实例已开启无锁结构变更，单实例SQL任务...
概述
大部分阿里云用户以CSV格式将数据存储在OSS上，若要提高数据扫描性能，需要借助第三方工具对文件进行格式转换，然后将转换后的数据上传至OSS，整个过程比较繁琐。为减轻用户工作量，您可以直接使用DLA来转换文件格式。假设将1.2GB的数据以...
概述
MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确信息以 SDK Java Doc 为准。主要接口 描述 TableTunnel 访问MaxCompute Tunnel服务的入口类。您...
审计配置
SSL证书 如果已为要审计的数据库配置了证书，您需要在此参数处上传数据库正在使用的证书，否则 DSC 将无法审计该数据库加密后的访问流量。如果您的数据库未配置证书，则您无需配置该参数。以下是配置说明：单击目标资产 SSL证书 列的 导入...
配置并管理实时同步任务
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。创建实时同步任务 创建整库实时同步节点。配置...
表设计规范
客户端（Run SQL or Tunnel upload）需要避免高频小数据量文件的插入或者上传。SDK SDK执行INSERT INTO语句，数据上传至表或者分区后，使用MERGE语句整理小文件。说明 MaxCompute导入数据的通道只能是Tunnel SDK或执行INSERT INTO语句，请...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
MaxCompute数据源
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
支持的云服务
实时数仓Hologres Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），...
2021年
新功能 MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。MaxCompute湖仓一体概述 2021年2...
SQL查询
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时，如果MaxCompute项目空间开启了白名单访问控制，数据分析的相关服务（例如，费用计算、数据下载、维表使用、数据上传等）可能会出现报错。为保证DataWorks数据分析服务能顺利...
- 产品推荐
- 这些文档可能帮助您