为满足多样化的数据导入需求,云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式,包括:通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景,帮助您选择正确的数据导入...
数据迁移 文档链接 视频链接 视频发布时间 描述 高效迁移HDFS海量文件到OSS 高效迁移HDFS海量文件到OSS 2021-05-11 通过Hadoop DistCp将HDFS海量文件同步到OSS存在很多问题,例如文件数量太大造成内存溢出、同步效率慢、无法保证数据一致性...
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute(包月)变成 大数据计算服务MaxCompute(按量付费),同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute(按量付费)。当您使用的包年包月...
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute(包月)变成 大数据计算服务MaxCompute(按量付费),同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute(按量付费)。当您使用的包年包月...
参数 描述 大数据计算服务地域 被投递数据的MaxCompute项目所在地域。说明 操作审计会将审计日志投递至MaxCompute指定地域下的actiontrail_<阿里云账号ID>项目中。因为同一阿里云账号下MaxCompute项目名称唯一,若账号下已有actiontrail_...
操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。选择同步对象和映射方式后,在 选择同步范围 区域右侧的 目标端对象 列表中,鼠标悬停至目标对象,单击显示的 更改 Topic。在 将对象映射至 ...
本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移,包括两种使用场景:同云账号内不同Region的项目数据迁移;不同云账号间不同Region的项目数据迁移。使用限制 此方案只支持在中国内地地域间实现不同地域间的...
MaxCompute支持您将MaxCompute项目数据接入Tableau进行可视化分析,您可以利用Tableau简便的拖放式界面,自定义视图、布局、形状、颜色等,帮助您展现自己的数据视角。本文为您介绍如何通过MaxCompute JDBC驱动,连接Tableau和MaxCompute...
分析交互:在DataV数据集和组件分析模式的基础上,分析交互给组件附加下钻、联动筛选等交互式动态数据查询的能力,将基于用户交互反馈的数据模型变更纳入大屏交互,形成完整的可视分析循环。详情请参见 BI分析器交互使用说明。
MaxCompute支持您将MaxCompute项目数据接入Yonghong BI,帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何连接Yonghong BI和MaxCompute项目,并进行可视化数据分析。背景信息 Yonghong Desktop是一款桌面智能数据分析工具,基于...
步骤三:将外部项目数据导入内部表 如果需要创建与外部数据源中表结构相同的表,可以使用 CREATE TABLE.LIKE 命令复制外部数据源中的表结构,详情请参见 表操作。命令示例如下。创建表 CREATE TABLE from_exe_tbl LIKE ext_project_oss....
MaxCompute支持您将MaxCompute项目数据接入FineBI,帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作。本文为您介绍如何通过MaxCompute JDBC驱动,连接FineBI和MaxCompute项目,并进行可视化数据分析。背景信息 FineBI是帆...
MaxCompute支持您将MaxCompute项目数据接入观远BI,帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动,连接观远BI和MaxCompute项目,并进行可视化...
如果是为了控制数据在不同项目空间之间的流动,则可以将项目空间设置为受保护状态(ProjectProtection)。设置之后,只允许用户在项目空间内访问数据,这样可以有效防止数据流出项目空间。项目空间中的LabelSecurity安全机制默认是关闭的,...
新说明 MaxCompute支持您将MaxCompute项目数据接入观远数据(GuanData),帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。观远BI连接MaxCompute 2021年9月更新记录 时间 特性 类别 描述 产品...
MaxCompute支持您将MaxCompute项目数据接入Superset,帮助您快速、轻量、直观地探索和可视化分析数据。本文为您介绍如何通过PyODPS连接Superset和MaxCompute项目,并进行可视化数据分析。背景信息 Apache Superset是一个现代数据探索和可视...
OceanBase 数据传输服务的数据迁移或数据同步项目到期或欠费后,数据迁移或数据同步项目将被暂停。如果暂停 7 天内仍未完成充值或续费,系统将在暂停的第 8 天释放并删除该项目。实例计费类型 到期或欠费的影响 包年包月 包年包月项目到期...
MaxCompute支持您将MaxCompute项目数据接入Davinci,您只需在可视化UI界面上简单配置即可服务多种数据可视化应用。本文为您介绍如何通过MaxCompute JDBC驱动,连接Davinci和MaxCompute项目,并进行可视化数据分析。背景信息 Davinci是面向...
使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务,从而通过上传、下载等方式同步该项目的数据。2023年12月11日 之后创建的MaxCompute数据源,若数据源所在的DataWorks服务与需要...
关键性里程碑 2009年9月,ODPS(即现在的MaxCompute)大数据平台飞天项目正式启动。2010年10月,阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月,平台的单集群规模已达到5000台。2014年7月,平台开始对外提供服务,完全替换...
数据流出策略二:设置TrustedProject 如果当前项目处于数据保护状态,当需要支持向目标项目执行数据流出操作时,项目所有者可以将目标项目设置为当前项目的TrustedProject,则此行为不会被视为触犯数据保护机制。如果多个项目之间两两互相...
审计日志 权限管理 权限管理 为确保MaxCompute项目数据的安全性,项目所有者或者具备授权权限的用户需要对项目内成员的权限进行合理管控,确保权限不会过大也不会过小。权限管理 管理&运维 MaxCompute提供用户可视化运维、管理功能,方便...
在为企业级大数据平台创建项目时,建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目,对于ADS层的数据,按照应用的粒度建立项目。项目分配 在本教程中,建议参考下图建立您的MaxCompute项目,图中的每一个方块代表一个项目。...
在为企业级大数据平台创建项目时,建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目,对于ADS层的数据,按照应用的粒度建立项目。项目分配 在本教程中,建议参考下图建立您的MaxCompute项目,图中的每一个方块代表一个项目。...
数据服务权限申请与审批流 数据服务审批流程创建完成后,纳入数据服务API发布、函数、服务编排等操作管控的项目在做具体操作时,会触发在审批流程。当权限申请人在 安全中心 申请权限后,后续的流程如下图所示。在安全中心申请数据服务相关...
当线上数据库中的历史数据(访问率很低的数据)越来越多,占用的存储越来越大,以至于会影响数据库的查询性能与业务运转,此时您可以使用 数据管理DMS 的数据归档功能,周期性地将指定表的数据归档至其他数据库或存储服务中。同时,该功能...
Dataphin支持通过自定义扩展治理项规则的方式,助您构建企业内部的治理规范,并支持将治理规范纳入到数据资产管理体系中。治理项的管理流程如下:元数据管理:配置和管理数据治理所需要的元数据指标。治理项管理:基于元数据指标,配置和...
Dataphin支持通过自定义扩展治理项规则的方式,助您构建企业内部的治理规范,并支持将治理规范纳入到数据资产管理体系中。治理项的管理流程如下:元数据管理:配置和管理数据治理所需要的元数据指标。治理项管理:基于元数据指标,配置和...
代码搜索 2021-09 功能名称 功能描述 发布时间 发布地域 相关文档 数据服务API资产全面纳入数据地图。数据服务API资产(向导、脚本、注册等类型API)已接入数据地图,支持企业场景和全局范围的数据接口查找及管理,包括全局API检索、热门...
补数据可通过补历史或未来一段时间的数据,将写入数据至对应时间分区。代码中的 调度参数,将根据补数据选择的业务时间自动替换为具体值,并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑,与任务定义的代码...
当数据保护模式开启时,您无法将数据转移到项目空间之外。2.4之前版本的JDBC无法获取 result set。2.4及之后版本的JDBC可以获得不超过 READ_TABLE_MAX_ROW 所定义行数的数据,详情请参见 项目空间操作。数据保护功能详情请参见 数据保护...
产出任务:您可查看该数据表产出任务,包含该对象的数据写入任务、血缘解析或配置以当前表为输出表的任务,以及节点输出名称=项目名.表名的任务。点击产出任务的名称,跳转至该数据表的运维详情页。说明 仅支持查看周期任务的产出明细。...
产出任务:您可查看该数据表产出任务,包含该对象的数据写入任务、血缘解析或配置以当前表为输出表的任务,以及节点输出名称=项目名.表名的任务。点击产出任务的名称,跳转至该数据表的运维详情页。说明 仅支持查看周期任务的产出明细。...
产出任务:您可查看该数据表产出任务,包含该对象的数据写入任务、血缘解析或配置以当前表为输出表的任务,以及节点输出名称=项目名.表名的任务。点击产出任务的名称,跳转至该数据表的运维详情页。说明 仅支持查看周期任务的产出明细。...
产出任务:您可查看该数据表产出任务,包含该对象的数据写入任务、血缘解析或配置以当前表为输出表的任务,以及节点输出名称=项目名.表名的任务。点击产出任务的名称,跳转至该数据表的运维详情页。说明 仅支持查看周期任务的产出明细。...
产出任务:您可查看该数据表产出任务,包含该对象的数据写入任务、血缘解析或配置以当前表为输出表的任务,以及节点输出名称=项目名.表名的任务。点击产出任务的名称,跳转至该数据表的运维详情页。说明 仅支持查看周期任务的产出明细。...
虚拟任务(Virtual任务)不纳入数据处理单元统计,以减少虚拟节点作为公共上下游,在进行批量节点管理场景下数据处理单元的消耗。售卖检查环节从已提交修改为已发布,减少测试任务对资源用量的影响。发布增加针对数据处理单元的发布预检和...
产出任务:您可查看该数据表产出任务,包含该对象的数据写入任务、血缘解析或配置以当前表为输出表的任务,以及节点输出名称=项目名.表名的任务。点击产出任务的名称,跳转至该数据表的运维详情页。说明 仅支持查看周期任务的产出明细。...
虚拟任务(Virtual任务)不纳入数据处理单元统计,以减少虚拟节点作为公共上下游,在进行批量节点管理场景下数据处理单元的消耗。售卖检查环节从已提交修改为已发布,减少测试任务对资源用量的影响。发布增加针对数据处理单元的发布预检和...
产出任务:您可查看该数据表产出任务,包含该对象的数据写入任务、血缘解析或配置以当前表为输出表的任务,以及节点输出名称=项目名.表名的任务。点击产出任务的名称,跳转至该数据表的运维详情页。说明 仅支持查看周期任务的产出明细。...