入门概述
快速入门介绍购买并使用 云数据库 SelectDB 版 的完整过程，旨在帮助新用户快速使用 云数据库 SelectDB 版。使用流程 在本教程中，您将进行以下操作。创建实例：介绍如何创建 云数据库 SelectDB 版 实例。重置实例admin密码：介绍如何重置 ...
通过DataWorks实现MaxCompute跨项目迁移
背景信息 本文使用的被迁移的原始项目为教程《简单用户画像分析（MaxCompute版）》中的 WorkShop2023 项目，您需要再创建一个迁移目标项目，用于存放原始项目的表、资源、配置和数据。注意事项 仅华东1（杭州）、华东2（上海）、华北2...
通过DataWorks实现MaxCompute跨项目迁移
背景信息 本文使用的被迁移的原始项目为教程《简单用户画像分析（MaxCompute版）》中的 WorkShop2023 项目，您需要再创建一个迁移目标项目，用于存放原始项目的表、资源、配置和数据。注意事项 仅华东1（杭州）、华东2（上海）、华北2...
DataWorks快速入门指引
为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了系列快速入门教程，本文为您汇总介绍新手教程列表。教程指南 教程列表 示例...
实施步骤
本文主要介绍搭建DataV数据大屏的操作步骤。步骤一：购买DataV基础版 登录 DataV管理控制台，本教程使用 兼容MySQL 方式连接DLA服务，所以购买DataV基础版即可满足要求。步骤二：添加DLA数据源 在添加数据源之前，您必须先为您的DLA配置白...
注意事项
本文提供一些教程中的注意事项供您参考。DataWorks数据服务向导模式生成API，只支持单表简单条件查询。脚本模式支持用户编写查询SQL语句，支持多表关联查询、函数以及复杂条件，您可以根据自己的需求灵活选择。Lightning采用PostgreSQL的...
概述
DataWorks为您提供了多个实验教程，帮助您从前期的环境准备、数据采集，到后期的数据开发、结果展示，端到端了解DataWorks使用的全流程，更加熟悉产品的核心功能。DataWorks目前提供的产品教程如下：简单开发应用教程 简单用户画像分析...
导入MongoDB数据
MongoDB的数据准备如下：{"id":ObjectId("624573dd7c0e2eea4cc8*"),"title":"MongoDB教程","description":"MongoDB是一个NoSQL数据库","by":"菜鸟教程","url":"http://www.runoob.com","map":{"a":"mapa","b":"mapb"},"likes":100 } ...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
添加数据
Shapefile GeoJSON CSV GDB PostGIS 栅格 GeoTIFF Images NetCDF 倾斜摄影 OSGB S3M 3DTiles BIM RVT DGN IFC 点云 LAS PCD 三维模型 OBJ 3DS glTF FBX 栅格瓦片 ArcGIS TPK QUANTIZED_MESH 属性表 CSV 其他 FILE 操作步骤 登录 数据资源...
MapReduce
本文仅对MapReduce的基本原理做简单介绍，更多详情请参见 Hadoop Map/Reduce教程。说明 您无法通过MapReduce读写 外部表 中的数据。应用场景 MapReduce支持下列场景：搜索：网页爬取、倒排索引、PageRank。Web访问日志分析：分析和挖掘用户...
准备环境
本教程以用户画像分析为例，通过使用DataWorks完成数据采集、数据加工、质量监控的全流程操作。为保证您可以顺利完成本教程，您需要准备教程所需的EMR集群、DataWorks工作空间，并做好相关的环境配置。前提条件 大数据开发治理平台...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
创建业务流程
本文为您介绍如何创建业务流程，在业务流程中创建节点并配置依赖关系。完成创建后，您可以利用数据开发功能，对工作空间的数据进行...在该教程中，您将学习如何通过创建同步任务，将数据回流至不同类型的数据源中。详情请参见 创建同步任务。
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
实践教程
针对各种业务需求，Dataphin提供相关实践教程，您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践
内置时空数据引擎Ganos
专业云GIS解决方案：PolarDB Ganos已深度适配SuperMap（超图）、ArcGIS（ESRI）等主流GIS基础平台，支持构建云原生时空数据管理平台，具备地上地下、室内室外、陆地海洋全空间建模能力。新型遥感解决方案：支持OSS存储和透明访问，支持GDAL...
准备工作概览
当您在使用DTS执行数据迁移、数据同步或数据订阅操作时，您还需要为自建的源或目标数据库做一些准备工作，以满足DTS对环境的要求。背景信息 DTS支持将自建的数据库作为数据传输的源库或目标库，在不同的场景下，您需要执行相应的 准备工作...
步骤七：运维补数据
本文为您介绍如何为本教程的维度逻辑表、事实逻辑表、汇总逻辑表和管道任务补数据。背景信息 您需要为产品表、客户表、订单表集成任务和明细及汇总表 dim_customer、dim_products、fct_order_buy_di、dws_all 补数据。集成任务和明细及汇总...
步骤七：运维补数据
本文为您介绍如何为本教程的维度逻辑表、事实逻辑表、汇总逻辑表和管道任务补数据。背景信息 您需要为产品表、客户表、订单表集成任务和明细及汇总表 dim_customer、dim_products、fct_order_buy_di、dws_all 补数据。集成任务和明细及汇总...
离线数仓构建流程概述
本教程将 从前期的资源准备、数仓规划，到后期的运维补数据、查看运行结果，指导您如何使用Dataphin完成基本的离线数仓构建。以帮助您快速了解Dataphin离线数仓建设的基础流程。使用Dataphin进行离线数仓建设的基本流程如下：主流程 描述 ...
离线数仓构建流程概述
本教程将 从前期的资源准备、数仓规划，到后期的运维补数据、查看运行结果，指导您如何使用Dataphin完成基本的离线数仓构建。以帮助您快速了解Dataphin离线数仓建设的基础流程。使用Dataphin进行离线数仓建设的基本流程如下：主流程 描述 ...
连接SQL Server实例
完成初始化配置后，您可以通过多种方式连接到SQL Server实例（例如通过数据管理DMS、SSMS客户端等），实现您的业务目标。本文介绍这些连接方法的具体操作。前提条件 已创建RDS SQL Server实例。具体操作，请参见 创建RDS SQL Server实例。...
连接SQL Server实例
完成初始化配置后，您可以通过多种方式连接到SQL Server实例（例如通过数据管理DMS、SSMS客户端等），实现您的业务目标。本文介绍这些连接方法的具体操作。前提条件 已创建RDS SQL Server实例。具体操作，请参见 创建RDS SQL Server实例。...
数据资产定级
数据的资产等级，可以根据数据质量不满足完整性、准确性、一致性、及时性对业务的影响程度进行划分。数据等级定义如下：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业级...
数据资产定级
数据的资产等级，可以根据数据质量不满足完整性、准确性、一致性、及时性对业务的影响程度进行划分。数据等级定义如下：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业级...
教程概述
本案例使用阿里云DTS将您的增量数据同步到DataHub上，再通过阿里云实时计算Flink订阅DataHub的数据进行实时计算，并将结果插入到RDS数据库中，最终通过DataV大屏进行展示。说明 本案例仅提供具体的操作指导，业务场景和数据与实际情况会有...
教程概述
本文为您介绍当需要通过DataV展示海量数据的分析结果时，如何使用DataWorks的数据服务开发数据API，并快速在DataV中调用API，最终将来自MaxCompute的数据成果展示在DataV大屏中，数据开发到数据服务再到数据分析展现一气呵成。注意 本案例...
数据推送
选择数据源 选择需要进行数据推送的 数据源类型，数据源名称，以及 数据源环境（您可根据本次数据推送的开发表还是生产表来选择数据源环境），确定需要进行数据推送的数据表所在环境。若您需要实操，请确认您准备工作阶段创建的sales表所在...
教程概述
本文档通过一个案例，演示了如何基于阿里云产品和服务实现设备数据在大屏上展示。本案例的原理如下：在设备端模拟两个字段，通过MQTT协议向阿里云物联网平台设备（高级版）发送数据。物联网平台接收到数据后通过规则引擎转发至DataHub。在...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用的抽象）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...
数据写入
Lindorm时序引擎支持六种数据写入方法：Native SDK写入、行协议写入、标准SQL写入、时间序列数据库TSDB接口写入、remote write数据写入、Flink数据写入。本文介绍数据写入的六种方法。Native SDK写入 Native SDK适用于Java开发者，Native ...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
生成数据API
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
修改组件数据
如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏输入API即可。具体配置API数据源时，是否勾选 服务器代理请求 等操作，详情请参见 跨域数据...
修改名单抽奖数据
您还可以在组件 设置数据源 页面中，选择 数据源 类型为您自定义添加的动态数据源类型（如数据库、API等），使得数据接口获得的是整个抽奖池数据，即所有能参与抽奖的人员名单。通过配置动态数据源内容，可动态获取抽奖名单数据，实现公平...
层次调用规范
在完成数据仓库的分层后，您需要对各层次的数据之间的调用关系作出约定。层次调用规范 ADS应用层优先调用数据仓库公共层数据。如果已经存在CDM层数据，不允许ADS应用层跨过CDM中间层从ODS层重复加工数据。CDM中间层应该积极了解应用层数据...
教程概述
本章节为您介绍使用DataV可视化应用，展示春节前后全国空气质量分布变化的方法。本案例的整体操作步骤如下。...获取数据。处理数据。处理接口。制作可视化应用。创建可视化应用。添加组件。添加数据。预览并发布可视化应用。
概述
日常工作中，企业通常会对实时日志数据进行开发。其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明...
- 产品推荐
- 这些文档可能帮助您