hdfsput的简单介绍

HDFS常用命令总结

1、hdfs dfs -mv src dest：在HDFS内部移动文件或目录。hdfs dfs -mv tmp /tmp_home：将tmp目录移动到/tmp_home目录下。这些命令是HDFS操作的基础，熟练掌握这些命令可以大大提高HDFS文件管理的效率。

2、hdfs dfs：常用的HDFS Shell命令前缀，适用于HDFS文件系统。ls：列出目录内容。mkdir p：创建目录，p参数用于创建多级目录。rm：删除目录或文件。创建文件：在终端编辑文件并保存。上传文件：使用命令将本地文件上传到HDFS目录。查看文件：使用ls命令查看HDFS上的文件。

3、通过“-get 文件按1 文件2”命令将HDFS中某目录下的文件复制到本地系统的某文件中，并对该文件重新命名。

4、特别的，HDFS文件系统的操作可以使用 FsSystem shell 、客户端（http rest api、Java api、C api等）。FsSystem shell 的用法基本同本地shell类似，命令可参考 FsSystem shell Hadoop是用Java写的，通过Java Api（ FileSystem 类）可以调用大部分Hadoop文件系统的交互操作。

5、大数据采集涉及将不同来源的数据（结构化、半结构化和非结构化）采集到Hadoop平台上。常用的采集工具有：HDFS PUT命令和HDFS API：Hadoop框架自带的命令，用于将数据上传到HDFS。Sqoop：用于Hadoop/Hive与传统关系型数据库（如Oracle、MySQL、SQLServer）之间进行数据交换的开源框架。

6、指令：ll 目录介绍如下：bin：该目录包含在使用hdfs和mapreduce时常用的Hadoop命令。sbin：专为管理员设计，用于集群管理，如启动、重启和关闭集群。etc：存放Hadoop配置文件的目录。include：包含用于C语言的工具类。lib：存放本地库文件，支持数据的压缩和解压功能。libexec：存放配置Hadoop环境的文件。

大数据平台架构——框架篇

1、大数据平台架构——框架篇 大数据平台架构是对海量数据从采集、存储、计算、应用、管理、运维等多方位、多维度的组合研究设计，旨在建设合理、高效的大数据平台。以下是大数据平台架构中各个关键框架的详细介绍：大数据存储计算 Hadoop：Hadoop是大数据存储和计算的鼻祖，大多数开源的大数据框架都依赖Hadoop或与其兼容。

2、数据安全：Apache Ranger或Sentry等工具为大数据平台提供数据安全保障。云基础架构：Kubernetes等云基础架构简化了大数据平台的部署与运维。这些框架和模块共同构成了大数据平台的完整架构，为数据驱动的决策提供了强大的支持。

3、大数据平台致力于从数据的采集、存储、计算、应用、管理与运维等多维度组合研究，构建高效合理的大数据架构体系。大数据存储与计算 其中，Hadoop框架起着核心作用，是大数据存储与计算的基石。通过Hadoop，数据可被存储与高效处理。

4、大数据框架主要包括以下几种：Hadoop：简介：Hadoop是Apache软件基金会开发的开源大数据框架，提供分布式系统基础架构。核心组件：包括分布式文件系统HDFS、MapReduce编程模型和HBase数据库等。主要用途：用于数据存储和处理，解决大数据的存储和管理问题。

5、数据流架构是美团大数据平台的核心部分，它负责将业务数据高效地传输到平台，并进行实时和离线处理。数据接入：业务数据通过Flume、Canal等日志收集系统，以及Kafka消息队列，被高效地接入到大数据平台。流式计算：基于Storm的流式计算平台，能够实时处理数据，提供秒级的数据流延迟。

6、便于分享和交流。大数据系统架构则是一个将这些组成部分有机整合在一起的技术框架，它支持数据的全生命周期管理，从采集、存储、处理到分析、可视化和报告，形成一个闭环的数据处理流程。通过大数据系统架构，企业能够高效地管理和利用数据资源，提升决策效率，驱动业务创新，同时保障数据安全。

hadoop中-put与-copyFromLocal有什么区别呢?

1、它们的区别在于copyToLocal的源路径只能是一个本地的文件。而put的源路径 可能是多个文件，也可能是标准输入。当hadoop fs -put - hdfs：//host：port/hadoop/hadoopfile时表示从标准输入接收数据，这个时候目标路径必须是一个文件。

2、使用重定向：这也有两种实现 1）一种通过hadoop dfs -put/copyFromLocal命令，把streaming的标准输出重新定向到输出路径。

3、put命令从本地文件系统中 复制单个或多个 源路径到目标文件系统，也支持从标准输入设备中读取输入并写入目标文件系统。分为本地上传和上传到HDFS中。

4、HDFS的特点及应用场景 适合存储大文件：HDFS支持GB级别甚至TB级别的文件。它会把大文件切分成若干个块存储在不同的节点上，在进行大文件读写时采用并行的方式提高数据的吞吐量。容错性高：HDFS有多副本机制，会自动保存副本到不同的节点。即使有一台节点宕机了也不会丢失数据。