Hadoop有哪些优缺点?

高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性。

Hadoop的优缺点介绍：（一） 优点：（一）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖；（二）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。（三）高效性。

hadoop是个轻量级的产品，又是开源的，不像dpf那么复杂，还要购买商业软件，搭个DPF环境需要费挺大力气的。hadoop能处理半结构化，非结构化数据。但hadoop要写mapreduce函数，这个比起SQL来，方便灵活性差太多了。

集成安全工具：Hadoop 0提供了与其他安全工具（如防火墙、入侵检测系统等）的集成，从而提供了一个更全面的安全保护环境。缺点：用户管理和授权的复杂性：Hadoop 0的安全性得益于其强大的用户管理和授权系统，但这同时也增加了管理的复杂性。对于不熟悉这些机制的用户来说，可能会遇到安全问题。

hadoop集群防止磁盘损坏导致block丢失的解决方案

hadoop 集群整体提高 block 副本数方法：通过ambari修改hdfs配置文件：可以修改为5，则设置集群数据副本数为保存并重启hdfs生效。注：这样即使三台主机的磁盘出现损坏，这个文件夹的数据也不会丢。除非同时五台主机的磁盘出现损坏，这个文件夹下的数据才可能丢失。

Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。（ ） 2 Slave 节点要存储数据，所以它的磁盘越大越好。（ ） 2 hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。（ ） 2 Hadoop 默认调度器策略为 FIFO（ ） 2 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。

rebalance server 在返回的这些block信息中挑选出每个source上需要移动的block，直到选出的block的大小达到了前面提到过的阈值（见本节b中“如果source节点是过载节点……”一段）或者所有的block都被检查过了一遍。

例如，如果一个文件被分割成3个块，每个块的大小为64MB（这是HDFS的默认块大小），那么这3个块会被存储在集群中的3个不同节点上。同时，每个块都会被复制到其他节点上，以防止数据丢失。复制因子（replication factor）决定了每个块的复制数量，通常设置为3，这意味着每个块都会有2个额外的复制品。

解决方法是调整`dfs.client.block.write.replace-datanode-on-failure.policy`配置，从不新建连接（设置为`NEVER`），或等待租赁恢复完成后执行操作。总结而言，解决MyEclipse连接Hadoop集群时出现的错误，需要根据错误提示仔细分析问题所在，并采取相应的配置调整或代码修改措施。

hadoop中的hdfs-site.xml修改后会立马生效吗?如果修改后,不重启再修...

修改hdfs-site.xml文件的dfs.replication值后，不重启hadoop集群，上传马上生效。不重启，对于修改dfs.replication值之前的文件备份数不会变动。重启后，对于修改dfs.replication值之前的文件备份数也不会变动。我有两个datanode节点，测试的时候，先设置dfs.replication的值为1，后来改为2。

{HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1 这是一句 话 ，格式是： hdfs dfs -put localfile dst file 把想传上去的本地文件， 传送到hdfs 创建的目标文件夹里。

第一次错误，查看日志，是hdfs-site.xml文件配置拼写错误。第二次到第N次 都是 slave无法连接到master ，以下是我检查的方向：master 和 slave的防火墙确认是关闭的。再次检查配置文件：fs.default.name 和mapred.job.tracker 的value值 master和ip都试试。

要在Hadoop集群中指定元数据文件存储路径，需要编辑hdfs-site.xml配置文件并设置适当的属性。

hadoop集群使用3个数据副本吗

1、生成环境是分机架铺设服务器的服务器性能高于PC机，且硬件可靠性高不同机架损坏的概率非常小，远远小于节点服务器故障的概率，3个副本是分布在2个机架上的。

2、原理：hadoop 集群配置机架感知后，同一机架内的所有主机只存储block数据的1~2个副本，总会有一个副本在其它机架。当同一机架内多个主机出现坏盘情况时，至少还有一个block副本可以提供访问和恢复，不会出现block数据丢失情况。

3、在实际应用中，Hadoop集群的规模可以从几个节点到数千个节点不等。小规模的集群可能只需要几个节点，适用于数据量不大或者对计算性能要求不高的场景。例如，一个用于教学或研究的Hadoop集群，可能只需要3到5个节点就足够了。

4、由于存放元数据，如果NameNode发生故障，整个HDFS可能会瘫痪。因此，对于大型集群，通常会使用高可用性配置，其中有一个活动的NameNode和一个备用的NameNode。 DataNode：DataNode是HDFS集群中的工作节点，它们实际存储数据。

HDFS的安全模式

1、安全模式期间：nameNode启动成功后到收到999%的datanode块数据。 HDFS的Namenode等待DataNode向其发送块报告，当NameNode统计总模块和发送过来的块报告中的统计信息达到9999%的时候，表示不存在块的丢失，此时安全模式才会退出。 安全模式已开启。报告的块0需要额外的9个块才能达到块总数的0.9990。

2、目前来看，导致hdfs一直处于safemode模式最直接的原因是已成功复制的块的比例没有达到默认值，块的损坏也会造成一直处于安全模式。

3、[1]HDFS启动时，NameNode进入安全模式 [2]处于安全模式的NameNode不能做任何文本操作，甚至内部的副本创建不允许 [3]NameNode需要和各个DataNode通信，获得其中保存的数据块信息，并对数据块信息进行检查 [4]只有通过了NameNode检查，一个数据块被认为安全。

4、在系统配置窗口中切换到“引导”选项，并勾选“安全引导”选项点击确定。重启进入安全模式 最后点击“重新启动”选项，重启即可进入安全模式。安全模式特点 在NameNode主节点启动时，HDFS会首先进入安全模式。检查包括文件副本的数量、可用的datanode数量、集群可用block比例等参数。

hadoop默认存储文件副本数为

1、默认为副本数为3 第一个副本：放置在上传文件的数据节点；如果是集群外提交，则随机挑选一台磁盘不太满. CPU不太忙的节点。第二个副本：放置在与第一个副本不同的机架的节点上。第三个副本：与第二个副本相同机架的其他节点上。

2、HDFS（Hadoop Distributed File System）的默认副本保存数量取决于数据块的大小。通常，数据块的大小设置为64MB或128MB，这意味着每个数据块在HDFS中都有三份副本，其中两份在不同的数据节点上，另一份在主副本所在的节点上。这种设计是为了提高数据的可靠性和可用性。

3、hdfs的副本个数为3个。HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的简称，它的设计目标是把超大数据集存储到网络中的多台普通计算机上，并提供高可靠性和高吞吐率的服务。数据自动保存多个副本，hdfs默认的副本数量是3。

4、这个要看你用的hadoop版本，要是没记错2之前默认一个块是64MB，同时默认副本是3个，所以130M会存放在9个块中，如果是2之后，默认一个块是128MB，默认副本数依然是3个，所以130M会放在6个块中。可以看到hdfs上最害怕的就是存放小文件，会很浪费空间，1k的文件也会占用一个块。

5、可以修改为5，则设置集群数据副本数为保存并重启hdfs生效。注：这样即使三台主机的磁盘出现损坏，这个文件夹的数据也不会丢。除非同时五台主机的磁盘出现损坏，这个文件夹下的数据才可能丢失。原理： 当一个主机的磁盘出现损坏时，集群会立刻对这块盘上的数据通过副本机制恢复到其它主机上。