- 打开docker desktop,启动5个节点
- 用VS Code连接到第一个节点
- 为每个节点打开SSH服务
service ssh start - 每个节点运行
cd /usr/local/hadoop-3.4.0/sbin && ./stop-all.sh && rm -rf /usr/local/hadoop-3.4.0/etc/hadoop/tmp/dfs/data/* - 进入
h01,执行./start-all.sh并查看状态cd /usr/local/hadoop-3.4.0/bin && ./hadoop dfsadmin -report - 然后在h0的工作目录下创建当前实验的project目录,将VS Code切换到这个目录之后再使用AI;prompt:
我现在启动了一个分布式MapReduce,HDFS状态如下: \``` <HDFS装填> \``` 其中h0是主节点,我使用了`start-all.sh`来启动集群: \``` <start-all.sh的运行结果> \``` 现在我需要你完成一个任务,任务的描述如下: <任务描述> 请你先仔细阅读相关文件,理解他们的含义逻辑和结构,然后完成上面的任务。 你应该使用Python/Java编写代码,注意请不要在注释中使用中文,注释也应该使用英文。 请不要仅仅编写代码,在编写代码之后,请将所有代码跑通得到最终结果。
