Hadoop集群

Hadoop 集群

• 使用 Hadoop JobHistory Server

  • 首先需要确保 JobHistory Server 已启动并运行。
  • 然后可以通过浏览器访问 JobHistory Server 的 Web 界面，通常地址为http://<jobhistory-server-ip>:19888/jobhistory。在该界面中，可以查看过去提交的 MapReduce 和 YARN 应用程序的详细信息，包括任务的提交时间、运行时长、状态、输入输出路径等。

• 命令行查看

  • 通过yarn logs -applicationId <application-id>命令可以查看特定应用程序的日志，从而了解任务的执行情况和历史记录。不过，这种方式查看的信息相对有限，主要是日志内容。

Kubernetes 集群

• 使用 Kubernetes Dashboard

  • 如果安装并启用了 Kubernetes Dashboard，可以通过浏览器访问其界面。
  • 在 Dashboard 中，可以导航到 “工作负载” 或 “Pods” 等相关页面，然后查看各个 Pod 的历史记录，包括 Pod 的创建时间、重启次数、容器的状态变化等。对于有控制器管理的工作负载，如 Deployment、StatefulSet 等，还可以查看其版本历史和滚动更新记录。

• 命令行工具

  • kubectl get pods --all-namespaces -o wide命令可以查看所有命名空间下的 Pod 列表，包括它们的当前状态和启动时间等基本信息。

  • kubectl describe pod <pod-name>可以获取特定 Pod 的详细描述信息，包括事件记录，这些事件可以帮助了解 Pod 的创建、调度、容器启动等历史过程。

  • kubectl logs <pod-name>用于查看 Pod 中容器的日志，通过日志可以了解应用程序在容器内的运行情况和历史记录。如果容器曾经崩溃或出现错误，日志中通常会有相关的报错信息。

此外，还有一些其他的集群管理系统或工具，如 Mesos 等，也有各自查看历史运行任务的方法。如果你使用的是特定的集群系统，建议参考其官方文档来获取准确的查看历史任务的方式。