Как Eclipse запускает карту, сокращая работу?

Question

Как Eclipse запускает карту, сокращая работу?

1

Я последовал за статьей и сумел запустить программу mapreduce в eclipse.

Ниже приведен файл pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>



  <groupId>virtusa</groupId>
  <artifactId>fazlan</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>fazlan</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>


    <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.2.0</version>
    </dependency>

  </dependencies>
</project>

Maven устанавливает необходимые банки, и когда я запускаю программу как приложение Java, вывод сохраняется как ожидалось.

Как я уже говорил, Hadoop можно запускать в трех режимах.

1)Single node 
2)psuedo-distributed mode 
3)distributed mode

Я предполагаю, что eclipse запускал программу в конфигурации с одним узлом.

Если мы хотим отдельно установить hadoop, нам нужно будет отредактировать некоторые файлы xml, чтобы сказать, что нам нужна конкретная конфигурация (я использую Hadoop 2.2 и даже для конфигурации с одним узлом, я предполагаю, что ему нужно внести некоторые изменения в xome файлов xml).

В приведенном выше экземпляре я не изменял файлы xml, чтобы сказать это. Как затмение показало это только с помощью банок.

А также этот метод зависит от любой переменной среды, отличной от JAVA_HOME или PATH? (Идет ли поиск Eclipse для любой установки hadoop на моей машине)

DesirePRG 19 март 2014, в 10:14

Источник

Теги:

java

maven

xml

eclipse

hadoop

1 ответ

Ещё вопросы

SachinJ · Accepted Answer · 2014-03-19T09-07-00.000Z

Как вы сказали, hadoop можно запустить тремя способами

Local mode (Only for test purpose no mapreduce daemons needed)
Pseudo distributed mode(1 node cluster)
Distributed mode(Multinode cluster)

В локальном режиме нет необходимости запускать каких-либо демонов хаопа (jobtracker, taskters in mr1). Обычно это используется для целей тестирования из eclipse. Но в случае псевдораспределенных и распределенных режимов демоны Mapreduce должны запускаться. Когда вы запускаете задание mapreduce в псевдо/распределенном режиме с любых клиентских узлов, необходимо указать узел jobtracker и номер порта (mapred.job.tracker) в mapred-site.xml, HDFS namenode Host: порт на основном сайте. XML

Из затмения исполнение будет в локальном режиме, демоны не будут выполняться (не будут подключаться к каким-либо демонам), поэтому нет необходимости настраивать любые XML файлы при отправке заданий

Как я могу запустить программу Hadoop в псевдораспределенном режиме в Eclipse?
Вы не можете запустить программу hadoop в псевдораспределенном режиме непосредственно для отладки. Поскольку маппер и редуктор работают как отдельная JVM, затмение не может справиться с этим для Hadoop. Для отладки вы можете использовать локальный режим или написать контрольные тесты модуля MR и т. Д.