Идентификатор файла в Hadoop
Я хочу сохранить некоторую информацию о файлах, обрабатываемых с HDFS. Каким будет наиболее подходящий способ прочитать местоположение файла и смещение байта в java-программе файла, хранящегося в HDFS?
Существует ли понятие уникального идентификатора файла, связанного с каждым файлом, хранящимся в Hadoop 1? Если да, то как его можно получить в программе MapReduce?
2 ответа
По моему пониманию,
Вы можете использовать класс org.apache.hadoop.fs.FileSystem для всех ваших потребностей.
1.Вы можете получить каждый файл, однозначно идентифицированный с ним URI, или вы можете использовать getFileChecksum(Path path)
2. Вы можете получить все файлы со всеми getFileBlockLocations(FileStatus file,long start,long len) блока с помощью getFileBlockLocations(FileStatus file,long start,long len) TextInputFormat дает смещение байта для начального местоположения ключа в файле, что не так, как смещение файла на HDFS.
Вы можете использовать класс org.apache.hadoop.fs.FileSystem для удовлетворения всех ваших потребностей. Существует много других доступных методов. Пожалуйста, пройдите через это для лучшего понимания.
Надеюсь, поможет.
В соответствии с "Окончательным руководством к Hadoop" входной формат TextInputFormat дает ключу значение смещения байта.
Для имени файла вы можете посмотреть на них:
Ещё вопросы
- 0как я могу сделать выпадающее меню на всю ширину
- 0Проблема, пытаясь предварительно удалить удаление с php и angular
- 0Проблема выравнивания при отображении веб-страницы в UIWebview
- 0JQuery CSS селектор для таблицы
- 1Не удается получить доступ к активации, деактивации или conda в среде conda
- 0Удаленное подключение к MySQL на EC2 без SSH-туннелирования
- 0Как передать константу в мой метод добавления класса DynamicArray
- 0Как обернуть группу тегов HTML в содержащий тег, используя JavaScript?
- 1Извлекать числа по позиции в Пандах?
- 0JQuery position.top () медленный с большим количеством элементов
- 1SciChart График разрыва
- 0Различия между $ _POST и $ _GET PHP на стороне клиента AngularJS
- 0Ошибка перенаправления разрешений в AuthComponent CakePHP
- 1Следует ли усреднять метрики активных пользователей Firebase (DAU, WAU, MAU)?
- 1Почему java.nio.SocketChannel не отправляет данные (Jdiameter)?
- 0Как убрать <объект> белую рамку
- 1Измените цвет отдельных ящиков на участках с пандой
- 0Как можно передать идентификатор с одного маршрутизатора на другой в Node.js
- 1Как обработать подсчет ссылок при возврате пустого массива во внутренний массив?
- 1Как найти имена файлов внутри каталогов в Python, используя regexp
- 1Как превратить TimePicker Джонатаса Уокера в плагин класса JS или jQuery
- 1Постоянный мост между компонентом React VR и собственным кодом модуля
- 1как связать .so файлы из локального модуля aar в android с файлом приложения android.mk
- 0C ++ Утечка памяти при освобождении *?
- 1Есть ли быстрые альтернативы для функции TextureView.getBitmap ()?
- 0я хочу добавить два элемента в этот список из mysql
- 1Совпадение строки между двумя символами регулярное выражение
- 0Что приводит к слишком много соединений в MySQL
- 0AngularJS анализирует данные JSON с переменной области видимости
- 0Как обновить количество базы данных из действия php
- 0Как я могу вставить автоматически определенный день и определенное время в MySQL Вставить запрос
- 0Вставить несколько строк в laravel с полезной нагрузкой JSON
- 1Создать отображение из чисел в диапазон уникальных чисел
- 0Вызов C ++ (член) функционирует динамически
- 1Ссылки на перевод Google не работают последовательно из Android WebView
- 0обслуживать несколько каталогов в ngnix
- 0Изменить с iframe на всплывающее окно
- 0если утверждение продолжает отступать к остальной части
- 0Почему javascript (jquery), если операторы не работают, как операторы php if? И что такое решение?
- 1Почему эта нарезка бросает IndexError?
- 0Событие щелчка селектора jquery не запускается с угловым
- 1Гистограмма путем группировки значений в Python
- 1Libusb Java - асинхронное чтение с устройства
- 0PHP перенаправить с if, if else и else
- 0Проблема реализации вкладок с AngularJS с помощью stateProvider и пользовательского интерфейса
- 1await CLGeocoder.GeocodeAddressAsync никогда не возвращается
- 0Подсказка Highcharts показывает дополнительные данные
- 1Скрипт копирования файлов Python
- 0Авто Требуется в PHP
- 1XSS-уязвимости теги <c: out> на страницах JSP
