Apache Hadoop (Владимир Климонтович на ADD-2010)/ Application Developer Days / Подкаст на PodFM.ru
QR-код RSS
QR-код OPML
 
Хочу послушать
только на belonesox.podfm.ru
 

Apache Hadoop (Владимир Климонтович на ADD-2010)

0
Для того, чтобы проголосовать — авторизуйтесь Для того, чтобы проголосовать — авторизуйтесь
добавлен 23.12.10 21:57
Владимир Климонтович поделился своим опытом обработки ОЧЕНЬ БОЛЬШИХ объемов данных, и использование для этого NOSQL-подходов, в частности Apache Hadoop.


История вопроса.

* Почему проблема обработки большего объема данных становится все более актуальной (пример роста количества данных в разных областях).
* Статья от компании Google про парадигму MapReduce. Краткое описание парадигмы.
* Краткое описание смежных областей (distributed file system, bigtable-like storage).
* История и краткое описание платформы Apache Hadoop.

Примеры использования.

* Использование платформы hadoop в трех отдельно взятых областях: в last.fm (построение charts), в online-advertising'e (построение статистики), в Yahoo (построение поискового индекса).
* Описание традиционного подхода (SQL базы данных) и подхода с использованием Hadoop для каждой из вышеобозначенных проблем. Достоинства и недостатки SQL/Hadoop подхода
* Общий принцип трансляции некоторого подтипа SQL запросов в MapReduce job'ы.

Платформы, построенные поверх Hadoop.

* Краткое описание ETL-framework'а Hive and Pig, построенных на базе Hadoop.
* Примеры использования (на примере facebook.com и Yahoo); сравнение со стандартным SQL подходом

Проблемы с real-time доступом к данным при использовании Apache Hadoop.

* Описания случаев, когда real-time нужен, а когда нет.
* Описание решения простых проблем с realtime: кэширование в памяти (memcached), симбиоз со SQL
* Симбиоз с bigtable-like БД на примере HBase. Краткое описание HBase.

Hadoop как тренд.

* Краткий обзор технических и бизнес проблем, возникающих при использовании Hadoop
* Шумиха вокруг Hadoop и NoSQL подхода. Описание случаев, когда SQL оказывается удобным.


Вконтакте


 
 

Аудиозаписи с конференций Application Developer Days. ссылка

Выходит с 22 декабря 2010 года
Автор: Стас Фомин

Подкастов: 27

Подписчиков: 1

Последняя запись: 31 декабря 2010 года

  1. Открытая Книга
    Аудиокниги и аудиостатьи, рассчитанные на широкую аудиторию. .
  2. Открытый доступ. Любимые книги.
    В этой ленте собраны интересные аудиокниги и аудиостатьи самых разных жанров и направлений для широкой аудитории слушателей.
  3. Тест-драйв
    Впечатления об автомобилях Сергея Стиллавина и его друзей.
  4. Брендятина
    Истории мировых брендов.
  5. Собаки Павлова
    Доктор Давид на страже вашего здоровья.
  6. Школа молодых отцов
    Это должен знать каждый!
  7. Профилактика Онлайн
    «Профилактика» – уже хорошо известный публике шоу-бренд.
  8. ТАСС уполномочен заявить
    Неизвестные факты из истории стран мира.
  9. До 16 и младше
    Мир глазами ребенка
  10. Модель Для Сборки
    Радиопостановки Влада Коппа.
  11. Живые: без лишних слов
    Только музыка из программы "Живые".
  12. Народный продюсер
    Избранные треки из одноименного шоу.
  13. Женщина. Руководство по эксплуатации
    Сергей Стиллавин и Рустам Вахидов обсуждают всё о женщинах.
  14. Живые: полная версия программы
    Разговорно-музыкальное шоу Семена Чайки.
  15. Клуб покупателей
    Руководство для покупателя: как принимать только правильные решения.
  16. Ladywaks
    Брейкс-эфир на Радио Рекорд.
  17. Среда Джаза с Давидом Голощекиным
    Знаменитый петербургский музыкант рассказывает про джаз.
  18. Stereoзвук
    Подкаст о современной электронной музыке.
  19. Мужская триГОНометрия
    Рассуждения уставших мужчин.
  20. Мужчина на кухне
    «Мужчина на кухне». Устно и вкусно!
  21. Дело предубежденного попугая
    Классический детектив Эрла Гарднера в озвучке.
  22. Перченый Питер
    Аудиогид по Санкт-Петербургу.
  23. Новости Науки и Техники
    Подробности последних открытий и достижений.
  24. Рунетология
    Аналитическая программа «Рунетология».
  25. РадиоСтранствия
    Это личный дневник журналистки Маши Веселовой.
  26. Сага о форсайте
    Будущее глазами очевидца.
  27. Рунет сегодня
    Программа о главных событиях российского интернета.
  28. Тори
    Авторское прочтение книги Ильи Чёрта - "Тори".
  29. Аудиобуквы
    Писатель и сценарист Александр Бачило читает свои произведения.
  30. Альманах фантастики
    Цикл рассказов для поклонников фантастики.
  31. Не фантастические горизонты
    Научно-популярный аудиожурнал.
  32. Дело о мрачной девушке
    Аудиокнига "Дело о мрачной девушке".
  33. Аудиокнига "Пещера" (Марина и Сергей Дяченко)
    Лучший роман фантастов Марины и Сергея Дяченко.
  34. Откровенно про IT карьеризм
    Программа о построении карьеры в IT-сферах.
  35. MediaFresh
    Программа о мире публичных коммуникаций.
  36. KeddroCast
    Мы против унылых и сухих обзоров гаджетов и новостей!
  37. Radio Grinch
    Авторская программа Дениса aka Radio Grinch.
  38. Пандем
    Главный роман украинских писателей-фантастов Марины и Сергея Дяченко.
  39. Берись и делай
    Программа о том, как создать бизнес без стартового капитала.
  40. Признаки Времени
    Программа об искусстве и творчестве.
  41. Подкаст журнала «Джаз.Ру»
    Авторский подкаст о джазе.
  42. Electroshock
    Двухчасовое авторское радио-шоу Руслан Севера.
  43. Персонажи
    Герои города Питера.
  44. Правовед
    Правовые аспекты нашей жизни.
  45. PODзарядка
    Программа о спорте и здоровом образе жизни.
  46. Взгляд Максима Кононенко
    Неожиданная трактовка актуальных проблем.
  47. Наука 2.0
    Общедоступно об открытиях в разных областях науки. Убедительно и еженедельно.
  48. Обзор блогов
    Обзор лучших блогов Рунета.
  49. Бухгалтерия.ру
    Все, что нужно знать о цифрах
  50. Свежие Ведомости
    Аудио-выпуск свежего номера газеты “Ведомости"
  51. EAshooters
    Еженедельный подкаст EAshooters.ru
  52. Футбольное обострение
    Программа, в которой болельщики могут высказаться без цензуры.
  53. Автовести
    Все главные новости и новинки мирового и отечественного автопрома. Автор и ведущий - эксперт экстра-класса Леонид Голованов.
 


Обсуждают сейчас rss