You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

203 lines
8.2 KiB

  1. # encoding: utf-8
  2. from __future__ import unicode_literals
  3. import re
  4. from .common import InfoExtractor
  5. from ..compat import compat_urlparse
  6. from ..utils import (
  7. determine_ext,
  8. int_or_none,
  9. remove_end,
  10. unified_strdate,
  11. ExtractorError,
  12. )
  13. class LifeNewsIE(InfoExtractor):
  14. IE_NAME = 'lifenews'
  15. IE_DESC = 'LIFE | NEWS'
  16. _VALID_URL = r'http://lifenews\.ru/(?:mobile/)?(?P<section>news|video)/(?P<id>\d+)'
  17. _TESTS = [{
  18. # single video embedded via video/source
  19. 'url': 'http://lifenews.ru/news/98736',
  20. 'md5': '77c95eaefaca216e32a76a343ad89d23',
  21. 'info_dict': {
  22. 'id': '98736',
  23. 'ext': 'mp4',
  24. 'title': 'Мужчина нашел дома архив оборонного завода',
  25. 'description': 'md5:3b06b1b39b5e2bea548e403d99b8bf26',
  26. 'upload_date': '20120805',
  27. }
  28. }, {
  29. # single video embedded via iframe
  30. 'url': 'http://lifenews.ru/news/152125',
  31. 'md5': '77d19a6f0886cd76bdbf44b4d971a273',
  32. 'info_dict': {
  33. 'id': '152125',
  34. 'ext': 'mp4',
  35. 'title': 'В Сети появилось видео захвата «Правым сектором» колхозных полей ',
  36. 'description': 'Жители двух поселков Днепропетровской области не простили радикалам угрозу лишения плодородных земель и пошли в лобовую. ',
  37. 'upload_date': '20150402',
  38. }
  39. }, {
  40. # two videos embedded via iframe
  41. 'url': 'http://lifenews.ru/news/153461',
  42. 'info_dict': {
  43. 'id': '153461',
  44. 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве',
  45. 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  46. 'upload_date': '20150505',
  47. },
  48. 'playlist': [{
  49. 'md5': '9b6ef8bc0ffa25aebc8bdb40d89ab795',
  50. 'info_dict': {
  51. 'id': '153461-video1',
  52. 'ext': 'mp4',
  53. 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве (Видео 1)',
  54. 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  55. 'upload_date': '20150505',
  56. },
  57. }, {
  58. 'md5': 'ebb3bf3b1ce40e878d0d628e93eb0322',
  59. 'info_dict': {
  60. 'id': '153461-video2',
  61. 'ext': 'mp4',
  62. 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве (Видео 2)',
  63. 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  64. 'upload_date': '20150505',
  65. },
  66. }],
  67. }, {
  68. 'url': 'http://lifenews.ru/video/13035',
  69. 'only_matching': True,
  70. }]
  71. def _real_extract(self, url):
  72. mobj = re.match(self._VALID_URL, url)
  73. video_id = mobj.group('id')
  74. section = mobj.group('section')
  75. webpage = self._download_webpage(
  76. 'http://lifenews.ru/%s/%s' % (section, video_id),
  77. video_id, 'Downloading page')
  78. video_urls = re.findall(
  79. r'<video[^>]+><source[^>]+src=["\'](.+?)["\']', webpage)
  80. iframe_links = re.findall(
  81. r'<iframe[^>]+src=["\']((?:https?:)?//embed\.life\.ru/embed/.+?)["\']',
  82. webpage)
  83. if not video_urls and not iframe_links:
  84. raise ExtractorError('No media links available for %s' % video_id)
  85. title = remove_end(
  86. self._og_search_title(webpage),
  87. ' - Первый по срочным новостям — LIFE | NEWS')
  88. description = self._og_search_description(webpage)
  89. view_count = self._html_search_regex(
  90. r'<div class=\'views\'>\s*(\d+)\s*</div>', webpage, 'view count', fatal=False)
  91. comment_count = self._html_search_regex(
  92. r'=\'commentCount\'[^>]*>\s*(\d+)\s*<',
  93. webpage, 'comment count', fatal=False)
  94. upload_date = self._html_search_regex(
  95. r'<time[^>]*datetime=\'([^\']+)\'', webpage, 'upload date', fatal=False)
  96. if upload_date is not None:
  97. upload_date = unified_strdate(upload_date)
  98. common_info = {
  99. 'description': description,
  100. 'view_count': int_or_none(view_count),
  101. 'comment_count': int_or_none(comment_count),
  102. 'upload_date': upload_date,
  103. }
  104. def make_entry(video_id, video_url, index=None):
  105. cur_info = dict(common_info)
  106. cur_info.update({
  107. 'id': video_id if not index else '%s-video%s' % (video_id, index),
  108. 'url': video_url,
  109. 'title': title if not index else '%s (Видео %s)' % (title, index),
  110. })
  111. return cur_info
  112. def make_video_entry(video_id, video_url, index=None):
  113. video_url = compat_urlparse.urljoin(url, video_url)
  114. return make_entry(video_id, video_url, index)
  115. def make_iframe_entry(video_id, video_url, index=None):
  116. video_url = self._proto_relative_url(video_url, 'http:')
  117. cur_info = make_entry(video_id, video_url, index)
  118. cur_info['_type'] = 'url_transparent'
  119. return cur_info
  120. if len(video_urls) == 1 and not iframe_links:
  121. return make_video_entry(video_id, video_urls[0])
  122. if len(iframe_links) == 1 and not video_urls:
  123. return make_iframe_entry(video_id, iframe_links[0])
  124. entries = []
  125. if video_urls:
  126. for num, video_url in enumerate(video_urls, 1):
  127. entries.append(make_video_entry(video_id, video_url, num))
  128. if iframe_links:
  129. for num, iframe_link in enumerate(iframe_links, len(video_urls) + 1):
  130. entries.append(make_iframe_entry(video_id, iframe_link, num))
  131. playlist = common_info.copy()
  132. playlist.update(self.playlist_result(entries, video_id, title, description))
  133. return playlist
  134. class LifeEmbedIE(InfoExtractor):
  135. IE_NAME = 'life:embed'
  136. _VALID_URL = r'http://embed\.life\.ru/embed/(?P<id>[\da-f]{32})'
  137. _TEST = {
  138. 'url': 'http://embed.life.ru/embed/e50c2dec2867350528e2574c899b8291',
  139. 'md5': 'b889715c9e49cb1981281d0e5458fbbe',
  140. 'info_dict': {
  141. 'id': 'e50c2dec2867350528e2574c899b8291',
  142. 'ext': 'mp4',
  143. 'title': 'e50c2dec2867350528e2574c899b8291',
  144. 'thumbnail': 're:http://.*\.jpg',
  145. }
  146. }
  147. def _real_extract(self, url):
  148. video_id = self._match_id(url)
  149. webpage = self._download_webpage(url, video_id)
  150. formats = []
  151. for video_url in re.findall(r'"file"\s*:\s*"([^"]+)', webpage):
  152. video_url = compat_urlparse.urljoin(url, video_url)
  153. ext = determine_ext(video_url)
  154. if ext == 'm3u8':
  155. formats.extend(self._extract_m3u8_formats(
  156. video_url, video_id, 'mp4', m3u8_id='m3u8'))
  157. else:
  158. formats.append({
  159. 'url': video_url,
  160. 'format_id': ext,
  161. 'preference': 1,
  162. })
  163. self._sort_formats(formats)
  164. thumbnail = self._search_regex(
  165. r'"image"\s*:\s*"([^"]+)', webpage, 'thumbnail', default=None)
  166. return {
  167. 'id': video_id,
  168. 'title': video_id,
  169. 'thumbnail': thumbnail,
  170. 'formats': formats,
  171. }