You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

209 lines
8.4 KiB

  1. # encoding: utf-8
  2. from __future__ import unicode_literals
  3. import re
  4. from .common import InfoExtractor
  5. from ..compat import compat_urlparse
  6. from ..utils import (
  7. determine_ext,
  8. ExtractorError,
  9. int_or_none,
  10. parse_iso8601,
  11. remove_end,
  12. )
  13. class LifeNewsIE(InfoExtractor):
  14. IE_NAME = 'life'
  15. IE_DESC = 'Life.ru'
  16. _VALID_URL = r'https?://life\.ru/t/[^/]+/(?P<id>\d+)'
  17. _TESTS = [{
  18. # single video embedded via video/source
  19. 'url': 'https://life.ru/t/новости/98736',
  20. 'md5': '77c95eaefaca216e32a76a343ad89d23',
  21. 'info_dict': {
  22. 'id': '98736',
  23. 'ext': 'mp4',
  24. 'title': 'Мужчина нашел дома архив оборонного завода',
  25. 'description': 'md5:3b06b1b39b5e2bea548e403d99b8bf26',
  26. 'timestamp': 1344154740,
  27. 'upload_date': '20120805',
  28. 'view_count': int,
  29. }
  30. }, {
  31. # single video embedded via iframe
  32. 'url': 'https://life.ru/t/новости/152125',
  33. 'md5': '77d19a6f0886cd76bdbf44b4d971a273',
  34. 'info_dict': {
  35. 'id': '152125',
  36. 'ext': 'mp4',
  37. 'title': 'В Сети появилось видео захвата «Правым сектором» колхозных полей ',
  38. 'description': 'Жители двух поселков Днепропетровской области не простили радикалам угрозу лишения плодородных земель и пошли в лобовую. ',
  39. 'timestamp': 1427961840,
  40. 'upload_date': '20150402',
  41. 'view_count': int,
  42. }
  43. }, {
  44. # two videos embedded via iframe
  45. 'url': 'https://life.ru/t/новости/153461',
  46. 'info_dict': {
  47. 'id': '153461',
  48. 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве',
  49. 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  50. 'timestamp': 1430825520,
  51. 'view_count': int,
  52. },
  53. 'playlist': [{
  54. 'md5': '9b6ef8bc0ffa25aebc8bdb40d89ab795',
  55. 'info_dict': {
  56. 'id': '153461-video1',
  57. 'ext': 'mp4',
  58. 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве (Видео 1)',
  59. 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  60. 'timestamp': 1430825520,
  61. 'upload_date': '20150505',
  62. },
  63. }, {
  64. 'md5': 'ebb3bf3b1ce40e878d0d628e93eb0322',
  65. 'info_dict': {
  66. 'id': '153461-video2',
  67. 'ext': 'mp4',
  68. 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве (Видео 2)',
  69. 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  70. 'timestamp': 1430825520,
  71. 'upload_date': '20150505',
  72. },
  73. }],
  74. }, {
  75. 'url': 'https://life.ru/t/новости/213035',
  76. 'only_matching': True,
  77. }, {
  78. 'url': 'https://life.ru/t/%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8/153461',
  79. 'only_matching': True,
  80. }, {
  81. 'url': 'https://life.ru/t/новости/411489/manuel_vals_nazval_frantsiiu_tsieliu_nomier_odin_dlia_ighil',
  82. 'only_matching': True,
  83. }]
  84. def _real_extract(self, url):
  85. video_id = self._match_id(url)
  86. webpage = self._download_webpage(url, video_id)
  87. video_urls = re.findall(
  88. r'<video[^>]+><source[^>]+src=["\'](.+?)["\']', webpage)
  89. iframe_links = re.findall(
  90. r'<iframe[^>]+src=["\']((?:https?:)?//embed\.life\.ru/embed/.+?)["\']',
  91. webpage)
  92. if not video_urls and not iframe_links:
  93. raise ExtractorError('No media links available for %s' % video_id)
  94. title = remove_end(
  95. self._og_search_title(webpage),
  96. ' - Life.ru')
  97. description = self._og_search_description(webpage)
  98. view_count = self._html_search_regex(
  99. r'<div[^>]+class=(["\']).*?\bhits-count\b.*?\1[^>]*>\s*(?P<value>\d+)\s*</div>',
  100. webpage, 'view count', fatal=False, group='value')
  101. timestamp = parse_iso8601(self._search_regex(
  102. r'<time[^>]+datetime=(["\'])(?P<value>.+?)\1',
  103. webpage, 'upload date', fatal=False, group='value'))
  104. common_info = {
  105. 'description': description,
  106. 'view_count': int_or_none(view_count),
  107. 'timestamp': timestamp,
  108. }
  109. def make_entry(video_id, video_url, index=None):
  110. cur_info = dict(common_info)
  111. cur_info.update({
  112. 'id': video_id if not index else '%s-video%s' % (video_id, index),
  113. 'url': video_url,
  114. 'title': title if not index else '%s (Видео %s)' % (title, index),
  115. })
  116. return cur_info
  117. def make_video_entry(video_id, video_url, index=None):
  118. video_url = compat_urlparse.urljoin(url, video_url)
  119. return make_entry(video_id, video_url, index)
  120. def make_iframe_entry(video_id, video_url, index=None):
  121. video_url = self._proto_relative_url(video_url, 'http:')
  122. cur_info = make_entry(video_id, video_url, index)
  123. cur_info['_type'] = 'url_transparent'
  124. return cur_info
  125. if len(video_urls) == 1 and not iframe_links:
  126. return make_video_entry(video_id, video_urls[0])
  127. if len(iframe_links) == 1 and not video_urls:
  128. return make_iframe_entry(video_id, iframe_links[0])
  129. entries = []
  130. if video_urls:
  131. for num, video_url in enumerate(video_urls, 1):
  132. entries.append(make_video_entry(video_id, video_url, num))
  133. if iframe_links:
  134. for num, iframe_link in enumerate(iframe_links, len(video_urls) + 1):
  135. entries.append(make_iframe_entry(video_id, iframe_link, num))
  136. playlist = common_info.copy()
  137. playlist.update(self.playlist_result(entries, video_id, title, description))
  138. return playlist
  139. class LifeEmbedIE(InfoExtractor):
  140. IE_NAME = 'life:embed'
  141. _VALID_URL = r'https?://embed\.life\.ru/embed/(?P<id>[\da-f]{32})'
  142. _TEST = {
  143. 'url': 'http://embed.life.ru/embed/e50c2dec2867350528e2574c899b8291',
  144. 'md5': 'b889715c9e49cb1981281d0e5458fbbe',
  145. 'info_dict': {
  146. 'id': 'e50c2dec2867350528e2574c899b8291',
  147. 'ext': 'mp4',
  148. 'title': 'e50c2dec2867350528e2574c899b8291',
  149. 'thumbnail': 're:http://.*\.jpg',
  150. }
  151. }
  152. def _real_extract(self, url):
  153. video_id = self._match_id(url)
  154. webpage = self._download_webpage(url, video_id)
  155. formats = []
  156. for video_url in re.findall(r'"file"\s*:\s*"([^"]+)', webpage):
  157. video_url = compat_urlparse.urljoin(url, video_url)
  158. ext = determine_ext(video_url)
  159. if ext == 'm3u8':
  160. formats.extend(self._extract_m3u8_formats(
  161. video_url, video_id, 'mp4',
  162. entry_protocol='m3u8_native', m3u8_id='m3u8'))
  163. else:
  164. formats.append({
  165. 'url': video_url,
  166. 'format_id': ext,
  167. 'preference': 1,
  168. })
  169. self._sort_formats(formats)
  170. thumbnail = self._search_regex(
  171. r'"image"\s*:\s*"([^"]+)', webpage, 'thumbnail', default=None)
  172. return {
  173. 'id': video_id,
  174. 'title': video_id,
  175. 'thumbnail': thumbnail,
  176. 'formats': formats,
  177. }