You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

239 lines
9.4 KiB

  1. # coding: utf-8
  2. from __future__ import unicode_literals
  3. import re
  4. from .common import InfoExtractor
  5. from ..compat import (
  6. compat_str,
  7. compat_urlparse,
  8. )
  9. from ..utils import (
  10. determine_ext,
  11. ExtractorError,
  12. int_or_none,
  13. parse_iso8601,
  14. remove_end,
  15. )
  16. class LifeNewsIE(InfoExtractor):
  17. IE_NAME = 'life'
  18. IE_DESC = 'Life.ru'
  19. _VALID_URL = r'https?://life\.ru/t/[^/]+/(?P<id>\d+)'
  20. _TESTS = [{
  21. # single video embedded via video/source
  22. 'url': 'https://life.ru/t/новости/98736',
  23. 'md5': '77c95eaefaca216e32a76a343ad89d23',
  24. 'info_dict': {
  25. 'id': '98736',
  26. 'ext': 'mp4',
  27. 'title': 'Мужчина нашел дома архив оборонного завода',
  28. 'description': 'md5:3b06b1b39b5e2bea548e403d99b8bf26',
  29. 'timestamp': 1344154740,
  30. 'upload_date': '20120805',
  31. 'view_count': int,
  32. }
  33. }, {
  34. # single video embedded via iframe
  35. 'url': 'https://life.ru/t/новости/152125',
  36. 'md5': '77d19a6f0886cd76bdbf44b4d971a273',
  37. 'info_dict': {
  38. 'id': '152125',
  39. 'ext': 'mp4',
  40. 'title': 'В Сети появилось видео захвата «Правым сектором» колхозных полей ',
  41. 'description': 'Жители двух поселков Днепропетровской области не простили радикалам угрозу лишения плодородных земель и пошли в лобовую. ',
  42. 'timestamp': 1427961840,
  43. 'upload_date': '20150402',
  44. 'view_count': int,
  45. }
  46. }, {
  47. # two videos embedded via iframe
  48. 'url': 'https://life.ru/t/новости/153461',
  49. 'info_dict': {
  50. 'id': '153461',
  51. 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве',
  52. 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  53. 'timestamp': 1430825520,
  54. 'view_count': int,
  55. },
  56. 'playlist': [{
  57. 'md5': '9b6ef8bc0ffa25aebc8bdb40d89ab795',
  58. 'info_dict': {
  59. 'id': '153461-video1',
  60. 'ext': 'mp4',
  61. 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве (Видео 1)',
  62. 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  63. 'timestamp': 1430825520,
  64. 'upload_date': '20150505',
  65. },
  66. }, {
  67. 'md5': 'ebb3bf3b1ce40e878d0d628e93eb0322',
  68. 'info_dict': {
  69. 'id': '153461-video2',
  70. 'ext': 'mp4',
  71. 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве (Видео 2)',
  72. 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  73. 'timestamp': 1430825520,
  74. 'upload_date': '20150505',
  75. },
  76. }],
  77. }, {
  78. 'url': 'https://life.ru/t/новости/213035',
  79. 'only_matching': True,
  80. }, {
  81. 'url': 'https://life.ru/t/%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8/153461',
  82. 'only_matching': True,
  83. }, {
  84. 'url': 'https://life.ru/t/новости/411489/manuel_vals_nazval_frantsiiu_tsieliu_nomier_odin_dlia_ighil',
  85. 'only_matching': True,
  86. }]
  87. def _real_extract(self, url):
  88. video_id = self._match_id(url)
  89. webpage = self._download_webpage(url, video_id)
  90. video_urls = re.findall(
  91. r'<video[^>]+><source[^>]+src=["\'](.+?)["\']', webpage)
  92. iframe_links = re.findall(
  93. r'<iframe[^>]+src=["\']((?:https?:)?//embed\.life\.ru/(?:embed|video)/.+?)["\']',
  94. webpage)
  95. if not video_urls and not iframe_links:
  96. raise ExtractorError('No media links available for %s' % video_id)
  97. title = remove_end(
  98. self._og_search_title(webpage),
  99. ' - Life.ru')
  100. description = self._og_search_description(webpage)
  101. view_count = self._html_search_regex(
  102. r'<div[^>]+class=(["\']).*?\bhits-count\b.*?\1[^>]*>\s*(?P<value>\d+)\s*</div>',
  103. webpage, 'view count', fatal=False, group='value')
  104. timestamp = parse_iso8601(self._search_regex(
  105. r'<time[^>]+datetime=(["\'])(?P<value>.+?)\1',
  106. webpage, 'upload date', fatal=False, group='value'))
  107. common_info = {
  108. 'description': description,
  109. 'view_count': int_or_none(view_count),
  110. 'timestamp': timestamp,
  111. }
  112. def make_entry(video_id, video_url, index=None):
  113. cur_info = dict(common_info)
  114. cur_info.update({
  115. 'id': video_id if not index else '%s-video%s' % (video_id, index),
  116. 'url': video_url,
  117. 'title': title if not index else '%s (Видео %s)' % (title, index),
  118. })
  119. return cur_info
  120. def make_video_entry(video_id, video_url, index=None):
  121. video_url = compat_urlparse.urljoin(url, video_url)
  122. return make_entry(video_id, video_url, index)
  123. def make_iframe_entry(video_id, video_url, index=None):
  124. video_url = self._proto_relative_url(video_url, 'http:')
  125. cur_info = make_entry(video_id, video_url, index)
  126. cur_info['_type'] = 'url_transparent'
  127. return cur_info
  128. if len(video_urls) == 1 and not iframe_links:
  129. return make_video_entry(video_id, video_urls[0])
  130. if len(iframe_links) == 1 and not video_urls:
  131. return make_iframe_entry(video_id, iframe_links[0])
  132. entries = []
  133. if video_urls:
  134. for num, video_url in enumerate(video_urls, 1):
  135. entries.append(make_video_entry(video_id, video_url, num))
  136. if iframe_links:
  137. for num, iframe_link in enumerate(iframe_links, len(video_urls) + 1):
  138. entries.append(make_iframe_entry(video_id, iframe_link, num))
  139. playlist = common_info.copy()
  140. playlist.update(self.playlist_result(entries, video_id, title, description))
  141. return playlist
  142. class LifeEmbedIE(InfoExtractor):
  143. IE_NAME = 'life:embed'
  144. _VALID_URL = r'https?://embed\.life\.ru/(?:embed|video)/(?P<id>[\da-f]{32})'
  145. _TESTS = [{
  146. 'url': 'http://embed.life.ru/embed/e50c2dec2867350528e2574c899b8291',
  147. 'md5': 'b889715c9e49cb1981281d0e5458fbbe',
  148. 'info_dict': {
  149. 'id': 'e50c2dec2867350528e2574c899b8291',
  150. 'ext': 'mp4',
  151. 'title': 'e50c2dec2867350528e2574c899b8291',
  152. 'thumbnail': r're:http://.*\.jpg',
  153. }
  154. }, {
  155. # with 1080p
  156. 'url': 'https://embed.life.ru/video/e50c2dec2867350528e2574c899b8291',
  157. 'only_matching': True,
  158. }]
  159. def _real_extract(self, url):
  160. video_id = self._match_id(url)
  161. webpage = self._download_webpage(url, video_id)
  162. thumbnail = None
  163. formats = []
  164. def extract_m3u8(manifest_url):
  165. formats.extend(self._extract_m3u8_formats(
  166. manifest_url, video_id, 'mp4',
  167. entry_protocol='m3u8_native', m3u8_id='m3u8'))
  168. def extract_original(original_url):
  169. formats.append({
  170. 'url': original_url,
  171. 'format_id': determine_ext(original_url, None),
  172. 'preference': 1,
  173. })
  174. playlist = self._parse_json(
  175. self._search_regex(
  176. r'options\s*=\s*({.+?});', webpage, 'options', default='{}'),
  177. video_id).get('playlist', {})
  178. if playlist:
  179. master = playlist.get('master')
  180. if isinstance(master, compat_str) and determine_ext(master) == 'm3u8':
  181. extract_m3u8(compat_urlparse.urljoin(url, master))
  182. original = playlist.get('original')
  183. if isinstance(original, compat_str):
  184. extract_original(original)
  185. thumbnail = playlist.get('image')
  186. # Old rendition fallback
  187. if not formats:
  188. for video_url in re.findall(r'"file"\s*:\s*"([^"]+)', webpage):
  189. video_url = compat_urlparse.urljoin(url, video_url)
  190. if determine_ext(video_url) == 'm3u8':
  191. extract_m3u8(video_url)
  192. else:
  193. extract_original(video_url)
  194. self._sort_formats(formats)
  195. thumbnail = thumbnail or self._search_regex(
  196. r'"image"\s*:\s*"([^"]+)', webpage, 'thumbnail', default=None)
  197. return {
  198. 'id': video_id,
  199. 'title': video_id,
  200. 'thumbnail': thumbnail,
  201. 'formats': formats,
  202. }