KVS 5.2.0

26 June, 2020

Что нового в версии 5.2.0

Пакет улучшений и оптимизаций движка конвертации:

  1. При использовании локальных серверов конвертации движок больше не будет копировать и дублировать исходные файлы, что в целом призвано снизить нагрузку на файловую систему во время обработки видео.
  2. Улучшено логгирование процессов конвертации: логи видео станут значительно короче и не будут содержать вырезки из логов ffmpeg, если во время конвертации все идет по плану.
  3. Фоновые задачи, которые выполнялись на главном сервере по большому объему данных, переписаны через итеративный подход. Это значит что данные типы задач (например, создание нового формата скриншотов) больше не будут блокировать движок конвертации на длительное время, как это происходило ранее в случае больших баз видео.
  4. Пост-процессинг MP4 видеофайлов упрощен по использованию ресурсов: KVS теперь будет проверять необходимость пост-процессинга и не делать его без необходимости. Это сэкономит ресурсы файловой системы на сервере конвертации, что особенно важно, когда он локальный.
  5. Форматы видео теперь поддерживают 2 разных ватермарка параллельно. Это можно использовать для показа своего логотипа поверх видео и параллельно показа бегущей строки с копирайтом в разных эпизодах видео. Кроме того, для ватермарков теперь можно указывать максимальный процент от ширины видео отдельно для вертикальных и горизонтальных видео, что позволит идеально подогнать ватермарк для всех случаев.
  6. Добавлена архивация логов видео, альбомов и фоновых задач, чтобы снизить размер занимаемого пространства и кол-во файлов на файловой системе.
  7. В форматах видео в опциях ffmpeg теперь поддерживается возможность указания кастомного набора фильтров видео в опции -vf.

Улучшения по скриншотам видео:

  1. Изменена концепция применения кропа к скриншотам. Ранее кроп применялся при создании форматов скриншотов, а исходные файлы скриншотов оставались нетронутыми. Сейчас мы решили переделать эту схему, и по всем новым видео KVS будет применять кроп уже к исходным файлам скриншотов. При этом исходные файлы по старым видео останутся нетронутыми.
  2. В настройках кропа теперь можно включить галочку автоматического удаления черных полос со скриншотов. Данная опция будет включена по умолчанию после обновления.
  3. Изменился подход к файлам скриншотов, загружаемых вручную. Если раньше загружаемые вручную скриншоты никогда не кропились и на них не накладывался ватермарк, то сейчас в настройках контента появились опции, которые позволяют включить и кроп, и ватермарк для загружаемых вручную скриншотов.
  4. Благодаря этим улучшениям исправилась также проблема, при которой на загруженные вручную скриншоты при создании новых форматов скриншотов шло наложение и кропа, и ватермарка, и полных опций обработки ImageMagick, что могло приводить к ухучшению их качества в новых форматах. Теперь для новых видео данная проблема перестанет быть актуальной.
  5. Добавлена новая группа скриншотов - постеры, которые поддерживают свой отдельный набор форматов. Скриншоты этой группы можно только загрузить вручную.
  6. Скриншоты для вертикальных видео стали лучше! Во-первых, в форматах скриншотов теперь можно выбирать разные настройки ресайза для вертикальных и горизонтальных видео. Во-вторых, в случаях когда аспект ратио видео отличается от аспект ратио скриншота (например, у вертикальных видео), вместо черных полос по краям теперь будет отображаться размытое изображение скриншота.
  7. Улучшена юзабилити работы со скриншотами в панели администрирования.
  8. Ручной граббинг скриншотов в панели администрирования теперь будет учитывать ограничения по LA и интервалу времени в настройках контента и не позволять запускать граббинг при попадании в эти ограничения.
  9. В массовом редактировании появилась возможность удалить обзорные скриншоты у выбранных видео, а также пересоздать любые форматы скриншотов исключительно для выбранного набора видео.

Улучшения по фидам экспорта:

  1. Появилась возможность экспортировать неактивные видео.
  2. Добавлена поддержка статических фильтров по всей категоризации и флагу администратора.
  3. Теперь в фидах экспорта можно использовать несколько параметров для трекинга трафика (ранее можно было только 1). Данные параметры будут автоматически добавляться ко всем ссылкам и embed кодам, которые выдает фид.
  4. Добавлена поддержка сателлитов и возможность через фиды экспорта сформировать ссылки через любой сателлит.
  5. Фиды экспорта теперь вместо документации в текстовом формате выводят удобную форму, которая позволяет легко настроить все опции фида и получить данные в нужном формате.
  6. Изменена логика работы фильтров по формату видео, которые можно было передавать на фид экспорта. Раньше фильтры по форматам работали таким образом, что в случае отсутствия у видео указанного формата, вместо ссылки на видеофайл этого формата выдавалась ссылка на любой другой видеофайл. Мы решили переделать этот аспект, чтобы фильтрация по форматам видео выдавала ссылки только в тех случаях, когда у видео есть видеофайл данного формата. По этой причине мы также изменили названия параметров - вместо video_format_standard и video_format_premium это теперь video_format_1 и video_format_2. Данное изменение приведет к потере работоспособности старых ссылок на фиды экспорта, если они используют старые названия параметров. Чтобы они снова заработали, будет необходимо открыть ссылку фида в браузере и в появившейся форме выбрать заново фильтры по форматам, чтобы получить новый формат ссылки. Также вы должны понимать, что некоторые видео в фиде после этого могут приводить к ошибкам импорта, т.к. у них может не быть заполнено поле видеофайла - для тех видео, у которых отсутствует файл данного формата.

Улучшения по фидам импорта:

  1. Фиды импорта в формате KVS теперь стали гораздо удобнее. Во-первых, для них можно галочками выбрать какие данные они должны импортировать, а какие нет. Во-вторых, теперь они позволяют импортировать сразу несколько форматов видео (например, основной видеофайл и превью).
  2. Улучшено логгирование фидов, а также появилась возможность указать длительность хранения логов, чтобы старые логи подчищались самостоятельно.
  3. Фиды импорта стали поддерживать автоматическое удаление видео. Для фидов CSV формата вы должны будете указать URL фида удаленных видео, который выдает ссылки на страницы удаленных видео. При этом в качестве ключевого поля в настройках данных фида у вас должен быть выбран URL страницы видео, чтобы KVS мог их сопоставить. Для фидов KVS формата все намного проще - для них не накладывается никаких дополнительных условий.
  4. В настройках фидов импорта появилась возможность указать статические фильтры не только по длительности, но и по рейтингу, популярности и терминологии. Это позволит ограничивать поток импорта, даже если фид, откуда берутся данные, не поддерживает такую фильтрацию.
  5. Мы также добавили поддержку плагина грабберов в фидах импорта. Это позволит вам либо настраиваться на RSS каналы с нужными данными для дальнейшего граббинга видео в этих каналах через плагин грабберов, либо самостоятельно формировать списки страниц с видео, которые вы хотите сграббить и скармливать их фиду импорта.

Улучшения плеера KVS и VAST:

  1. Плеер стал поддерживать несколько VAST рекламодателей в одном XML файле. Это может использоваться некоторыми рекламными брокерами для указания альтернативных рекламодателей с целью повышения конверсии.
  2. При отображении VPAID рекламы наш плеер теперь будет создавать несколько иную структуру HTML для поддержки более широкого круга рекламодателей, которые чувствительны к структуре верстки рекламного блока.
  3. Таймаут VAST, который задается в настройках плеера KVS теперь будет действовать не ко всей рекламе в целом, а по каждому рекламодателю отдельно. Это поможет в случае медленной работы одного из рекламодателей, что позволит дать шанс другим (альтернативным) рекламодателям показать рекламу.
  4. В настройках плеера теперь можно указывать любое кол-во альтернативных VAST рекламодателей, которые будут использоваться по очереди до тех пор, пока какой-либо из них не покажет рекламу.
  5. Улучшено логгирование ошибок рекламы в плеере.
  6. Значительные изменения произошли в VAST профилях. Для каждого рекламодателя в VAST профиле теперь также можно указать список его альтернативных рекламодателей. Кардинально изменилась логика работы фильтра по странам. Раньше при использовании странового фильтра, как правило, было необходимо задать еще одного рекламодателя без указания стран, чтобы он использовался как бы по умолчанию для всех остальных стран. Данная схема настроек оказалась не совсем удачной, и мы изменили поведение страновых фильтров. Теперь в настройках каждого рекламодателя в профиле VAST можно задать для каких стран он должен включаться, либо для каких стран он должен исключаться. При этом, рекламодатель с пустым набором стран будет включаться абсолютно для всех стран.
  7. В дополнение к фильтру по странам мы добавили фильтр по реферерам, чтобы позволить еще более глубокий контроль над монетизацией VAST рекламы. Очень часто сайты, которые продают трафик, имеют ограничения по тому, какая рекламы и какой длительности может быть показана для их трафика. Такая реклама, как правило, имеет более низкие рейты, что не позволяет вам использовать полноценную монетизацию при покупке трафика, даже если вы покупаете только небольшую его часть. Теперь эта проблема может быть решена при помощи фильтрации по реферерам - она позволит вам использовать разные стратегии монетизации для трафика из разных источников.
  8. Изменение настроек плеера теперь будет автоматически сбрасывать кэш блоков просмотра видео. Тем самым, новые настройки будут вступать в действие сразу же. Ранее изменение настроек плеера не приводило к обнулению кэша и вступало в силу постепенно для разных видео (как правило в пределах часа, но не сразу).
  9. Ключ для VAST подписки теперь не требуется прописывать в настройках плеера, он будет автоматически подтягиваться из репозитория KVS. Кроме удобства это также добавит поддержку зеркал, что ранее было возможно только через шаблон.

Улучшения статистики:

  1. В статистике трафика и плеера теперь будет доступна сегментация по типу устройств: десктопы, телефоны, планшеты. Для ее включения необходимо воспользоваться опцией в настройках статистики.
  2. В статистике по плееру также можно получить сегментацию статистики по профилям embed кодов. Это может пригодиться в случае раздачи embed кодов на свои сторонние сайты и необходимости анализа по каждому из сайтов.
  3. Общая статистика по трафику теперь также будет включать статистику по проигрываниям видео в плеере для лучшей детализации качества трафика.
  4. Поисковые запросы, которые добавляются из панели администрирования больше не будут автоматически очищаться вместе с остальной статистикой поиска. Также в настройках статистики поиска появилась возможность форсировать приведение поисковых запросов к нижнему регистру.

Другие улучшения:

  1. Добавлен модуль антиспама. Он анализирует кол-во отправленных данных одного типа с одинакового IP / логина или от всех пользователей. Если это кол-во превосходит указанный лимит (например, с одного IP будет сделано более 10 комментариев за 300 секунд, или всего будет сделано более 10 комментариев за 300 секунд), все будущие данные этого же типа (например, комментарии) от этого же IP или от всех пользователей будут обрабатываться по заданным правилам. Правила позволяют настроить несколько различных уровней строгости действий: включить каптчу, добавить но деактивировать, удалить без оповещения или показать ошибку.
  2. Загрузка файлов с диска переведена на загрузку по фрагментам, что позволяет обойти практически любое ограничение на размер загружаемых файлов. Это особенно актуально для проектов, работающих под Cloudflare. Ранее для них можно было переводить загрузку файлов на сабдомен, теперь же данная проблема должна решиться сама собой без использования сабдомена. Обновление автоматически переключит загрузку в панели администрирования, в то время как для переключения сайта потребуется обновлять JS файл темы (информация об этом будет представлена на форуме).
  3. KVS переведен на модуль PHP Memcached. Так сложилось, что в PHP5 было несколько похожих модулей для работы с библиотекой Memcached. После перехода на PHP7, модуль, который ранее использовался в KVS, был удален из официального репозитория. Теперь KVS поддерживает "правильный" модуль для работы с Memcached.
  4. В массовом редактировании альбомов появилась возможность пересоздать любые форматы альбомов только для указанного набора альбомов. Ранее пересоздание форматов альбомов можно было запустить только для всей базы альбомов.
  5. В рекламе в фильтрам по браузерам добавилась поддержка Yandex и UCBrowser.
  6. Несколько улучшилась концепция разделения контента между работниками. Ранее можно было ограничить работников на доступ только к тому контенту, для которого они назначены администраторами. Возможность назначать администраторов контенту была доступна только для суперадминов; в новой версии мы сделали такую возможность доступной для любых администраторов с привилегией на администрирование. Кроме этого мы ввели возможность разграничения доступа через флаги администратора, что, возможно, будет более удобной альтернативой. Также появилась возможность деактивировать администраторов, а не удалять их.
  7. В опциях ручного импорта появилась возможность выключить проверку галерей грабберами. На самом деле данная проверка скорее вещь ненужная, чем нужная, поскольку она, во-первых, дублирует все запросы на сайт-источник и может повлиять на блокировку IP, а во-вторых, она может занимать значительное время.
  8. Улучшился интерфейс плагина статистики контента. Плагин теперь показывает историю недавних запусков, а в самих результатах при выводе дискового пространства, занятого на серверах хранения, позволяет получить разбиение по группам хранения.
  9. Плагин генерации аватаров из категорий теперь будет использовать лучшую тумбу по CTR, если включена ротация скриншотов. Ранее плагин всегда брал главную тумбу, без учета их CTR.
  10. Добавлен плагин для интеграции с AWE Black Label. Для подключения просьба связаться с нашей службой поддержки.
  11. Улучшено тестирование серверов хранения. Теперь KVS будет проверять проблемы с SSL настройками удаленных серверов хранения и сообщать о них автоматически.
  12. Панель администрирования теперь будет подсвечивать неактивные объекты категоризации в интерфейсе их селекторов. Также будет доступна возможность отфильтровать неактивные объекты категоризации.
  13. Теперь при удалении пользователей будут также удаляться и их комментарии. За это отвечает отдельная опция удаления с контентом. Ранее комментарии пользователей не удалялись, а переводились на анонимного пользователя, что могло приводить к невозможности массово удалить спам.
  14. Добавлена поддержка каптчи в блоках post_edit, playlist_edit и dvd_edit.
  15. Функционал блока invite_friend был полностью удален как устаревший. Мы рекомендуем убрать ссылку на этот блок в футере сайта, в любом случае он не будет больше работать.
  16. В блоке logon реализована поддержка функционала SSO (Single Sign-On). Этот функционал будет полезен при интеграции KVS с другими вашими проектами (форумом или другой мемберзоной). Суть в том, чтобы вам не нужно было каким-либо образом интегрировать ваших пользователей в KVS, а достаточно было бы сформировать зашифрованную ссылку, подписанную секретным ключом, и предоставить ее пользователю. Кликая по данной ссылке, пользователь автоматически получит профиль в базе KVS и сразу же станет залогиненным без необходимости ввода пароля. Это очень удобная, безопасная и простая для реализации концепция.
  17. Улучшилась логика параметра randomize_positions в блоке list_videos. Этот параметр используется для инъекции случайных видео внутрь списка, отсортированного по CTR, чтобы добавлять примесь в ротатор и позволять новым видео отротироваться. Теперь инъекция больше не будет случайной - добавлен параметр randomize_positions_sort_by, в котором можно выбрать по какой сортировке выбирать примесь. Кроме этого, раньше инъекции заменяли топовые видео и могли приводить к падению кликабельности всего блока, а сейчас они будут сдвигать топовые видео на следующие позиции, тем самым наиболее кликабельные видео всегда будут отображаться в списке.
  18. В блоке list_models появилась возможность динамической фильтрации по доп. полям.
  19. В блоке list_members появилась возможность статической фильтрации по статусу пользователя.
  20. Пустые результаты поиска при включенном параметре search_empty_404 будут просто выдавать 404 статус без использования системной 404 страницы. Это приведет к тому, что поиск данных, которых нет в вашей базе, выдаст страницу с пустыми результатами поиска и 404 статусом.

Исправлены следующие баги:

  1. [СЕРЬЕЗНО] В ручном экспорте видео и альбомов нельзя было выбрать более 5 полей (появился после 5.1.0).
  2. [СЕРЬЕЗНО] У сателлитов не отображался список администраторов в панели администрирования (появился после 5.1.1).
  3. [СРЕДНЕ] Поисковая статистика не учитывала регистр поисковых запросов и могла приводить к дубликатам запросов с разным регистром (появился после 5.1.1).
  4. [СРЕДНЕ] Загрузка видеофайла по ссылке через сайт могла приводить к ошибке для медленно скачиваемых файлов.
  5. [СРЕДНЕ] В блоке list_models неправильно работал параметр show_model_groups.
  6. [СРЕДНЕ] KVS иногда мог сам удалять /tmp директорию.
  7. [СРЕДНЕ] NATS User Management постбэк мог не учитывать некоторые случаи конверсий.
  8. [МЕЛОЧЬ] В случае большого ручного импорта данных проверка импорта могла занимать неприлично длительное время.
  9. [МЕЛОЧЬ] В некоторых случаях в статистику по трафику могли попадать даты из будущего.
  10. [МЕЛОЧЬ] Стоп-слова имели приоритет над регулярными выражениями автозамены, хотя по логике должно быть наоборот.
  11. [МЕЛОЧЬ] При деактивации сервера конвертации задачи, которые уже начали выполняться на этом сервере, выдавали ошибку вместо успешного завершения.
Новая версия KVS 6.2.0 доступна Оформить заказ