Поиск по лекциям КОБ

[iprst]

Пякин — все стенограммы В–О в наличии (а также комментарии под выпусками, которые не попадают в текущий поиск).
Зазнобин — распознать в текст все видеозаписи с сайта https://zaznob.in/ и добавить в источники поиска.
Ефимов, Величко, Петров — также к рассмотрению на будущее. Возможно добавить и других деятелей.

[audetv]

Да, можно запустить например яндекс распознавание голоса и сделать текстовые варианты https://cloud.yandex.ru/services/speechkit
Ну или что то подобное, делитесь ссылками.

[iprst]

Владивосток предлагает

разместить объявление на сайте — производится поиск стенограмм лекций Зазнобина В.М. и почтовый ящик

И ещё

Вот еще нашёл сайт:
https://mediamera.ru/post/22

Здесь практически все лекции Зазнобина В.М. есть в аудио формате. У небольшого количества лекций есть текст и ссылки на субтитры. Есть также авторское описание видео. Я к тому, что просто аудиодорожки скорее всего проще в текст переводить, чем видео.

И ещё

https://www.seonews.ru/analytics/7-sposobov-perevoda-video-v-tekst/
Пробовали вот эти варианты? Постараюсь опробовать варианты, может что получится.

В принципе могут быть рабочие варианты.

[iprst]

Всеми руками за облачные вычисления, но пока в них «не верю» — долго, дорого, мало.

Потратил несколько дней на изучение вопроса и оценку наших возможностей.

• На сайте «Зазнобин» опубликовано 154 видео.
• Сохранил локально раздел сайта с видео с помощью WinHTTrack.
• Отпарсил ссылки на ютуб в Sublime, получил все 154 ссылки и правильные названия роликов для синхронизации.
• Отдал ссылки загрузчику JDownload, извлекая только аудио из файлов (иначе можно получить 250+ Гб).
• Получил на выходе 155 аудио-файлов весом до 50 Мб – 1 Гб и длительностью от 15 минут до трёх часов.
• Статистика dBpoweramp говорит, что суммарная длительность файлов равна 280 часов 17 минут.

Вы уже видите куда я клоню, даже в пожатом формате m4a (или opus или mp3) на руках 20 Гб данных, очевидно, что никакой облачный сервис не даст возможности распознать все эти файлы, слишком большой объём. Только платные сервисы с большим облаком и жирным API могут справиться с задачей в её полноте, но платно.

Протестировал бесплатные решения. В целом, все они (без исключения) реализованы на открытых, общеизвестных библиотеках ASR (automatic speech recognition — автоматическое распознавание речи) и STT (speech to text — речь в текст), при этом по понятным причинам они основаны в первую очередь на англоязычных моделях, и в первую очередь на небольших специализированных словарях. Под небольшими словарями подразумевается специальные наборы общеупотребительных слов, служащих для бытовых задач — это либо голосовое управление приборами и устройствами, либо распознание заказов и обращений в службе быта, банках, общепите, такси и подобных сервисах, и тому подобные специальные задачи.

Поскольку практически все проекты на входе для наилучших результатов требуют один и тот же тип файлов, стало понятно, что потребуется автоматическая конвертация с достаточно большим увеличением размеров библиотеки, при этом пока файлы будут конвертироваться, нужно будет найти наиболее адекватный нашим задачам проект и предварительно обученную модель. Было найдено два проекта с наиболее весомыми русскоязычными моделями, это NVidia NeMo и Alpha Cephei Vosk, которые мы и будем сравнивать по результатам тестов с бесплатными онлайн сервисами распознания речи, которые в теории можно было бы автоматизировать.

Подготовка данных.

• Берём 20 Гб аудио в формате m4a и пакетно нормализуем их по громкости в GoldWave, приведя к одному уровню.
• Каждый файл там же автоматически нарезаем с помощью детектора тишины с параметрами -22 дБ 0,4с.
• Минимальное расстояние между детекторами выставляем 12 сек, чтобы умещалась небольшая фраза.
• На выходе получаем тысячи файлов, сохранённых в формате wav 16 бит 16 кГц для распознания речи.
• Каждый файл переименовывается в оригинальное название + маркер cue в формате чч.мм.сс.#####.
• Для каждого исходного файла получаем отдельный cue файл со списком маркеров.

NVidia NeMo выдаёт не очень стабильные результаты, система очень капризна к шуму. Кроме того, установка питоновского окружения для её полной версии это почти невыполнимая задача, решить её так и не удалось. Воспользовался малой версией, пока не получил нормального результата. А жаль, nvidia по определению хорошо утилизирует ресурсы видеокарты с помощью библиотек torch и tensorflow, которые уже неоднократно опробованы в аудио-приложениях и хорошо знакомы.

Alpha Cephei Vosk установилась очень легко. Была протестирована самая свежая большая модель русского языка. В черновом варианте распознанный текст не формируется в предложения, только в отдельные строки, все буквы строчные, нет знаков препинания, но само распознание на достаточно высоком уровне. Пока не тестировал пакетный вариант распознания большого количества файлов, поэтому результаты достаточно медленные, но работает очень стабильно.

Из онлайн сервисов были протестированы несколько. Как и ожидалось, их словарный запас невелик, поэтому они работают достаточно быстро, но при этом очень сильно ошибаются через 4-5 слов.

Оригинальный текст:

— Ну сколько ж вам лет то было?
— Я поступил в Суворовское училище в пятидесятом году.
— И тогда и видели, да?
— Из Нижнего, ну из Горького, из Нижнего Новгорода, по очереди — Калининское училище, Горьковское, Тульское, возили на Парад, и я поскольку был в последней шеренге, я очень явственно видел его лицо.

Онлайн-сервис:

Ну что место было?
Я поступил в Суворовское училище 50 году.
И тогда и видели, да из Нижнего Ну из Горького и Нижнего Новгорода по очереди Калининской училища. Горьковская Тульской вазелин аппарат поскольку был последний шеренги. Я очень явственно видел в лицо.

Vosk + vosk-model-ru-0.42

ну сколько вам лет то было
я поступил в суворовское училище пятидесятого года
и тогда и видели да
из нижнего ну из горького из нижнего ряда по очереди калининская училища горьковская тульская возили на аппарат и я поскольку был в последней шеренге я очень явственно видел его лицо

В общем, план такой.

• Протестирую две других больших предобученных модели Vosk для русского языка, выберу по результатам.
• Протестирую docker-сервер для загрузки проекта в GPU.
• Протестирую грамматические методы, позволяющие собирать предлоежния со знаками препинания.
• Если сервер под видеокарту работает стабильно, запущу с его помощью пакетный проект с наиболее подходящей моделью для речи Владимира Михайловича, с переносом нагрузки с CPU на GPU, по идее должно увеличить скорость в несколько раз.

Далее есть мнение, что полученные cue файлы, описывающие маркеры времени в аудио-потоке, можно использовать в качестве базы данных для генерации ссылок, вот запись об одном маркере, текстовый пример на который идёт выше:

  TRACK 13 AUDIO
    TITLE "00:03:18.85991"
    PERFORMER "Владимир Михайлович Зазнобин. Видеоархив"
    INDEX 01 03:18:64

Отсюда легко вычисляется отметка времени для ютуб-видео, то есть можно сразу каждую «фразу» привязать ко времени ссылкой, например в данном случае это будет https://youtu.be/1xh4karX5hw?t=198

03 × 60 + 18 = 198 (то есть количество минут множим на количество секунд и прибавляем оставшиеся секунды)

Таким образом мы каждую фразу стенограммы можем снабдить прямой ссылкой на начало этой фразы внутри видео. Предлагаю сделать именно это, независимо от качества распознания — стенограммы даже на 60% верные, но для 280 часов, это лучше, чем их полное отсутствие. Точность модели варьируется, но в среднем она выше 80%, хотя сильно зашумленные места я пока не тестировал.

@audetv предлагаю оценить возможности реализации ссылок на время в видео и поисковой базы, посмотреть что я упускаю, и установить все необходимые форматы данных для этого, чтобы было время на манёвр пока я тестирую методологию, вдруг в плане нужно что-то поменять. Возможно потом полученный модуль мы не только разместим у себя на сайте, но поделимся им с товарищами из ZAZNOB.IN. Прилагаю несколько cue файлов для проверки парсера. Возможно нужен репозиторий, возможно нет, в общем, нужно понять схему действий до того, как запустил распознавалку в боевом режиме. Приветствуются все пожелания и замечания.

@grigorovsckaya-sandra нам потребуется вычитывать речи, сверяя с оригиналом видео. Скорее всего часть этой работы ляжет на вас — нужно хотя бы избавиться от тех глупостей, как в приведённом выше примере, где «возили на парад» превращается в «вазелин аппарат», пусть даже не приводя текст в идеальный вид стилистически. Сейчас в первую очередь нужно будет проверить основные ошибки и убрать клинические казусы, а криво построенные предложения, отсутствие пунктуации и тому подобное, пока не в приоритете. Хотя все предложения приветствуются. Возможно нужно потребовать «помощь зала», это явно задача для массовой работы.

Пока всё.

[audetv]

Понял, буду изучать, посмотрю.
Предлагаю сделать репозиторий под файлы, чтобы в код поисковика не попадали файлы не относящиеся к коду, здесь настроен автоматический деплой, собираются образы из кода, разных сервисов и выгружаются потом на боевой сервер. Образы не должны содержать файлы, файлы должны храниться в volum'ах, поэтому предлагаю сделать репозиторий для концепции связности. Нужны идеи по наименованию:
Concept of connectivity ?- по гугл переводчику
Concept ?

UPD/ Проверил файлы в сборку и не попали, собирается от папки app. Так что github на этих пулреквестах пересобрал проект и пытался выгрузить его заново, почти без изменения. Но лучше для файлов другой репозиторий, чтобы тут не дергать сборку не по назначению.

[iprst]

Предлагаю сделать репозиторий под файлы, чтобы в код поисковика не попадали файлы не относящиеся к коду, здесь настроен автоматический деплой, собираются образы из кода, разных сервисов и выгружаются потом на боевой сервер.

Да, я это понял только когда загружал csv — когда загружал пачку файлов отходил от экрана и не видел, сколько собирался пулл. Только на csv заметил.

Concept of connectivity ?- по гугл переводчику

Connectivity это нормальный термин из теории графов, там связность так и обозначается. Возможно нам больше подходит понятие cohesion, использующийся как в математике, так и в лингвистике, тоже означает связность:

Коге́зия (лат. cohaesus — «связанный», «сцеплённый») — в лингвистике грамматическая и лексическая связность текста или предложения, которая соединяет их в единое целое и придает им смысл; одна из определяющих характеристик текста/дискурса и одно из необходимых условий текстуальности (…) формирования не только структурной, но и смысловой (содержательной) целостности речевого произведения. В российской лингвистике, помимо термина «когезия», традиционно используется также термин «связность» (текста). Когезию называют также структурной связностью текста. Термин «когезия» применяется при анализе дискурса, при интерпретации глубинных смыслов текста и авторского замысла. Более широким понятием является когерентность текста — его целостность.

[audetv]

Сделал опрос, не могу выбрать на ровном месте)
https://github.com/audetv/fct-search/discussions/198#discussion-5279026

https://github.com/audetv/concept-of-cohaesus
https://github.com/audetv/cohaesus 
https://github.com/audetv/cohaesus-concept
https://github.com/audetv/concept-cohaesus

[iprst]

Да, можно запустить например яндекс распознавание голоса и сделать текстовые варианты https://cloud.yandex.ru/services/speechkit

Вы не пробовали этот яндекс SpeechKit?

Режим	цена за 15 сек	за 280 часов
Синхронное распознавание файлов	0,1600 ₽	161280 ₽
Асинхронное распознавание файлов	0,0100 ₽	10080 ₽
Асинхронное распознавание файлов, отложенный режим	0,0025 ₽	2520 ₽

Асинхронное распознавание файлов, отложенный режим — самый дешёвый вариант, но неизвестно сколько ждать, поскольку файлы попадают в длинную очередь.

[audetv]

Да, можно запустить например яндекс распознавание голоса и сделать текстовые варианты https://cloud.yandex.ru/services/speechkit

Вы не пробовали этот яндекс SpeechKit?

Режим цена за 15 сек за 280 часов
Синхронное распознавание файлов 0,1600 ₽ 161280 ₽
Асинхронное распознавание файлов 0,0100 ₽ 10080 ₽
Асинхронное распознавание файлов, отложенный режим 0,0025 ₽ 2520 ₽
Асинхронное распознавание файлов, отложенный режим — самый дешёвый вариант, но неизвестно сколько ждать, поскольку файлы попадают в длинную очередь.

Нет, не пробовал. Так серьезно как вы описали, я не подходил к этому вопросу, так просто голосом наговорить в микрофон, но такой тест не показатель. Можно протестировать: Асинхронное распознавание файлов, отложенный режим, какой-нибудь 1 файл. И посмотреть насколько долго будет это, хотя разница в 160т.р. говорит что в 160 раз дольше...)

upd есть еще вариант попробовать бесплатно. надо почитать, как делать.
https://cloud.yandex.ru/docs/speechkit/stt/api/transcribation-api

[iprst]

Так серьезно как вы описали, я не подходил к этому вопросу, так просто голосом наговорить в микрофон, но такой тест не показатель.

Так получилось, что практически единственная область, где я хоть сколько-то имею представление о коде и работе с ресурсами это медиа. Особенно аудио. А поскольку последние лет 30 нашей цивилизации аудио это компьютер, то сам собой сложился опыт. Буквально одно что я более-менее освоил, это поставить питоновское окружение для pytorch или tensorflow и что-то обработать по звуку с помощью видеокарты. Например — вынуть голос из песни или обучить модель гитарного усилителя. Очень хорошо освоенные методы на сегодняшний момент, достаточно развиты в индустрии, уже с нормальными коммерческими решениями на пользовательском уровне.

Можно протестировать: Асинхронное распознавание файлов, отложенный режим, какой-нибудь 1 файл. И посмотреть насколько долго будет это, хотя разница в 160т.р. говорит что в 160 раз дольше...)

Логично, да. Но среднюю скорость мы всё равно не вычислим, поскольку все машинные методы крайне зависят от типа входа. Ещё чем хорош вариант локальный, со стандартными питоновскими библиотеками и открытыми моделями — можно подкрутить параметры для наилучшего результата на конкретной машине и с конкретным входом. То есть это принципиально реализуемая схема. Что там с API яндекса мне совсем-совсем абсолютно неизвестно, я никогда им не пользовался.

upd есть еще вариант попробовать бесплатно. надо почитать, как делать.
https://cloud.yandex.ru/docs/speechkit/stt/api/transcribation-api

Если будете пробовать, можно подготовить какой-то набор данных под их разметку, хотя бы под цену транзакции (длительность кратна 15 секундам) и характеристики аудио файла, то есть файлы нужно пожать определённым кодеком. Не вижу смысла скармливать какой-то файл целиком, например даже минимальное видео 5 минут.

Зазнобин В.М. Западная Украина пойдёт на Киев или на Европу (июнь 2014 г.) — 4:16
Зазнобин В.М. О целях КПЕ (2 июля 2004 г.) — 6:51
Зазнобин В.М. Новогоднее обращение (29 декабря 2012 г.) — 7:11
Зазнобин В.М. О том, как будет осуществляться управление в будущем (28 июля 2016 г.) — 7:33

[iprst]

Создан репозиторий под Концепцию связности — cohesion.
Туда загружены технические файлы для работы с распознаванием речи в роликах Зазнобина.
Как в комментариях правильно держать связь между плодящимися репозиториями? Нужно усвоить какую-то логику поведения.

[audetv]

Как в комментариях правильно держать связь между плодящимися репозиториями? Нужно усвоить какую-то логику поведения.

Не знаю, придется их помнить. Надо подумать. Возможно поможет public Organization account, но не уверен.
https://docs.github.com/ru/organizations/collaborating-with-groups-in-organizations/about-organizations

По сути это особый аккаунт в котором по-другому можно управлять пользователями, давать разные права: чтение запись. Централизовано управлять, заявлено, что для работы в команде. Еще у организации может быть несколько владельцев. Владельцы это личные аккаунты в гитхабе.

Я использую организации для администрирования. Несколько рабочих организаций есть. Так проще подключать разных людей к проектам и потом отключать, а не к своему личному. Но дискуссий и общение не вел в гитхабе, обычно это в мессенджерах или почте или в живую.

Опыт общения здесь появился только после того, как фкт поиск опубликовал. Пишут, что есть общая дискуссия организации для общения и прочее, я не знаю решит ли создание организации нашу проблему. Можно попробовать, и некоторые репозитории туда перенести: conceptual-dictionary, cohesion, book-parser.

Страницу организации можно особо оформить, видеть список всех репозиториев, выглядит немного по-другому.
Вот пример организации: https://github.com/yiisoft

Но придется придумывать наименование, это всегда так сложно)
cohesion и cohaesus заняты)

https://github.com/account/organizations/new?plan=free&ref_cta=Create%2520a%2520free%2520organization&ref_loc=cards&ref_page=%2Forganizations%2Fplan

[iprst]

Возможно поможет public Organization account

Да, это полезно. Однако бесплатный аккаунт достаточно ограничен, хотя пока не могу определить насколько это может мешать.

Но дискуссий и общение не вел в гитхабе, обычно это в мессенджерах или почте или в живую.

В целом в гитхабе хорошо реализовано комментирование и проставление автоматических ссылок. Наверное основную проблему, которую я имею в виду, можно сформулировать не столько про дискуссии, а вот так — видится, что концептуально это всё связано, но сейчас мы «раздаём» репозитории из двух персональных аккаунтов, и вроде бы можно продолжать делать так, но сама архитектура «связной глобальной системы» говорит, что репозиториев будет скорее всего много (например под каждый подпроект может быть 1-2 репозитория, но это подпроекты одного проекта!), а уже сейчас менеджерить кто что куда зачем становится слегка утомительно. Фактор пойман на ранних этапах, это не срочно, но логика есть: придёт (или уйдёт) ещё пара человек с репозиториями, и будет потешная перекрёстная возня с допусками и правами, между репозиториями, которые в целом подразумеваются под связную систему.

Но придется придумывать наименование, это всегда так сложно)

svodd очень хорошее название, но не для организации.
Прикольно, что в английском языке словно нет подходящего слова для управления, в том смысле, в котором это слово используется в КОБ.

Ничего, название придумаем.