Идея рождена из полуручной обработки последнего выпуска Hardcore History, который я сделал: Superhumanly Inhuman.

Показалось что можно сделать автоматический пайплайн, попутно систематизировать свои знания о текущих ML-моделях и инфраструктуре, использовать в личных целях. А как максимум — вырастить из этого публичный сервис. Сначала — переводя чужие классные аудио- и видео- записи в обогащенный текст, а потом предоставляя решение для любых личных целей (записи разговоров с терапевтом; интервью; личные разговоры с друзьямиl; протоколы рабочих встреч).

Но сейчас речь идет о "фанатском" сайте моих любимых подкастеров типа Hardcore History, Search Engine, 99% Invisible, Radiolab и Психополитики.

Решение

• ML-пайплайн на Whisper, modal.com, Mistral?
• Диаризация (разбиение спикеров по голосам)
• Автоматическое содержание (заголовки и суммаризация по кускам текста)
• Автоматическая разметка упоминаний книг, людей и других ссылок
• Привязка к оригинальным таймстемпам в звуке
• Авто-перевод (с OpenAI или Mistral)

Всё это выглядит так что надо использовать AI Speech Technology | Speech-To-Text API | Speechmatics и оно всё (ну, главное) за нас сделает. Дальше можно будет трансформировать и почистить своими руками.

Развитие

• Попытки аудио-перевода, как у ElevenLabs (но это очень дорого — надо искать свои модели)
• Сделать из этого API (платный типа ElevenLabs)
• Сделать из этого (транскрайб, диаризация и разметка) сервис
• Сделать outreach к подкастерам и к ElevenLabs, когда будет какое-то наполнение