Ноты по фото: как сыграть, услышать и разобрать нотный лист

Сыграть ноты по фотографии можно: программа распознаёт нотный текст на снимке и превращает его в цифровую партитуру, по которой затем слышно, как звучит пьеса, и можно играть на клавиатуре или прямо на экране. Такое распознавание — это черновик, а не гарантированно точная копия оригинала, поэтому его стоит проверить перед тем, как садиться разучивать пьесу. Дальше — как это устроено, как снять лист, чтобы распозналось хорошо, и что делать с результатом.

Как это работает: от фото до партитуры, которую можно сыграть

Технология, которая переводит изображение нотного листа в цифровую партитуру, называется оптическое распознавание нот (OMR). Программа анализирует снимок или скан, находит на нём нотный стан, ключи, ноты, длительности, знаки альтерации и текстовые пометки, а затем собирает из этого цифровую партитуру — такую же по смыслу, как файл в формате MusicXML, только полученную не набором вручную, а распознаванием картинки.

Дальше с такой партитурой можно делать то же, что и с любой другой цифровой: проиграть её и услышать, как звучит пьеса, открыть на экране и следить за нотами во время игры, замедлить темп или зациклить сложный фрагмент. Разница только в происхождении файла — он не набран человеком, а получен машиной по фотографии, и это стоит держать в голове на следующем шаге.

Само распознавание — не мгновенная операция. Изображение отправляется на обработку и разбирается там некоторое время, а не обрабатывается прямо на телефоне в момент съёмки. Поэтому между тем, как сфотографировали лист, и тем, как ноты стали доступны для игры, проходит какое-то время ожидания.

Как сфотографировать ноты, чтобы всё распозналось

Качество результата напрямую зависит от качества снимка: программа работает с тем, что видит на изображении, и не умеет достраивать то, что на фото не попало или нечитаемо.

Свет, ракурс и лист целиком

• Снимайте строго сверху. Камера должна смотреть на лист перпендикулярно, а не сбоку и не под углом — перекошенная страница мешает программе понять, где ровно идёт нотный стан.
• Уберите блики и тени. Глянцевая бумага под лампой или настольным светом часто даёт яркое пятно поверх нот — сдвиньте источник света или лист так, чтобы блика не было. Тень от руки, телефона или переплёта книги по той же причине мешает распознаванию.
• Поместите в кадр всю страницу. Обрезанные края, где часть такта или знаков ключа не попала в кадр, дают пропуски в распознанном тексте.
• Держите страницу без перекоса. Ровно лежащий лист и ровно направленная камера — не бонус, а необходимое условие: скошенные линии нотного стана программе распознать сложнее.
• Следите за резкостью. Смазанное или нерезкое фото — частая причина, почему мелкие детали вроде точек или флажков длительностей не считываются вовсе.

Фото или PDF — что лучше

Если ноты уже есть в виде PDF-файла — сканированного или сохранённого из другого источника, — используйте его: как правило, скан ровнее фотографии, без бликов, теней и перекоса страницы, которые приходится контролировать при съёмке камерой. Фотография телефоном тоже подходит и работает, но требует более аккуратной съёмки по правилам выше, чтобы результат был сопоставим по качеству со сканом.

Что распознаётся хуже

Не любой нотный лист превращается в аккуратную партитуру одинаково хорошо. Сложнее всего программе даются:

• Рукописные ноты. Почерк не подчиняется типографским правилам, поэтому распознавание рукописного нотного текста менее надёжно, чем печатного.
• Плохие копии. Многократно отксерокопированные листы с бледными или смазанными линиями теряют контраст, важный для распознавания.
• Мелкий шрифт. Убористая нотная печать, где знаки стоят плотно и мелко, читается хуже, чем издание с крупным, разреженным набором.
• Сложные многоголосные партитуры. Много голосов на одном стане, плотные аккорды и частая смена ритмического рисунка увеличивают число мест, которые программа может понять неточно.

Это не значит, что такие ноты нельзя распознать в принципе — просто вероятность ошибок в результате выше, и черновик после распознавания потребует более внимательной проверки.

Почему результат — черновик, и что с ним делать

Распознавание нот по изображению — это интерпретация картинки, а не считывание заведомо верных данных, поэтому результат всегда стоит воспринимать как черновик. Даже на хорошем чистом снимке отдельные ноты, длительности или знаки могут быть распознаны неверно — особенно в местах, которые и человеку читать непросто: тесные аккорды, мелкие пометки, нестандартная запись.

Практический вывод простой: прежде чем разучивать пьесу всерьёз, сверьте распознанное с оригинальным листом. В первую очередь проверьте знаки при ключе и размер в начале пьесы, случайные знаки альтерации, точки у нот, триоли, лиги между одинаковыми нотами, смену ключа внутри строки и октавные пометки 8va: в этих местах ошибка меняет звучание, а заметить её, не глядя в оригинал, трудно. Если ошибок много, быстрее переснять ноты — ровнее и при лучшем свете — или взять PDF, чем разбирать неточный текст. Чем чётче исходный снимок или скан, тем точнее результат, но полностью полагаться на автоматическое распознавание без сверки не стоит.

Что делать дальше: послушать, разобрать руками и отработать такты

Когда цифровая партитура готова и черновик проверен, с ней можно работать так же, как с любыми нотами в электронном виде:

1. Послушать, как звучит пьеса целиком, — если пьеса вам знакома, так легче заметить места, где мелодия или ритм распознались неверно. Незнакомую пьесу на слух не проверить: ошибка в знаке или октаве звучит вполне правдоподобно, поэтому главной проверкой остаётся сверка с листом.
2. Разобрать каждой рукой отдельно в медленном темпе, в котором не бывает ошибок, — даже если пьеса кажется простой.
3. Отработать трудные такты отдельно: зациклить фрагмент в один-два такта, повторить его каждой рукой, потом обеими вместе в том же темпе, и только после этого понемногу поднимать темп. Подробно о том, как раскладывать сложный такт на понятные шаги, — в статье «Как разобрать сложный такт».

Как это сделать в Piano Bloom

Piano Bloom принимает ноты в трёх видах: готовым файлом MusicXML, PDF или фотографией нотного листа. Фото и PDF приложение распознаёт само — вручную набирать ноты не нужно. Пока распознавание идёт на сервере, пьеса ещё не готова к игре; она появляется в библиотеке, когда обработка завершена.

Результат распознавания — черновик, как и у любого автоматического разбора нот по изображению: чем чётче снимок или скан, тем точнее он получится. Дальше с распознанной пьесой можно работать так же, как с любой другой в приложении: Piano Bloom ведёт по нотам, проверяет каждую сыгранную клавишу, расставляет аппликатуру и показывает, какие такты стоит повторить. Одно отличие стоит помнить: приложение сверяет игру с распознанным текстом. Если в каком-то такте оно упорно отмечает ошибку, а по бумажным нотам вы играете верно, сверьте этот такт с оригиналом — возможно, нота распознана неточно. Сложный фрагмент можно зациклить и отработать отдельно каждой рукой в замедленном темпе — играть можно с MIDI-клавиатурой, а когда инструмента под рукой нет — прямо на экране: ноты и ритм так выучить можно, но к настоящим клавишам руки привыкают только за инструментом. Помимо своих нот, в приложении есть каталог пьес с уровнями сложности — на случай, если под рукой нет своего нотного листа, а поиграть хочется прямо сейчас.

Если на руках лист, который распознавать не нужно, — вы просто хотите разобраться, что на нём написано, — это уже не про фото и не про автоматическое распознавание, а про чтение нот как таковое: с чего начать, разбирается в статье «Как читать ноты».