Геометрическая коррекция страниц

Геометрическая коррекция исправляет искажения, вызванные изогнутостью страницы книги (кривизна строк), а также измятостью бумаги (пляска букв - их расположение выше и ниже линии строки):

Рисунки из патента компании i2S на алгоритм геометрической коррекции

Кроме того, данная процедура коррекции путем восстановления формы страницы в трехмерном пространстве позволяет исправить возникающее при сканировании сжатие страниц возле корешка книги:

Как указывает компания i2S в своём рекламном журнале DigiBook Mag, при сканировании возникают дефекты, связанные оригиналом (качество старой бумаги, замятия), и дефекты связанные с процессом сканирования (расположение оригинала, фотоэффекты), требующие геометрической коррекции искривлений изображения.

Использовавшиеся ранее методы коррекции заключались, как правило, в однонаправленной трансформации изображения по вертикали или по горизонтали. Также, как правило, использовался только один тип информации для оценки необходимой коррекции (либо линии текста, либо границы страницы, вертикальные и горизонтальные линии на рисунке, края абзацев и т.д.). Такой метод имеет ограничения при поврежденных краях страницы, наличии строк текста, написанного от руки, повернутого текста.

Для Book Restorer был разработан и запатентован новый алгоритм, который учитывает информацию из всех возможных источников, что приводит к потрясающим результатам в обработке отсканированных изображений.

Если сравнить приведенные выше изображения, то видно, что коррекция по краям листа не привела к выравниванию строк, а коррекция по строкам сделала все вертикальные лини наклонными. Коррекция же Book Restorer учла изгибы страницы, её наклон, локальные искривления и сохранила естественное восприятие изображений.

Такая универсальная коррекция (которая включает выравнивание по краям колонок текста), позволяет устранять искажения, связанные не только с недостатками документа, но и искажения, связанные с процессом фотографирования книги - «сканирования» на планетарных сканерах, поставкой которых также занимается i2S - компания-разработчик Book Restorer. С фотографированием, как известно, связаны два основных искажения изображений страниц книги - это дисторсия и искажение перспективы:

дисторсия возникает из-за различного линейного увеличения в оптической системе (объективе) разных частей изображения, в результате которого прямые линии (за исключением лежащих в одной плоскости с оптической осью) изображаются кривыми:

подушкообразная дисторсия бочкообразная дисторсия

искажение перспективы возникает из-за несовпадения плоскости съемки и плоскости изображения (наклона фотоаппарата)

Интерфейс процесса геометрической коррекции в программе Book Restorer имеет два представления: сокращенное (к сожалению, это для лохов) и расширенное (которое и представляет для нас интерес). Рассмотрим сначала сокращенное представление интерфейса процесса. При вызове процесса открывается окно, которое позволяет выбрать любой набор из семи доступных детекторов, а также вызвать расширенный интерфейс процесса.

На приведённом ниже рисунке обозначены указанные детекторы. При использовании же расширенного интерфейса процесса возможным становится не только выбор используемых детекторов, но и назначение их параметров (обозначены на следующем рисунке).

А) Упрощенный интерфейс процесса геометрической коррекции

В расширенном интерфейсе кнопки те же самые, что и в упрощенном. Помимо нажатия на кнопки включить детекторы можно и кликая по условной схеме страницы. Если детектор включен, то соответствующий элемент

изображения становится красным (выключен - зеленым).

1) детектор верхней и нижней границы страницы

2) детектор левой и правой границы страницы

3) детектор линий строк

4) детектор краёв столбца текста

5) детектор горизонтальных линий

6) детектор вертикальных линий

7) детектор наклона

8) переключение интерфейса

9) выбор способа определения линии строки

10) выбор интенсивности локальных нерегулярностей кривизны

11) включение исправления сжатия (у корешка книги) - «растягивание»

12) выбор порогового значения для разделения текста и фона

Б) расширенный интерфейс процесса

Итак, как же следует пользоваться данным модулем. Прежде всего, следует учесть общий принцип работы с Book Restorer - выбрать наиболее типичную страницу, подобрать для нее обработку. Потом применить такую обработку сразу ко всем страницам книги. А вот потом уже отслеживать какие страницы не получились, и обрабатывать их отдельно вручную, подбирая для каждой свои параметры.

Процесс геометрической коррекции иногда дает неудовлетворительные результаты - сильно искажает страницу. Если применять стандартные параметры для всех страниц, то процентов 10 окажется побитыми. Это нестрашно. Практика показывает, что даже малейшее изменение параметров обработки может избавить от таких «странных» эффектов как изломы строк, растяжения по вертикали, неправильное детектирование края текста.

Кроме того, хочется отметить два важных момента. Во-первых, у процедуры существует ограничение на степень искажений. То есть, если на странице есть сильно искривленный блок текста (иногда такие страницы выявляются только после примененной обработки - это те, что не получились), то лучше подровнять его в Photoshop - сделать страницу более прямоугольнообразной и только тогда применять к ней процедуру коррекции.

Во-вторых, если на странице есть блоки текста с разным характером искажений или разной природы (у одного есть край столбца текста - у другого нет; один наклонен в одну сторону - другой в другую), то такие блоки следует распознать как разные зоны (процесс Areas detection в списке инструментов реставрации Book Restorer) и применять процедуру геометрической коррекции к таким зонам по отдельности. Точно также, если текстовый блок занимает лишь небольшую часть страницы (например, последняя страница какой-либо главы), то результат обработки будет сильно лучше, если геометрическая коррекция будет применена не ко всей странице целиком, а именно к зоне с этим текстом.

До того как начать выбирать параметры процесса, следует определить имеющиеся на странице элементы, чтобы потом правильно включить детекторы. Потому что если соответствующий элемент отсутствует, то процедура скорее внесет искажение, чем что-либо исправит. Здесь, нас конечно прежде всего интересует наличие вертикальных/горизонтальных линий и наличие по бокам или сверху и снизу страницы черных краев (как правило от крышки сканера там, где книги на стекле уже не было)¹.

1) Включим детектор строк текста (3), который опирается на имеющие достаточную длину строки. Несмотря на то, что в справке указано, что поддерживаются только латинские буквы, кириллица тоже неплохо выравнивается. (Можно, впрочем, представить пример - какие-нибудь иллюстрации в рамках на всю страницу - в котором строк текста нет, а прямые линии есть. Тогда, конечно, включать этот детектор не следует.)

2) Выберем способ определения линии строки (9) - на какую ее часть (верхнюю, среднюю или нижнюю) будет ориентироваться детектор. Я обычно выбираю самую последнюю опцию, в которой выравнивание идет и по верхней и по нижней кромке строки. (При неудачном результате можно изменить.)

3) Включим, если это необходимо, кнопку исправления краев текста (4). Скажем так, это - не детектор. Я бы сформулировал это таким образом - если надо поправить края текста, то включим. Если не надо, то лучше не включать, вне зависимости от того, есть ли у столбца текста четкий край. Искажений от него больше. Не случайно эта кнопка расположена внутри поля «строки текста».

4) Включим нужные детекторы (1), (2), (5), (6) в зависимости от того, какие опорные элементы присутствуют на изображении, и какие мы хотим поправить, есть ли чёрные поля (рамка), возникающие вокруг страницы при сканировании, рамки вокруг рисунков, или проведенные между колонками или параграфами черты. Если этих элементов нет, то включать детекторы не следует.

5) Выберем веса детекторов (их релевантность). Релевантность отражает влияние на коррекцию выбранного критерия. Детектор с низкой релевантностью дает меньшее влияние, чем детектор с большей. Два детектора с низкой релевантностью дадут тот же результат, что и те же два детектора с высокой релевантностью. Я обычно ставлю строки на максимум, остальные (если они включены) - на минимум. При неудачном результате изменяю.

6) Включим исправление наклона (7) Практика показала следующее: исправление наклона в принципе (в частности, в других программах, из которых я и перекидываю промежуточные результаты обработки в Book restorer) можно делать по правому/левому краю текста, по центру, по достижению горизонтальности строк и т д. Процедура геометрической коррекции Book Restorer, по-видимому, оптимизирована под текст, выровненный по левой стороне, в то время как другие программы (например, Scan Tailor) равняют по-другому. Если её не включить, то поедут края строк, а если включить, то процедура сначала скосит строки, а потом их выправит:

При неудачном результате (изломы, растяжения) опцию можно отключить. При определении наклона возможно задание тех же параметров, что и в процессе обработки «Исправление наклона» (Deskew) максимальный угол, точность.

7) Выключим курватуру (curvature irregularity). Соответствующий ползунок (10) по умолчанию стоит на третьей позиции из девяти возможных. Этот параметр определяет регулярность искажений. Как указано в справке: «Процесс геометрической коррекции использует глобальную информацию о кривизне. Для мятой или поврежденной бумаги выберите низкую нерегулярность, чтобы ограничить возмущения детектора». Мой опыт показывает следующее: данный параметр может помочь подровнять «пляшущие буквы». В тоже время если буквы не пляшут, то надо вообще выключать - иначе они как раз в разнос и пойдут. То есть если бумага не помята, то в ноль. А если помята, то включить. Но помня, что написано в файле справки, на максимум я параметр не ставлю.

8) Включим в случае необходимости растяжение изображения (11) у корешка книги. Это растяжение (и именно у корешка) работает даже для изображений одинарных страниц. Если его включить, то становится также доступным параметр Optical distance (оптическое расстояние) - расстояние между фотоаппаратом и книгой, необходимый для оценки перспективы. Я обычно эту коррекцию не включаю, а если и включаю, то оставляю для сканированных книг значение параметра по умолчанию (5000). Оно задается в

пикселях так: расстояние (pix) = расстояние (cm) •

Наверное, в случае фотографирования книг дома фотоаппаратом со штатива (или сканирования реально толстых книг на сканере) можно откалибровать этот параметр - заложить в книгу распечатанное изображение линейки (типа как на рисунке, приведенном в начале параграфа) и подобрать оптимальное значение.

У нас остался один параметр, который я лично никогда не изменял и практической информацией о его работе не владею. Это «контур» (12). Он влияет на детектирование прямых линий, определяет пороговое значение для разделения текста и фона. Как написано в справке Book Restorer, «максимальное значение в 255 соответствует вариации между пиком белого и пиком черного цвета. Значение 0 соответствует отсутствию изменений яркости. Следует выбирать значение в диапазоне 64-192, чтобы только толстые элементы изображения учитывались при обработке».

Важный замеченный нюанс: очередность процедур коррекции влияет на результат. То есть если коррекция строк и линий одновременно дала плохой результат, то следует попробовать исправить сначала строки потом линии. Затем сначала линии, потом строки. Также влияет изменение их релевантности.