Я - все еще новичок, но я хочу записать программу распознавания символов. Эта программа еще не готова. И я отредактировал много, для этого комментарии не могут соответствовать точно. Я буду использовать с 8 возможностями соединения для связанной маркировки компонента.
from PIL import Image
import numpy as np
im = Image.open("D:\\Python26\\PYTHON-PROGRAMME\\bild_schrift.jpg")
w,h = im.size
w = int(w)
h = int(h)
#2D-Array for area
area = []
for x in range(w):
area.append([])
for y in range(h):
area[x].append(2) #number 0 is white, number 1 is black
#2D-Array for letter
letter = []
for x in range(50):
letter.append([])
for y in range(50):
letter[x].append(0)
#2D-Array for label
label = []
for x in range(50):
label.append([])
for y in range(50):
label[x].append(0)
#image to number conversion
pix = im.load()
threshold = 200
for x in range(w):
for y in range(h):
aaa = pix[x, y]
bbb = aaa[0] + aaa[1] + aaa[2] #total value
if bbb<=threshold:
area[x][y] = 1
if bbb>threshold:
area[x][y] = 0
np.set_printoptions(threshold='nan', linewidth=10)
#matrix transponation
ccc = np.array(area)
area = ccc.T #better solution?
#find all black pixel and set temporary label numbers
i=1
for x in range(40): # width (later)
for y in range(40): # heigth (later)
if area[x][y]==1:
letter[x][y]=1
label[x][y]=i
i += 1
#connected components labeling
for x in range(40): # width (later)
for y in range(40): # heigth (later)
if area[x][y]==1:
label[x][y]=i
#if pixel has neighbour:
if area[x][y+1]==1:
#pixel and neighbour get the lowest label
pass # tomorrows work
if area[x+1][y]==1:
#pixel and neighbour get the lowest label
pass # tomorrows work
#should i also compare pixel and left neighbour?
#find width of the letter
#find height of the letter
#find the middle of the letter
#middle = [width/2][height/2] #?
#divide letter into 30 parts --> 5 x 6 array
#model letter
#letter A-Z, a-z, 0-9 (maybe more)
#compare each of the 30 parts of the letter with all model letters
#make a weighting
#print(letter)
im.save("D:\\Python26\\PYTHON-PROGRAMME\\bild2.jpg")
print('done')
OCR действительно не простая задача. Поэтому текстовые CAPTCHA до сих пор работают :)
Чтобы говорить только об извлечении букв, а не о распознавании шаблонов, методика, которую вы используете для разделения букв, называется Connected Component Labeling. Поскольку вы просите найти более эффективный способ сделать это, попробуйте реализовать алгоритм двухпроходного распознавания, описанный в этой статье. Другое описание можно найти в статье Извлечение блоков.
EDIT: Вот реализация предложенного мною алгоритма:
import sys
from PIL import Image, ImageDraw
class Region():
def __init__(self, x, y):
self._pixels = [(x, y)]
self._min_x = x
self._max_x = x
self._min_y = y
self._max_y = y
def add(self, x, y):
self._pixels.append((x, y))
self._min_x = min(self._min_x, x)
self._max_x = max(self._max_x, x)
self._min_y = min(self._min_y, y)
self._max_y = max(self._max_y, y)
def box(self):
return [(self._min_x, self._min_y), (self._max_x, self._max_y)]
def find_regions(im):
width, height = im.size
regions = {}
pixel_region = [[0 for y in range(height)] for x in range(width)]
equivalences = {}
n_regions = 0
#first pass. find regions.
for x in xrange(width):
for y in xrange(height):
#look for a black pixel
if im.getpixel((x, y)) == (0, 0, 0, 255): #BLACK
# get the region number from north or west
# or create new region
region_n = pixel_region[x-1][y] if x > 0 else 0
region_w = pixel_region[x][y-1] if y > 0 else 0
max_region = max(region_n, region_w)
if max_region > 0:
#a neighbour already has a region
#new region is the smallest > 0
new_region = min(filter(lambda i: i > 0, (region_n, region_w)))
#update equivalences
if max_region > new_region:
if max_region in equivalences:
equivalences[max_region].add(new_region)
else:
equivalences[max_region] = set((new_region, ))
else:
n_regions += 1
new_region = n_regions
pixel_region[x][y] = new_region
#Scan image again, assigning all equivalent regions the same region value.
for x in xrange(width):
for y in xrange(height):
r = pixel_region[x][y]
if r > 0:
while r in equivalences:
r = min(equivalences[r])
if not r in regions:
regions[r] = Region(x, y)
else:
regions[r].add(x, y)
return list(regions.itervalues())
def main():
im = Image.open(r"c:\users\personal\py\ocr\test.png")
regions = find_regions(im)
draw = ImageDraw.Draw(im)
for r in regions:
draw.rectangle(r.box(), outline=(255, 0, 0))
del draw
#im.show()
output = file("output.png", "wb")
im.save(output)
output.close()
if __name__ == "__main__":
main()
А вот выходной файл:
Он не на 100% совершенен, но так как вы делаете это только в учебных целях, то это может быть хорошей отправной точкой. С ограничительным окошком каждого персонажа вы теперь можете использовать нейронную сеть, как другие предлагали здесь
.Большинство алгоритмов OCR в наши дни основаны на нейросетевых алгоритмах. Хопфилд-сетей - хорошее место для начала. На основе модели Hopfield Model, доступной здесь на C, я построил очень простой алгоритм распознавания образов на питоне, похожий на тот, который Вы описали. Я разместил полный исходный код здесь . Это игрушечный проект и не подходит для реального OCR, но может помочь вам начать работу в правильном направлении.
Модель Hopfield используется в качестве автоассоциативной памяти для хранения и вызова набора растровых изображений. Изображения сохраняются путем вычисления соответствующей весовой матрицы. После этого, начиная с произвольной конфигурации, память будет располагаться именно на том сохраненном изображении, которое ближе всего к начальной конфигурации с точки зрения расстояния Хамминга. Таким образом, при неполной или испорченной версии сохраненного изображения, сеть может вспомнить соответствующее исходное изображение.
Java-апплет для игрушки с примером можно найти здесь ; сеть обучена входам с примером для цифр 0-9. Нарисуйте поле справа, нажмите кнопку тестирования и посмотрите результаты из сети.
Не позволяйте математической нотации запугать вас, алгоритмы будут простыми, как только вы доберетесь до исходного кода.
OCR очень, очень сложно! Какой подход к попытке OCR будет основан на том, что вы пытаетесь сделать (перезагрузка рукописного текста, компьютерное чтение текста и т.д.)
Однако, чтобы начать работать, читайте в нейронных сетях и OCR. Вот несколько интересных статей на эту тему:
http://www.codeproject.com/KB/cs/neural_network_ocr.aspx
http://www.codeproject.com/KB/dotnet/simple_ocr.aspx
Используйте вашу любимую поисковую систему для поиска информации.
Развлекайтесь!
.OCR очень, очень сложно. Даже с персонажами, созданными компьютером, это довольно сложно, если вы не знаете шрифт и размер шрифта заранее. Даже если вы точно подбираете символы, я бы не назвал это "начальным" проектом программирования; это довольно тонко.
Если вы хотите распознать отсканированные или написанные от руки символы, это ещё сложнее - вам придётся использовать продвинутую математику, алгоритмы и машинное обучение. На эту тему написано довольно много книг и тысячи статей, так что вам не нужно изобретать колесо заново.
Я восхищаюсь вашими усилиями, но я не думаю, что вы продвинулись достаточно далеко, чтобы столкнуться с какими-либо реальными трудностями. Пока вы просто случайно исследуете пиксели и копируете их из одного массива в другой. На самом деле, вы еще не сделали никакого сравнения, и я не уверен в цели вашей "случайной прогулки".
Когда вы получите сравнение, вам придется столкнуться с тем, что изображение не совсем то же самое, что "прототип", и непонятно, как вы с этим справитесь.
Исходя из кода, который вы написали до сих пор, у меня есть идея для вас: попробуйте написать программу, которая находит свой путь через "лабиринт" на изображении. Входом будет изображение, плюс стартовый пиксел и целевой пиксел. Выход - это путь через лабиринт от начала до цели. Это гораздо проще, чем OCR - решение лабиринтов - это то, для чего компьютеры отлично подходят, но это все равно весело и интересно.