集裝箱OCR：EAST和tesseract

1. 問(wèn)題的分析

在解決問(wèn)題前我們一般都會(huì)先看看獲取的圖像是什么樣的，這樣可以大概的評(píng)估出來(lái)我們應(yīng)該使用什么樣的算法。下圖是監(jiān)控?cái)z像頭拍攝到的畫面，我們需要完成的就是把及上面的那些字母和數(shù)字識(shí)別出來(lái)。


7.PNG

從上圖中看到，這顯然是屬于自然場(chǎng)景下的OCR問(wèn)題，首先要做的就是文本的檢測(cè)，文本檢測(cè)目前效果不錯(cuò)的有EAST，CTPN等等?？紤]到EAST有現(xiàn)成的模型和開(kāi)源代碼可以使用，首先就使用EAST來(lái)測(cè)試看看文本檢測(cè)的效果

2. EAST文本檢測(cè)

使用的模型來(lái)源于Adrian小哥的這篇文章。
因?yàn)榧虞d模型的時(shí)候我們需要使用到OpenCV的dnn模塊，所以我們需要使用OpenCV3.4.2或更高版本， 這里我使用的環(huán)境是：

opencv-python==3.4.5.20
numpy==1.15.0
imutils==0.5.2
pytesseract==0.2.6
Pillow==5.1.0

上面的庫(kù)中imutils是為了方便的得到文本區(qū)域的bounding box的，Pillow是一個(gè)圖像處理的庫(kù)，這里我們用它來(lái)獲取圖像矩形的數(shù)據(jù)。pytesseract則是tesseract的接口，用來(lái)調(diào)用tesseract進(jìn)行文本內(nèi)容識(shí)別的。
環(huán)境完成好之后我們首先來(lái)實(shí)現(xiàn)文本的檢測(cè)。

import numpy as np
import cv2
import time
from imutils.object_detection import non_max_suppression
import pytesseract
from PIL import Image

WIDTH = 640
HEIGHT = 800

net_file = "frozen_east_text_detection.pb"
min_confidence = 0.5

image_path = "3.png"
image = cv2.imread(image_path)
orig = image.copy()
(h, w) = image.shape[:2]

# 設(shè)置圖像的寬和高
(newW, newH) = (WIDTH, HEIGHT)
rW = w / float(newW)
rH = h / float(newH)

# 將圖像放縮為指定的大小
image = cv2.resize(image, (newW, newH))
(h, w) = image.shape[:2]

layers = ["feature_fusion/Conv_7/Sigmoid",
          "feature_fusion/concat_3"]

print("[INFO] 加載檢測(cè)模型")
net = cv2.dnn.readNet(net_file)

blob = cv2.dnn.blobFromImage(image, 1.0, (w, h),
                             (123.68, 116.78, 103.94), swapRB=True, crop=False)

start = time.time()
net.setInput(blob)
(scores, geometry) = net.forward(layers)
end = time.time()

print("[INFO] 檢測(cè)使用 {:.6f} 秒".format(end - start))

# 從scores中獲取行和列
(numrows, numcols) = scores.shape[2:4]
rects = []  
confidences = []

for y in range(0, numrows):
    scoresData = scores[0, 0, y]
    xData0 = geometry[0, 0, y]
    xData1 = geometry[0, 1, y]
    xData2 = geometry[0, 2, y]
    xData3 = geometry[0, 3, y]
    anglesData = geometry[0, 4, y]

    for x in range(0, numcols):
        # 忽略置信度小于指定的概率
        if scoresData[x] < min_confidence:
            continue

        # 計(jì)算偏移因子，因?yàn)槲覀兊玫降奶卣鲌D將比輸入圖像小4倍
        (offsetX, offsetY) = (x * 4.0, y * 4.0)

        # 提取旋轉(zhuǎn)角度進(jìn)行預(yù)測(cè)，然后計(jì)算sin和cosine
        angle = anglesData[x]
        cos = np.cos(angle)
        sin = np.sin(angle)

        # 使用幾何體體積導(dǎo)出邊界框的寬度和高度
        h = xData0[x] + xData2[x]
        w = xData1[x] + xData3[x]

        # 計(jì)算文本預(yù)測(cè)邊界框的開(kāi)始和結(jié)束（x，y）坐標(biāo)
        endX = int(offsetX + (cos * xData1[x]) + (sin * xData2[x]))
        endY = int(offsetY - (sin * xData1[x]) + (cos * xData2[x]))
        startX = int(endX - w)
        startY = int(endY - h)

        # 將邊界框坐標(biāo)和概率分?jǐn)?shù)添加到各自的列表中
        rects.append((startX, startY, endX, endY))
        confidences.append(scoresData[x])

# 非極大值抑制在弱邊界框和重疊邊界框上的應(yīng)用
boxes = non_max_suppression(np.array(rects), probs=confidences)

for (startx, starty, endx, endy) in boxes:
    startx = int(startx * rW)
    starty = int(starty * rH)
    endx = int(endx * rW)
    endy = int(endy * rH)

    roi = orig[starty:endy, startx:endx]
    cv2.rectangle(orig, (startx, starty), (endx, endy), (0, 255, 0), 1)

cv2.imshow("text Detection", orig)
cv2.waitKey(0)

運(yùn)行上述的代碼就可以得到文本檢測(cè)后的結(jié)果了。


文本檢測(cè)結(jié)果

從上面的檢測(cè)結(jié)果可以看到bounding box可以將我們想要的信息獲取出來(lái)了，那么接下來(lái)的一步就是識(shí)別這些bounding box中的文本內(nèi)容了。tesseract是OCR識(shí)別中一個(gè)現(xiàn)成的方案，所以就試試tesseract。

3. tesseract識(shí)別

有了上面的基礎(chǔ)，使用tesseract識(shí)別就變得非常的簡(jiǎn)單，首先我們要確保我們的環(huán)境中已經(jīng)安裝了tesseract，而且可以在我們的cmd line中調(diào)用（即：環(huán)境變量中已經(jīng)配置了它）。
識(shí)別的步驟就是講上述的bounding box獲取出來(lái)，依次的調(diào)用識(shí)別接口就可以完成了。


識(shí)別結(jié)果

識(shí)別結(jié)果中看到，中間有相當(dāng)一些字符識(shí)別的是不正確的。這個(gè)是因?yàn)閠esseract本來(lái)的識(shí)別精度就不是特別的高，針對(duì)不同場(chǎng)景下的文本識(shí)別，如果需要使用tesseract的時(shí)候，一般都是需要自己重新訓(xùn)練的。在工程上，一般很少見(jiàn)到直接使用tesseract的，只是在驗(yàn)證階段初步看看效果的時(shí)候才會(huì)使用tesseract。

完整代碼：

import numpy as np
import cv2
import time
from imutils.object_detection import non_max_suppression
import pytesseract
from PIL import Image

WIDTH = 640
HEIGHT = 800

net_file = "frozen_east_text_detection.pb"
min_confidence = 0.5

image_path = "3.png"
image = cv2.imread(image_path)
orig = image.copy()
(h, w) = image.shape[:2]

# 設(shè)置圖像的寬和高
(newW, newH) = (WIDTH, HEIGHT)
rW = w / float(newW)
rH = h / float(newH)

# 將圖像放縮為指定的大小
image = cv2.resize(image, (newW, newH))
(h, w) = image.shape[:2]

layers = ["feature_fusion/Conv_7/Sigmoid",
          "feature_fusion/concat_3"]

print("[INFO] 加載檢測(cè)模型")
net = cv2.dnn.readNet(net_file)

blob = cv2.dnn.blobFromImage(image, 1.0, (w, h),
                             (123.68, 116.78, 103.94), swapRB=True, crop=False)

start = time.time()
net.setInput(blob)
(scores, geometry) = net.forward(layers)
end = time.time()

print("[INFO] 檢測(cè)使用 {:.6f} 秒".format(end - start))

# 從scores中獲取行和列
(numrows, numcols) = scores.shape[2:4]
rects = []  
confidences = []

for y in range(0, numrows):
    scoresData = scores[0, 0, y]
    xData0 = geometry[0, 0, y]
    xData1 = geometry[0, 1, y]
    xData2 = geometry[0, 2, y]
    xData3 = geometry[0, 3, y]
    anglesData = geometry[0, 4, y]

    for x in range(0, numcols):
        # 忽略置信度小于指定的概率
        if scoresData[x] < min_confidence:
            continue

        # 計(jì)算偏移因子，因?yàn)槲覀兊玫降奶卣鲌D將比輸入圖像小4倍
        (offsetX, offsetY) = (x * 4.0, y * 4.0)

        # 提取旋轉(zhuǎn)角度進(jìn)行預(yù)測(cè)，然后計(jì)算sin和cosine
        angle = anglesData[x]
        cos = np.cos(angle)
        sin = np.sin(angle)

        # 使用幾何體體積導(dǎo)出邊界框的寬度和高度
        h = xData0[x] + xData2[x]
        w = xData1[x] + xData3[x]

        # 計(jì)算文本預(yù)測(cè)邊界框的開(kāi)始和結(jié)束（x，y）坐標(biāo)
        endX = int(offsetX + (cos * xData1[x]) + (sin * xData2[x]))
        endY = int(offsetY - (sin * xData1[x]) + (cos * xData2[x]))
        startX = int(endX - w)
        startY = int(endY - h)

        # 將邊界框坐標(biāo)和概率分?jǐn)?shù)添加到各自的列表中
        rects.append((startX, startY, endX, endY))
        confidences.append(scoresData[x])

# 非極大值抑制在弱邊界框和重疊邊界框上的應(yīng)用
boxes = non_max_suppression(np.array(rects), probs=confidences)

for (startx, starty, endx, endy) in boxes:
    startx = int(startx * rW)
    starty = int(starty * rH)
    endx = int(endx * rW)
    endy = int(endy * rH)

    roi = orig[starty:endy, startx:endx]
    cv2.rectangle(orig, (startx, starty), (endx, endy), (0, 255, 0), 1)
    roi = cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY)
    val, roi = cv2.threshold(roi, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
    roi = Image.fromarray(roi)
    text = pytesseract.image_to_string(roi)
    cv2.putText(orig, text, (startx, starty), cv2.FONT_HERSHEY_COMPLEX, 0.8, (0, 0, 255), 1)

cv2.imshow("text Detection", orig)
cv2.waitKey(0)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容