歡迎訪問我的GitHub

這里分類和匯總了欣宸的全部原創(chuàng)(含配套源碼)：https://github.com/zq2599/blog_demos

關(guān)于《JavaCV的攝像頭實戰(zhàn)》系列

• 《JavaCV的攝像頭實戰(zhàn)》顧名思義，是使用JavaCV框架對攝像頭進行各種處理的實戰(zhàn)集合，這是欣宸作為一名Java程序員，在計算機視覺（computer vision）領(lǐng)域的一個原創(chuàng)系列，通過連續(xù)的編碼實戰(zhàn)，與您一同學習掌握視頻、音頻、圖片等資源的各種操作
• 另外要說明的是，整個系列使用的攝像頭是USB攝像圖或者筆記本的內(nèi)置攝像頭，<font color="red">并非基于網(wǎng)絡(luò)訪問的智能攝像頭</font>

本篇概覽

• 作為整個系列的開篇，本文非常重要，從環(huán)境到代碼的方方面面，都會為后續(xù)文章打好基礎(chǔ)，簡單來說本篇由以下內(nèi)容構(gòu)成：

1. 環(huán)境和版本信息
2. 基本套路分析
3. 基本框架編碼
4. 部署媒體服務(wù)器

• 接下來就從環(huán)境和版本信息開始吧

環(huán)境和版本信息

• 現(xiàn)在就把實戰(zhàn)涉及的軟硬件環(huán)境交代清楚，您可以用來參考：

1. 操作系統(tǒng)：win10
2. JDK：1.8.0_291
3. maven：3.8.1
4. IDEA：2021.2.2(Ultimate Edition)
5. JavaCV：1.5.6
6. 媒體服務(wù)器：基于dockek部署的nginx-rtmp，鏡像是：<font color="blue">alfg/nginx-rtmp:v1.3.1</font>

源碼下載

• 《JavaCV的攝像頭實戰(zhàn)》的完整源碼可在GitHub下載到，地址和鏈接信息如下表所示(https://github.com/zq2599/blog_demos)：

• 這個git項目中有多個文件夾，本篇的源碼在<font color="blue">javacv-tutorials</font>文件夾下，如下圖紅框所示：

在這里插入圖片描述

• <font color="blue">javacv-tutorials</font>里面有多個子工程，《JavaCV的攝像頭實戰(zhàn)》系列的代碼在<font color="red">simple-grab-push</font>工程下：

在這里插入圖片描述

基本套路分析

• 全系列有多個基于攝像頭的實戰(zhàn)，例如窗口預覽、把視頻保存為文件、把視頻推送到媒體服務(wù)器等，其基本套路是大致相同的，用最簡單的流程圖表示如下：

在這里插入圖片描述

• 從上圖可見，整個流程就是不停的從攝像頭取幀，然后處理和輸出

基本框架編碼

• 看過了上面基本套路，聰明的您可能會有這樣的想法：既然套路是固定的，那代碼也可以按套路固定下來吧

• 沒錯，接下來就考慮如何把代碼按照<font color="blue">套路</font>固定下來，我的思路是開發(fā)名為<font color="red">AbstractCameraApplication</font>的抽象類，作為《JavaCV的攝像頭實戰(zhàn)》系列每個應(yīng)用的父類，它負責搭建整個初始化、取幀、處理、輸出的流程，它的子類則專注幀數(shù)據(jù)的具體處理和輸出，整個體系的UML圖如下所示：

在這里插入圖片描述

• 接下來就該開發(fā)抽象類<font color="red">AbstractCameraApplication.java</font>了，編碼前先設(shè)計，下圖是AbstractCameraApplication的主要方法和執(zhí)行流程，粗體全部是方法名，紅色塊代表留給子類實現(xiàn)的抽象方法：

在這里插入圖片描述

• 接下來是創(chuàng)建工程，我這里創(chuàng)建的是maven工程，pom.xml如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>javacv-tutorials</artifactId>
        <groupId>com.bolingcavalry</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.bolingcavalry</groupId>
    <version>1.0-SNAPSHOT</version>
    <artifactId>simple-grab-push</artifactId>
    <packaging>jar</packaging>

    <properties>
        <!-- javacpp當前版本 -->
        <javacpp.version>1.5.6</javacpp.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.2.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-to-slf4j</artifactId>
            <version>2.13.3</version>
        </dependency>

        <!-- javacv相關(guān)依賴，一個就夠了 -->
        <dependency>
            <groupId>org.bytedeco</groupId>
            <artifactId>javacv-platform</artifactId>
            <version>${javacpp.version}</version>
        </dependency>
    </dependencies>
</project>

• 接下來就是<font color="red">AbstractCameraApplication.java</font>的完整代碼，這些代碼的流程和方法命名都與上圖保持一致，并且添加了詳細的注釋，有幾處要注意的地方稍后會提到：

package com.bolingcavalry.grabpush.camera;

import lombok.Getter;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.global.avutil;
import org.bytedeco.javacv.*;
import org.bytedeco.opencv.global.opencv_imgproc;
import org.bytedeco.opencv.opencv_core.Mat;
import org.bytedeco.opencv.opencv_core.Scalar;

import java.text.SimpleDateFormat;
import java.util.Date;

/**
 * @author will
 * @email zq2599@gmail.com
 * @date 2021/11/19 8:07 上午
 * @description 攝像頭應(yīng)用的基礎(chǔ)類，這里面定義了拉流和推流的基本流程，子類只需實現(xiàn)具體的業(yè)務(wù)方法即可
 */
@Slf4j
public abstract class AbstractCameraApplication {

    /**
     * 攝像頭序號，如果只有一個攝像頭，那就是0
     */
    protected static final int CAMERA_INDEX = 0;

    /**
     * 幀抓取器
     */
    protected FrameGrabber grabber;

    /**
     * 輸出幀率
     */
    @Getter
    private final double frameRate = 30;

    /**
     * 攝像頭視頻的寬
     */
    @Getter
    private final int cameraImageWidth = 1280;

    /**
     * 攝像頭視頻的高
     */
    @Getter
    private final int cameraImageHeight = 720;

    /**
     * 轉(zhuǎn)換器
     */
    private final OpenCVFrameConverter.ToIplImage openCVConverter = new OpenCVFrameConverter.ToIplImage();

    /**
     * 實例化、初始化輸出操作相關(guān)的資源
     */
    protected abstract void initOutput() throws Exception;

    /**
     * 輸出
     */
    protected abstract void output(Frame frame) throws Exception;

    /**
     * 釋放輸出操作相關(guān)的資源
     */
    protected abstract void releaseOutputResource() throws Exception;

    /**
     * 兩幀之間的間隔時間
     * @return
     */
    protected int getInterval() {
        // 假設(shè)一秒鐘15幀，那么兩幀間隔就是(1000/15)毫秒
        return (int)(1000/ frameRate);
    }

    /**
     * 實例化幀抓取器，默認OpenCVFrameGrabber對象，
     * 子類可按需要自行覆蓋
     * @throws FFmpegFrameGrabber.Exception
     */
    protected void instanceGrabber() throws FrameGrabber.Exception {
        grabber = new OpenCVFrameGrabber(CAMERA_INDEX);
    }

    /**
     * 用幀抓取器抓取一幀，默認調(diào)用grab()方法，
     * 子類可以按需求自行覆蓋
     * @return
     */
    protected Frame grabFrame() throws FrameGrabber.Exception {
        return grabber.grab();
    }

    /**
     * 初始化幀抓取器
     * @throws Exception
     */
    protected void initGrabber() throws Exception {
        // 實例化幀抓取器
        instanceGrabber();

        // 攝像頭有可能有多個分辨率，這里指定
        // 可以指定寬高，也可以不指定反而調(diào)用grabber.getImageWidth去獲取，
        grabber.setImageWidth(cameraImageWidth);
        grabber.setImageHeight(cameraImageHeight);

        // 開啟抓取器
        grabber.start();
    }

    /**
     * 預覽和輸出
     * @param grabSeconds 持續(xù)時長
     * @throws Exception
     */
    private void grabAndOutput(int grabSeconds) throws Exception {
        // 添加水印時用到的時間工具
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

        long endTime = System.currentTimeMillis() + 1000L *grabSeconds;

        // 兩幀輸出之間的間隔時間，默認是1000除以幀率，子類可酌情修改
        int interVal = getInterval();

        // 水印在圖片上的位置
        org.bytedeco.opencv.opencv_core.Point point = new org.bytedeco.opencv.opencv_core.Point(15, 35);

        Frame captureFrame;
        Mat mat;

        // 超過指定時間就結(jié)束循環(huán)
        while (System.currentTimeMillis()<endTime) {
            // 取一幀
            captureFrame = grabFrame();

            if (null==captureFrame) {
                log.error("幀對象為空");
                break;
            }

            // 將幀對象轉(zhuǎn)為mat對象
            mat = openCVConverter.convertToMat(captureFrame);

            // 在圖片上添加水印，水印內(nèi)容是當前時間，位置是左上角
            opencv_imgproc.putText(mat,
                    simpleDateFormat.format(new Date()),
                    point,
                    opencv_imgproc.CV_FONT_VECTOR0,
                    0.8,
                    new Scalar(0, 200, 255, 0),
                    1,
                    0,
                    false);

            // 子類輸出
            output(openCVConverter.convert(mat));

            // 適當間隔，讓肉感感受不到閃屏即可
            if(interVal>0) {
                Thread.sleep(interVal);
            }
        }

        log.info("輸出結(jié)束");
    }

    /**
     * 釋放所有資源
     */
    private void safeRelease() {
        try {
            // 子類需要釋放的資源
            releaseOutputResource();
        } catch (Exception exception) {
            log.error("do releaseOutputResource error", exception);
        }

        if (null!=grabber) {
            try {
                grabber.close();
            } catch (Exception exception) {
                log.error("close grabber error", exception);
            }
        }
    }

    /**
     * 整合了所有初始化操作
     * @throws Exception
     */
    private void init() throws Exception {
        long startTime = System.currentTimeMillis();

        // 設(shè)置ffmepg日志級別
        avutil.av_log_set_level(avutil.AV_LOG_INFO);
        FFmpegLogCallback.set();

        // 實例化、初始化幀抓取器
        initGrabber();

        // 實例化、初始化輸出操作相關(guān)的資源，
        // 具體怎么輸出由子類決定，例如窗口預覽、存視頻文件等
        initOutput();

        log.info("初始化完成，耗時[{}]毫秒，幀率[{}]，圖像寬度[{}]，圖像高度[{}]",
                System.currentTimeMillis()-startTime,
                frameRate,
                cameraImageWidth,
                cameraImageHeight);
    }

    /**
     * 執(zhí)行抓取和輸出的操作
     */
    public void action(int grabSeconds) {
        try {
            // 初始化操作
            init();
            // 持續(xù)拉取和推送
            grabAndOutput(grabSeconds);
        } catch (Exception exception) {
            log.error("execute action error", exception);
        } finally {
            // 無論如何都要釋放資源
            safeRelease();
        }
    }
}

• 上述代碼有以下幾處要注意：

1. 負責從攝像頭取數(shù)據(jù)的是OpenCVFrameGrabber對象，即幀抓取器
2. initGrabber方法中，通過setImageWidth和setImageHeight方法為幀抓取器設(shè)置圖像的寬和高，其實也可以不用設(shè)置寬高，由幀抓取器自動適配，但是考慮到有些攝像頭支持多種分辨率，所以還是按照自己的實際情況來主動設(shè)置
3. grabAndOutput方法中，使用了while循環(huán)來不斷地取幀、處理、輸出，這個while循環(huán)的結(jié)束條件是指定時長，這樣的結(jié)束條件可能滿足不了您的需要，請按照您的實際情況自行調(diào)整（例如檢測某個按鍵是否按下）
4. grabAndOutput方法中，將取到的幀轉(zhuǎn)為Mat對象，然后在Mat對象上添加文字，內(nèi)容是當前時間，再將Mat對象轉(zhuǎn)為幀對象，將此幀對象傳給子類的<font color="blue">output</font>方法，如此一來，子類做處理和輸出的時候，拿到的幀都有了時間水印

• 至此，父類已經(jīng)完成，接下來的實戰(zhàn)，咱們只要專注用子類處理和輸出幀數(shù)據(jù)即可

部署媒體服務(wù)器

• 《JavaCV的攝像頭實戰(zhàn)》系列的一些實戰(zhàn)涉及到推流和遠程播放，這就要用到流媒體服務(wù)器了，流媒體服務(wù)器的作用如下圖，咱們也在這一篇提前部署好：

在這里插入圖片描述

• 關(guān)于媒體服務(wù)器的類型，我選的是常用的<font color="blue">nginx-rtmp</font>，簡單起見，找了一臺linux電腦，在上面用docker來部署，也就是一行命令的事兒：

docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 alfg/nginx-rtmp:v1.3.1

• 另外還有個特殊情況，就是我這邊有個閑置的樹莓派3B，也可以用來做媒體服務(wù)器，也是用docker部署的，這里要注意鏡像要選用<font color="blue">shamelesscookie/nginx-rtmp-ffmpeg:latest</font>，這個鏡像有ARM64版本，適合在樹莓派上使用：

docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 shamelesscookie/nginx-rtmp-ffmpeg:latest

• 至此，《JavaCV的攝像頭實戰(zhàn)》系列的準備工作已經(jīng)完成，接下來的文章，開始精彩的體驗之旅吧，欣宸原創(chuàng)，必不讓您失望~

你不孤單，欣宸原創(chuàng)一路相伴

https://github.com/zq2599/blog_demos