爱折腾的孩纸

编译TFLite静态库

首先，为什么要自己动手编译，以及为什么要编译成静态库，初衷暂且不表，罗列一下编译过程。

如果你需要动态链接库的话，网上有大把以及编译好的。

另外，千万不要用windows下的编译工具，比如Mingw，以及Msys2，各种问题纯浪费了我一天的时间。使用Ubuntu交叉编译比直接在windows上编译更靠谱。

  • 安装编译工具

    安装 GCC 或者 mingw 用来交叉编译 windows 平台版本

    sudo apt install mingw-w64

    如果使用，注意 mingw 应选择 posix 版本，执行以下命令可切换版本：

    sudo update-alternatives --config x86_64-w64-mingw32-gcc
    sudo update-alternatives --config x86_64-w64-mingw32-g++

  • 创建目录，用于下载 tensorflow 源码，例如 ./tensorflow-2.6.5

    wget https://github.com/tensorflow/tensorflow/archive/refs/tags/v2.6.5.zip
    unzip v2.6.5.zip

  • 创建目录，用于存放 CMakeFiles，例如 ./tflite-build

    mkdir tflite-build
    cd tflite-build

  • 初始化 CMake

    不交叉编译

    cmake -DTFLITE_C_BUILD_SHARED_LIBS:BOOL=OFF \
      ../tensorflow-2.6.5/tensorflow/lite/c

    交叉编译

    export CC_PREFIX=x86_64-w64-mingw32-
cmake -DCMAKE_C_COMPILER=${CC_PREFIX}gcc \
      -DCMAKE_CXX_COMPILER=${CC_PREFIX}g++\
      -DTFLITE_C_BUILD_SHARED_LIBS:BOOL=OFF \
      -DCMAKE_SYSTEM_NAME=CYGWIN \
      -DCMAKE_SYSTEM_PROCESSOR=x86_64 \
      ../tensorflow-2.6.5/tensorflow/lite/c

  • 交叉编译过程中会遇到几个错误：

    一个是找不到 <byteswap.h> 头文件，编辑 farmhash/src/farmhash.cc 文件，在 172 行附近，注释掉 #include <byteswap.h> 语句，并添加以下两行：

    #define bswap_32(x) __builtin_bswap32 (x)
#define bswap_64(x) __builtin_bswap64 (x)

    另一个是找不到 <sys/mman.h> 头文件，这是因为 mingw 没有mmap的实现。
    这里我找了一个项目，https://github.com/alitrack/mman-win32 ，复制其中的 mman.c 和 mman.h 到 ./tensorflow-2.6.5 下的 /tensorflow/lite/ 目录中。然后修改mmap_allocation.cc 文件，使用 "mman.h" 代替 <sys/mman.h>。

    还有一个最后编译自己的程序链接时的错误：
    /usr/bin/x86_64-w64-mingw32-ld: ./tflite-build/output/libcpuinfo.a(init.c.o):init.c:(.text+0x117): undefined reference to 'max'
    编辑 cpuinfo-source/src/x86/windows/init.c 文件，在文件中添加一个max函数，比如：

    static inline DWORD max(DWORD a, DWORD b) {
        return a > b ? a : b;
}

  • 准备好后可以尝试执行编译了

    cmake --build . -j 1

    建议初次编译使用单线程，以便发生错误时可以清楚的看到错误原因。

  • 拷贝编译结果到 ouptput 目录，这个操作是为了使用时方便链接

    创建一个 ouptput 目录，将静态库拷贝到该目录中，注意，当使用静态库时，需要链接这里的多个静态库，只链接libtensorflowlite_c.a是不够的。

    cp libtensorflowlite_c.a output/
cp _deps/flatbuffers-build/libflatbuffers.a output/
cp _deps/farmhash-build/libfarmhash.a output/
cp _deps/ruy-build/libruy.a output/
cp _deps/xnnpack-build/libXNNPACK.a output/
cp _deps/fft2d-build/libfft2d_fftsg2d.a output/
cp _deps/fft2d-build/libfft2d_fftsg.a output/
cp tensorflow-lite/libtensorflow-lite.a output/
cp pthreadpool/libpthreadpool.a output/
cp cpuinfo/libcpuinfo.a output/
cp clog/libclog.a output/

    头文件在源码目录中。

    但是用头文件编译 Mingw 版 windows 应用时，可能会遇到 undefined reference to `__imp_xxx 错误提示，这是因为 lite/c/c_api_types.h 头文件中的 TFL_CAPI_EXPORT 定义有问题，tflite 未提供 windows 平台的静态链接库支持，故判断平台为 windows 后，直接追加了 #define TFL_CAPI_EXPORT __declspec(dllexport) 定义，使得编译器链接时认为应该在动态链接库中进行查找。

    一个粗暴的解决办法是删除lite/c/c_api_types.h 头文件中 35 至 43 行的内容，随后增加一行 #define TFL_CAPI_EXPORT ;。

  • 以下是 Golang 编译 github.com/mattn/go-tflite 并静态链接 tensorflowlite_c 的使用例子：

    export CGO_CFLAGS=-I./tensorflow-2.6.5
    export CGO_LDFLAGS="-L./tflite-build/output -ltensorflow-lite -lruy -lXNNPACK -lfft2d_fftsg -lfft2d_fftsg2d -lflatbuffers -lfarmhash -lpthreadpool -lcpuinfo -lclog -lstdc++ -lm"
    go build -o gotflite-app
    或者
    export CC=/usr/bin/x86_64-w64-mingw32-gcc
    GOOS=windows go build -ldflags '-extldflags "-static"' -o gotflite-app.exe

    建议使用绝对路径替换上面命令中的路径。
    windows 平台建议使用 -extldflags "-static" 链接参数编译，否则直接运行会提示缺少 glibc 等 DLL。

最后是我当前使用的 GCC 版本：

gcc -v
Using built-in specs.
COLLECT_GCC=gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc/x86_64-linux-gnu/11/lto-wrapper
OFFLOAD_TARGET_NAMES=nvptx-none:amdgcn-amdhsa
OFFLOAD_TARGET_DEFAULT=1
Target: x86_64-linux-gnu
Configured with: ../src/configure -v --with-pkgversion='Ubuntu 11.4.0-1ubuntu1~22.04' --with-bugurl=file:///usr/share/doc/gcc-11/README.Bugs --enable-languages=c,ada,c++,go,brig,d,fortran,objc,obj-c++,m2 --prefix=/usr --with-gcc-major-version-only --program-suffix=-11 --program-prefix=x86_64-linux-gnu- --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --enable-bootstrap --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-vtable-verify --enable-plugin --enable-default-pie --with-system-zlib --enable-libphobos-checking=release --with-target-system-zlib=auto --enable-objc-gc=auto --enable-multiarch --disable-werror --enable-cet --with-arch-32=i686 --with-abi=m64 --with-multilib-list=m32,m64,mx32 --enable-multilib --with-tune=generic --enable-offload-targets=nvptx-none=/build/gcc-11-XeT9lY/gcc-11-11.4.0/debian/tmp-nvptx/usr,amdgcn-amdhsa=/build/gcc-11-XeT9lY/gcc-11-11.4.0/debian/tmp-gcn/usr --without-cuda-driver --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=x86_64-linux-gnu --with-build-config=bootstrap-lto-lean --enable-link-serialization=2
Thread model: posix
Supported LTO compression algorithms: zlib zstd
gcc version 11.4.0 (Ubuntu 11.4.0-1ubuntu1~22.04)

x86_64-w64-mingw32-gcc -v
Using built-in specs.
COLLECT_GCC=x86_64-w64-mingw32-gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc/x86_64-w64-mingw32/10-posix/lto-wrapper
Target: x86_64-w64-mingw32
Configured with: ../../src/configure --build=x86_64-linux-gnu --prefix=/usr --includedir='/usr/include' --mandir='/usr/share/man' --infodir='/usr/share/info' --sysconfdir=/etc --localstatedir=/var --disable-option-checking --disable-silent-rules --libdir='/usr/lib/x86_64-linux-gnu' --libexecdir='/usr/lib/x86_64-linux-gnu' --disable-maintainer-mode --disable-dependency-tracking --prefix=/usr --enable-shared --enable-static --disable-multilib --with-system-zlib --libexecdir=/usr/lib --without-included-gettext --libdir=/usr/lib --enable-libstdcxx-time=yes --with-tune=generic --with-headers --enable-version-specific-runtime-libs --enable-fully-dynamic-string --enable-libgomp --enable-languages=c,c++,fortran,objc,obj-c++,ada --enable-lto --enable-threads=posix --program-suffix=-posix --program-prefix=x86_64-w64-mingw32- --target=x86_64-w64-mingw32 --with-as=/usr/bin/x86_64-w64-mingw32-as --with-ld=/usr/bin/x86_64-w64-mingw32-ld --enable-libatomic --enable-libstdcxx-filesystem-ts=yes --enable-dependency-tracking SED=/bin/sed
Thread model: posix
Supported LTO compression algorithms: zlib
gcc version 10-posix 20220113 (GCC)

评论