其他分享
首页 > 其他分享> > TI深度学习(TIDL)--2

TI深度学习(TIDL)--2

作者:互联网

1.3.4. 目标文件系统
1.3.4.1. 固件
OpenCL固件包括预封装的DSP TIDL库(带有硬编码内核)和遵循定制加速器模型的EVE TIDL库。OpenCL固件在Linux引导后立即下载到DSP和M4/EVE:

- dra7-ipu1-fw.xem4 -> /lib/firmware/dra7-ipu1-fw.xem4.opencl-monitor
- dra7-dsp1-fw.xe66 -> /lib/firmware/dra7-dsp1-fw.xe66.opencl-monitor
- dra7-dsp2-fw.xe66 -> /lib/firmware/dra7-dsp2-fw.xe66.opencl-monitor

1.3.4.2. 用户空间组件
用户空间TIDL组件包含在文件夹/usr/share/ti/tidl 及其子文件夹中。子文件夹名称和说明如下:

Sub folder	Description of content
examples	    test(文件到文件的例子),imagenet分类,图像分割和SSD多盒例子在这里。一个基于imagenet的矩阵GUI例子,在tidl_classification文件夹中。
utils	          用于导入模型和仿真的ARM 32位二进制文件,以及用于运行示例导入工具操作的配置文件。
viewer   	导入模型解析器和点图创建器。输入是TIDL模型,输出是.dot文件,可以使用点工具(x86)转换成PNG或PDF格式。
tidl_api	       TIDL API实现的来源。

1.3.5. 输入数据格式
当前版本主要用于2D输入。最常见的二维输入张量是彩色图像。格式必须与模型培训时使用的格式相同。通常,这遵循BGR平面交错格式(OpenCV中常见)。也就是说,第一个二维数组是蓝色平面,第二个是绿色平面,最后是红色平面。
但是,完全有可能仅输入两个平面:例如,一个具有激光雷达距离测量的平面和第二个具有照明的平面。这假设在训练期间使用了相同的格式。
1.3.6. 输出数据格式

•图像分类
在输出端有1D向量,每个类一个字节(log(softmax))。如果模型有100个类,输出缓冲区将有100字节长,如果模型有1000个类,输出缓冲区将有1000字节长
• 图像分割
输出缓冲区是2D缓冲区,通常是WxH(输入图像的宽度和高度)。每个字节是输入图像中像素的类索引。通常,类的计数是一个或两个几十(但必须少于255).
• 目标检测
输出缓冲区是一个元组列表,包括:类索引、边界框(4个参数)和可选的概率度量.
1.3.7. 导入过程
导入过程分两步完成.
•第一步是解析模型参数和网络拓扑,并将其转换为TIDL Lib可以理解的自定义格式。
•第二步通过找出每一层的激活范围来校准动态量化过程。这是通过调用模拟(使用本机C实现)来实现的,模拟估计对量化过程很重要的初始值。假设输入帧之间有很强的时间相关性,这些值随后会按帧更新。
在导入过程中,一些层将合并为一个TIDL层(例如卷积层和ReLU层)。这样做是为了进一步利用EVE架构,该架构允许免费执行某些操作。可以使用TIDL网络查看器检查转换(但等效)网络的结构。
我们提供了一个工具(Linux x86或ARM Linux端口)来导入在PC机上使用caffe框架或tensor flow框架训练的模型和参数,该工具通过导入配置文件接受各种参数,并生成模型和参数文件,代码将使用TIDL库跨多个EVE和DSP核心执行。导入配置文件位于{TIDL_install_path}/test/testvecs/config/import中
1.3.7.3. 导入工具跟踪
在转换过程中,导入工具生成轨迹,报告检测到的层及其参数(最后几列表示输入张量维度和输出张量维度)。

Processing config file ./tempDir/qunat_stats_config.txt !
0, TIDL_DataLayer                 ,  0,  -1 ,  1 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  0 ,    0 ,    0 ,    0 ,    0 ,    1 ,    3 ,  224 ,  224 ,
1, TIDL_BatchNormLayer            ,  1,   1 ,  1 ,  0 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  1 ,    1 ,    3 ,  224 ,  224 ,    1 ,    3 ,  224 ,  224 ,
2, TIDL_ConvolutionLayer          ,  1,   1 ,  1 ,  1 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  2 ,    1 ,    3 ,  224 ,  224 ,    1 ,   32 ,  112 ,  112 ,
3, TIDL_ConvolutionLayer          ,  1,   1 ,  1 ,  2 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  3 ,    1 ,   32 ,  112 ,  112 ,    1 ,   32 ,   56 ,   56 ,
4, TIDL_ConvolutionLayer          ,  1,   1 ,  1 ,  3 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  4 ,    1 ,   32 ,   56 ,   56 ,    1 ,   64 ,   56 ,   56 ,
5, TIDL_ConvolutionLayer          ,  1,   1 ,  1 ,  4 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  5 ,    1 ,   64 ,   56 ,   56 ,    1 ,   64 ,   28 ,   28 ,
6, TIDL_ConvolutionLayer          ,  1,   1 ,  1 ,  5 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  6 ,    1 ,   64 ,   28 ,   28 ,    1 ,  128 ,   28 ,   28 ,
7, TIDL_ConvolutionLayer          ,  1,   1 ,  1 ,  6 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  7 ,    1 ,  128 ,   28 ,   28 ,    1 ,  128 ,   14 ,   14 ,
8, TIDL_ConvolutionLayer          ,  1,   1 ,  1 ,  7 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  8 ,    1 ,  128 ,   14 ,   14 ,    1 ,  256 ,   14 ,   14 ,
9, TIDL_ConvolutionLayer          ,  1,   1 ,  1 ,  8 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  9 ,    1 ,  256 ,   14 ,   14 ,    1 ,  256 ,    7 ,    7 ,
10, TIDL_ConvolutionLayer         ,  1,   1 ,  1 ,  9 ,  x ,  x ,  x ,  x ,  x ,  x ,  x , 10 ,    1 ,  256 ,    7 ,    7 ,    1 ,  512 ,    7 ,    7 ,
11, TIDL_ConvolutionLayer         ,  1,   1 ,  1 , 10 ,  x ,  x ,  x ,  x ,  x ,  x ,  x , 11 ,    1 ,  512 ,    7 ,    7 ,    1 ,  512 ,    7 ,    7 ,
12, TIDL_PoolingLayer             ,  1,   1 ,  1 , 11 ,  x ,  x ,  x ,  x ,  x ,  x ,  x , 12 ,    1 ,  512 ,    7 ,    7 ,    1 ,    1 ,    1 ,  512 ,
13, TIDL_InnerProductLayer        ,  1,   1 ,  1 , 12 ,  x ,  x ,  x ,  x ,  x ,  x ,  x , 13 ,    1 ,    1 ,    1 ,  512 ,    1 ,    1 ,    1 ,    9 ,
14, TIDL_SoftMaxLayer             ,  1,   1 ,  1 , 13 ,  x ,  x ,  x ,  x ,  x ,  x ,  x , 14 ,    1 ,    1 ,    1 ,    9 ,    1 ,    1 ,    1 ,    9 ,
15, TIDL_DataLayer                ,  0,   1 , -1 , 14 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  0 ,    1 ,    1 ,    1 ,    9 ,    0 ,    0 ,    0 ,    0 ,
Layer ID    ,inBlkWidth  ,inBlkHeight ,inBlkPitch  ,outBlkWidth ,outBlkHeight,outBlkPitch ,numInChs    ,numOutChs   ,numProcInChs,numLclInChs ,numLclOutChs,numProcItrs ,numAccItrs  ,numHorBlock ,numVerBlock ,inBlkChPitch,outBlkChPitc,alignOrNot
  2           72           64           72           32           28           32            3           32            3            1            8            1            3            4            4         4608          896            1
  3           40           30           40           32           28           32            8            8            8            4            8            1            2            4            4         1200          896            1
  4           40           30           40           32           28           32           32           64           32            7            8            1            5            2            2         1200          896            1
  5           40           30           40           32           28           32           16           16           16            7            8            1            3            2            2         1200          896            1
  6           40           30           40           32           28           32           64          128           64            7            8            1           10            1            1         1200          896            1
  7           40           30           40           32           28           32           32           32           32            7            8            1            5            1            1         1200          896            1
  8           24           16           24           16           14           16          128          256          128            8            8            1           16            1            1          384          224            1
  9           24           16           24           16           14           16           64           64           64            8            8            1            8            1            1          384          224            1
 10           24            9           24           16            7           16          256          512          256            8            8            1           32            1            1          216          112            1
 11           24            9           24           16            7           16          128          128          128            8            8            1           16            1            1          216          112            1
  Processing Frame Number : 0

最终输出(基于配置文件中提供的校准原始图像)存储在保留名称的文件中:stats_tool_out.bin。此文件的大小应与输出类计数相同(在分类的情况下)。例如,对于imagenet 1000类,它必须是1000字节大。除了final blob之外,所有中间结果(单个层的激活)都存储在./tempDir文件夹中(在调用import的文件夹中)。以下是具有中间激活的文件的示例列表:

•	trace_dump_0_224x224.y <- This very first layer should be identical to the data blob used in desktop Caffe (during validation)
•	trace_dump_1_224x224.y
•	trace_dump_2_112x112.y
•	trace_dump_3_56x56.y
•	trace_dump_4_56x56.y
•	trace_dump_5_28x28.y
•	trace_dump_6_28x28.y
•	trace_dump_7_14x14.y
•	trace_dump_8_14x14.y
•	trace_dump_9_7x7.y
•	trace_dump_10_7x7.y
•	trace_dump_11_7x7.y
•	trace_dump_12_512x1.y
•	trace_dump_13_9x1.y
•	trace_dump_14_9x1.y

1.3.7.4. 在图层组之间拆分图层
为了同时使用DSP和EVE加速器,可以使用层组的概念将网络分成两个子图。在EVE上可以执行多个层组,在DSP上可以执行另一个层组。第一组的输出(在EVE上运行)将用作DSP的输入。
这可以通过以下方式实现(提供Jacinto11网络的示例):

# Default - 0
randParams         = 0

# 0: Caffe, 1: TensorFlow, Default - 0
modelType          = 0

# 0: Fixed quantization By tarininng Framework, 1: Dynamic quantization by TIDL, Default - 1
quantizationStyle  = 1

# quantRoundAdd/100 will be added while rounding to integer, Default - 50
quantRoundAdd      = 25

numParamBits       = 8
# 0 : 8bit Unsigned, 1 : 8bit Signed Default - 1
inElementType      = 0

inputNetFile       = "../caffe_jacinto_models/trained/image_classification/imagenet_jacintonet11v2/sparse/deploy.prototxt"
inputParamsFile    = "../caffe_jacinto_models/trained/image_classification/imagenet_jacintonet11v2/sparse/imagenet_jacintonet11v2_iter_160000.caffemodel"
outputNetFile      = "./tidl_models/tidl_net_imagenet_jacintonet11v2.bin"
outputParamsFile   = "./tidl_models/tidl_param_imagenet_jacintonet11v2.bin"

sampleInData = "./input/preproc_0_224x224.y"
tidlStatsTool = "./bin/eve_test_dl_algo_ref.out"
layersGroupId    = 0       1       1       1       1       1       1       1       1       1       1       1       2       2       2       0
conv2dKernelType = 0       0       0       0       0       0       0       0       0       0       0       0       1       1       1       1

输入和输出层属于层组0。层组1分配给EVE,层组2分配给DSP。
第二行(conv2dKernelType)指示计算是稀疏(0)还是密集(1)。
转换后,我们可以可视化网络:
tidl_viewer -p -d ./j11split.dot ./tidl_net_imagenet_jacintonet11v2.bin
dot -Tpdf ./j11split.dot -o ./j11split.pdf
下图(第1组在EVE上执行,第2组在DSP上执行):
在这里插入图片描述

层组1的输出与层组2的输入缓冲区共享(公共),因此没有额外的缓冲区复制开销。由于这种缓冲区分配,EVE和DSP的顺序操作是必要的。
1.3.7.5. 计算所需理论GMAC
对于计算最密集的层(卷积层和完全连接层),这可以预先计算。每个卷积层都有一定数量的输入和输出特征映射(2D张量)。输入特征映射用卷积核卷积(通常是3x3,但也有5x5,7x7…)。所以mac的总数可以计算为:Height_input_map x Width_input_map x N_input_maps x N_output_maps x size_of_kernel。
E.g. for 112x112 feature map, with 64 inputs, 64 outputs and 3x3 kernels, we need:
112x112x64x64x3x3 MAC operations = 4624229916 MAC operations

同样,对于全连接层,N_inputs和N_outputs的MAC操作总数为

E.g. N_inputs = 4096 and N_outputs = 1000,
Fully Connected Layer MAC operations = N_inputs * N_outputs = 4096 * 1000 = 4096000 MAC operations

显然,卷积层的工作负载明显更高。
1.3.7.6. 映射到EVE功能
每个EVE内核每周期可以执行16个MAC操作。累积的结果存储在40位累加器中,可以在存储到本地存储器之前进行桶移位。另外,EVE还可以免费进行ReLU操作,因此经常会将卷积层或全连接层与ReLU层合并。
为了支持这些操作,需要到本地内存的宽路径。来自外部DDR内存的并发传输使用专用的EDMA引擎执行。所以,当EVE进行卷积运算时,它总是同时访问已经存在于高速本地内存中的激活和权重。
一层或两层是在EVE本地RISC CPU上实现的,主要用于矢量引擎和EDMA的编程。在这些极少数情况下,EVE CPU被用作完全可编程但速度较慢的计算引擎。SoftMax层使用通用CPU实现,并且比DSP或A15实现慢得多。由于SoftMax层是终端层,建议在A15(在用户空间)或使用DSP(layergroup2,如JDetNet示例中实现的)上执行SoftMax。
1.3.8. 查看器工具
查看器工具对导入的网络模型进行可视化。更多详情请访问https://software-dl.ti.com/mctools/esd/docs/tidl-api/viewer.html 以下是一个命令行示例:

root@am57xx-evm:/usr/share/ti/tidl/examples/test/testvecs/config/tidl_models# tidl_viewer
Usage: tidl_viewer -d <dot file name> <network binary file>
Version: 01.00.00.02.7b65cbb
Options:
-p              Print network layer info
-h              Display this help message




root@am57xx-evm:/usr/share/ti/tidl/examples/test/testvecs/config/tidl_models# tidl_viewer -p -d ./jacinto11.dot ./tidl_net_imagenet_jacintonet11v2.bin
  #  Name                  gId   #i   #o   i0   i1   i2   i3   i4   i5   i6   i7   o   #roi    #ch      h      w   #roi    #ch      h      w
  0, Data                ,  0,  -1 ,  1 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  0 ,    0 ,    0 ,    0 ,    0 ,    1 ,    3 ,  224 ,  224 ,
  1, BatchNorm           ,  1,   1 ,  1 ,  0 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  1 ,    1 ,    3 ,  224 ,  224 ,    1 ,    3 ,  224 ,  224 ,
  2, Convolution         ,  1,   1 ,  1 ,  1 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  2 ,    1 ,    3 ,  224 ,  224 ,    1 ,   32 ,  112 ,  112 ,
  3, Convolution         ,  1,   1 ,  1 ,  2 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  3 ,    1 ,   32 ,  112 ,  112 ,    1 ,   32 ,   56 ,   56 ,
  4, Convolution         ,  1,   1 ,  1 ,  3 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  4 ,    1 ,   32 ,   56 ,   56 ,    1 ,   64 ,   56 ,   56 ,
  5, Convolution         ,  1,   1 ,  1 ,  4 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  5 ,    1 ,   64 ,   56 ,   56 ,    1 ,   64 ,   28 ,   28 ,
  6, Convolution         ,  1,   1 ,  1 ,  5 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  6 ,    1 ,   64 ,   28 ,   28 ,    1 ,  128 ,   28 ,   28 ,
  7, Convolution         ,  1,   1 ,  1 ,  6 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  7 ,    1 ,  128 ,   28 ,   28 ,    1 ,  128 ,   14 ,   14 ,
  8, Convolution         ,  1,   1 ,  1 ,  7 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  8 ,    1 ,  128 ,   14 ,   14 ,    1 ,  256 ,   14 ,   14 ,
  9, Convolution         ,  1,   1 ,  1 ,  8 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  9 ,    1 ,  256 ,   14 ,   14 ,    1 ,  256 ,    7 ,    7 ,
  10, Convolution         ,  1,   1 ,  1 ,  9 ,  x ,  x ,  x ,  x ,  x ,  x ,  x , 10 ,    1 ,  256 ,    7 ,    7 ,    1 ,  512 ,    7 ,    7 ,
  11, Convolution         ,  1,   1 ,  1 , 10 ,  x ,  x ,  x ,  x ,  x ,  x ,  x , 11 ,    1 ,  512 ,    7 ,    7 ,    1 ,  512 ,    7 ,    7 ,
  12, Pooling             ,  1,   1 ,  1 , 11 ,  x ,  x ,  x ,  x ,  x ,  x ,  x , 12 ,    1 ,  512 ,    7 ,    7 ,    1 ,    1 ,    1 ,  512 ,
  13, InnerProduct        ,  1,   1 ,  1 , 12 ,  x ,  x ,  x ,  x ,  x ,  x ,  x , 13 ,    1 ,    1 ,    1 ,  512 ,    1 ,    1 ,    1 , 1000 ,
  14, SoftMax             ,  1,   1 ,  1 , 13 ,  x ,  x ,  x ,  x ,  x ,  x ,  x , 14 ,    1 ,    1 ,    1 , 1000 ,    1 ,    1 ,    1 , 1000 ,
  15, Data                ,  0,   1 , -1 , 14 ,  x ,  x ,  x ,  x ,  x ,  x ,  x ,  0 ,    1 ,    1 ,    1 , 1000 ,    0 ,    0 ,    0 ,    0 ,

输出文件是jacinto11.dot,可以在Linux x86上转换为PNG或PDF文件,使用(例如):
dot -Tpdf ./jacinto11.dot -o ./jacinto11.pdf
• 指向JDetNet中的层组,描述如何将图划分为两个组,创建EVE最优组和DSP最优组
1.3.9. 仿真工具
我们提供PLSDK ARM文件系统仿真工具和Linux x86仿真工具。这是精确位仿真,所以仿真工具的输出应该与A5749或AM57xx目标的输出相同。请将此工具仅作为方便工具使用(例如,在没有目标EVM的设置上测试模型)。
仿真工具也可用于验证转换模型的准确性(FP32与8位实现)。它可以在x86上利用更多的内核并行运行(模拟工具是单线程实现)。由于位精确仿真,仿真工具的性能不能用来预测目标执行时间,但可以用来验证模型的准确性。
一个配置文件的例子,它包括处理帧数的规范,输入图像文件(带有一个或多个原始图像),输入图像文件的数值格式(有符号或无符号),跟踪文件夹和模型文件:

rawImage    = 1
numFrames   = 1
inData   = "./tmp.raw"
inElementType      = 0
traceDumpBaseName   = "./out/trace_dump_"
outData   = "stats_tool_out.bin"
netBinFile      = "./tidl_net_imagenet_jacintonet11v2.bin"
paramsBinFile   = "./tidl_param_imagenet_jacintonet11v2.bin"

如果需要处理多个图像,可以使用下面(或类似)脚本:

 SRC_DIR=$1

 echo "#########################################################" >  TestResults.log
 echo "Testing in $SRC_DIR" >> TestResults.log
 echo "#########################################################" >> TestResults.log
 for filename in $SRC_DIR/*.png; do
  convert $filename -separate +channel -swap 0,2 -combine -colorspace sRGB ./sample_bgr.png
      convert ./sample_bgr.png  -interlace plane BGR:sample_img_256x256.raw
      ./eve_test_dl_algo.out sim.txt
      echo "$filename Results " >> TestResults.log
      hd stats_tool_out.bin | tee -a TestResults.log
done

仿真工具./eve_test_dl_algo.out 使用单个命令行参数调用:
./eve_test_dl_algo.out sim.txt

模拟配置文件包括要执行的网络模式列表,在这种情况下,只有一个:tild_config_j11.txt 列表以“0”结尾:

1 ./tidl_config_j11_v2.txt
0

模拟工具使用的样例配置文件(tidl_config_j11_v2.txt):

rawImage    = 1
numFrames   = 1
preProcType  = 0
inData   = "./sample_img_256x256.raw"
traceDumpBaseName   = "./out/trace_dump_"
outData   = "stats_tool_out.bin"
updateNetWithStats   = 0
netBinFile      = "./tidl_net_model.bin"
paramsBinFile   = "./tidl_param_model.bin"

SRC_DIR中所有图像的结果将被定向到TestResults.log,并且可以在Caffe-Jacinto桌面执行中进行测试.
1.3.10. 模型移植步骤概述
•在使用桌面框架(Caffe或TF)创建模型之后,有必要验证模型的准确性(使用桌面框架上的推理:Caffe/Caffe-Jacinto或TensorFlow)。
•使用上述导入程序导入最终模型(对于Caffe-Jacinto,在“稀疏”阶段结束时)
•使用仿真工具验证准确性(使用比第一步中使用的更小的测试数据集)精度下降(相对于第一步)不应太大(百分之几)。
•使用基于TIDL API的程序和导入的模型在目标上测试网络。

标签:14,--,32,TI,28,tidl,TIDL,224
来源: https://blog.csdn.net/chocolate2018/article/details/120587746