《近红外光谱分析技术的数据处理方法》由会员分享，可在线阅读，更多相关《近红外光谱分析技术的数据处理方法（5页珍藏版）》请在金锄头文库上搜索。
1、引言引言近红外是指波长在近红外是指波长在 780nm780nm2526nm2526nm 范围内的光线，是人们认识最早的非可范围内的光线，是人们认识最早的非可 见光区域。习惯上又将近红外光划分为见光区域。习惯上又将近红外光划分为近红外短波（近红外短波（780nm780nm1100nm1100nm）和和长波长波 （11001100 nmnm25262526 nmnm）两个区域两个区域. .近红外光谱（近红外光谱（NearNear InfraredInfrared ReflectanceReflectance SpectroscopySpectroscopy，简称，简称 NIRSNIRS）分析技术是
2、一项新的无损检测技术，能够高效、快）分析技术是一项新的无损检测技术，能够高效、快 速、准确地对固体、液体、粉末状等有机物样品的物理、力学和化学性质等进速、准确地对固体、液体、粉末状等有机物样品的物理、力学和化学性质等进 行无损检测。它综合运用了现代计算机技术、光谱分析技术、数理统计以及化行无损检测。它综合运用了现代计算机技术、光谱分析技术、数理统计以及化 学计量学等多个学科的最新研究果，并使之融为一体，以其独有的特点在很多学计量学等多个学科的最新研究果，并使之融为一体，以其独有的特点在很多 领域如农业、石油、食品、生物化工、制药及临床医学等得到了广泛应用，在领域如农业、石油、食品、生物化工、制
3、药及临床医学等得到了广泛应用，在 产品质量分析、在线检测、工艺控制等方面也获得了较大成功。近红外光谱分产品质量分析、在线检测、工艺控制等方面也获得了较大成功。近红外光谱分 析技术的数据处理主要涉及两个方面的内容：析技术的数据处理主要涉及两个方面的内容：一是光谱预处理方法的研究一是光谱预处理方法的研究，目，目 的是针对特定的样品体系，通过对光谱的适当处理，减弱和消除各种非目标因的是针对特定的样品体系，通过对光谱的适当处理，减弱和消除各种非目标因 素对光谱的影响，净化谱图信息，为校正模型的建立和未知样品组成或性质的素对光谱的影响，净化谱图信息，为校正模型的建立和未知样品组成或性质的 预测奠定基础；
4、预测奠定基础；二是近红外光谱定性和定量方法的研究二是近红外光谱定性和定量方法的研究，目的在于建立稳定、，目的在于建立稳定、 可靠的定性或定量分析模型，并最终确定未知样品和对其定量。可靠的定性或定量分析模型，并最终确定未知样品和对其定量。 1 1 工作原理工作原理近红外光谱区主要为含氢基团近红外光谱区主要为含氢基团 X-HX-H（X=O,N,S,X=O,N,S,单健单健 C,C,双健双健 C,C,三健三健 C C 等）的等）的 倍频和合频吸收区，物质的近红外光谱是其各基团振动的倍频和合频的综合吸倍频和合频吸收区，物质的近红外光谱是其各基团振动的倍频和合频的综合吸 收表现，包含了大多数类型有机化合
5、物的组成和分子结构的信息。因为不同的收表现，包含了大多数类型有机化合物的组成和分子结构的信息。因为不同的 有机物含有不同的基团，而不同的基团在不同化学环境中对近红外光的吸收波有机物含有不同的基团，而不同的基团在不同化学环境中对近红外光的吸收波 长不同，因此近红外光谱可以作为获取信息的一种有效载体。近红外光谱分析长不同，因此近红外光谱可以作为获取信息的一种有效载体。近红外光谱分析 技术是利用被测物质在其近红外光谱区内的光学特性快速估测一项或多项化学技术是利用被测物质在其近红外光谱区内的光学特性快速估测一项或多项化学 成分含量。被测样品的光谱特征是多种组分的反射光谱的综合表现，各组分含成分含量。被
6、测样品的光谱特征是多种组分的反射光谱的综合表现，各组分含 量的测定基于各组分最佳波长的选择，按照式量的测定基于各组分最佳波长的选择，按照式(1)(1)回归方程自动测定结果：组分回归方程自动测定结果：组分 含量含量C0C0C1(Dp)1C1(Dp)1C2(Dp)2C2(Dp)2Ck(Dp)k(1)Ck(Dp)k(1)式中：式中：C0C0k k 为多元线性回归为多元线性回归 系数；系数；(Dp)1(Dp)1k k 为各组分最佳波长的反射光密度值（为各组分最佳波长的反射光密度值（D Dlgplgp，p p 为反射比）。为反射比）。 该方程准确的反映了定标范围内一系列样品的测定结果，与实验室常规测定法
7、该方程准确的反映了定标范围内一系列样品的测定结果，与实验室常规测定法 之间的标准偏差之间的标准偏差 SESE 为：为：SESE(y(yx)2/(nx)2/(n1)1/2(2)1)1/2(2)式中：式中：x x 表示实验室常表示实验室常 规法测定值，规法测定值，y y 表示近红外光表示近红外光 谱法测值，谱法测值，n n 为样品数。为样品数。 2 2 光谱数据的预处理光谱数据的预处理仪器采集的原始光谱中除包含与样品组成有关的信息外，同时也包含来自仪器采集的原始光谱中除包含与样品组成有关的信息外，同时也包含来自 各方面因素所产生的噪音信号。这些噪音信号会对谱图信息产生干扰，有些情各方面因素所产生的
8、噪音信号。这些噪音信号会对谱图信息产生干扰，有些情 况下还非常严重，从而影响校正模型的建立和对未知样品组成或性质的预测。况下还非常严重，从而影响校正模型的建立和对未知样品组成或性质的预测。 因此，光谱数据预处理主要解决光谱噪音的滤除、数据的筛选、光谱范围的优因此，光谱数据预处理主要解决光谱噪音的滤除、数据的筛选、光谱范围的优 化及消除其他因素对数据信息的影响，为下步校正模型的建立和未知样品的准化及消除其他因素对数据信息的影响，为下步校正模型的建立和未知样品的准 确预测打下基础。常用的数据预处理方法有光谱数据的平滑、基线校正、求导、确预测打下基础。常用的数据预处理方法有光谱数据的平滑、基线校正、
9、求导、 归一化处理等。归一化处理等。 2.12.1 数据平滑处理数据平滑处理信号平滑信号平滑是消除噪声最常用的一种方法，其基本假设是光谱含有的噪声为是消除噪声最常用的一种方法，其基本假设是光谱含有的噪声为 零均随机白噪声，若多次测量取平均值可降低噪声提高信噪比。平滑处理常用零均随机白噪声，若多次测量取平均值可降低噪声提高信噪比。平滑处理常用 方法有方法有邻近点比较法邻近点比较法、移动平均法移动平均法、指数平均法指数平均法等。等。 2.1.12.1.1 邻近点比较法邻近点比较法对于许多干扰性的脉冲信号，将每一个数据点和它旁边邻近的数据点的值对于许多干扰性的脉冲信号，将每一个数据点和它旁边邻近的数
10、据点的值进行比较可以测得其存在。如果与邻近点的数值相差太大，超过给定的阈值，进行比较可以测得其存在。如果与邻近点的数值相差太大，超过给定的阈值， 便可认为该数据是一个脉冲干扰，并通过邻近数据点的平均值来取代这一数据便可认为该数据是一个脉冲干扰，并通过邻近数据点的平均值来取代这一数据 点值，就可以把这一干扰脉冲去掉，这样不影响信号的其它部分。在这一数据点值，就可以把这一干扰脉冲去掉，这样不影响信号的其它部分。在这一数据 点处理过程中，需注意选择调节参数，也就是考虑邻近数据点值，以及判断一点处理过程中，需注意选择调节参数，也就是考虑邻近数据点值，以及判断一 个数据点和邻近数据点之间不同的阈值。个数
11、据点和邻近数据点之间不同的阈值。这个阈值一般定义为这个阈值一般定义为噪音测量偏差的噪音测量偏差的 倍数，以免把必要的有用信号去掉。这一方法有时也称为邻近点平滑法，也叫倍数，以免把必要的有用信号去掉。这一方法有时也称为邻近点平滑法，也叫 做单点平滑法。做单点平滑法。 2.1.22.1.2 移动平均法移动平均法由于平滑是通过对信号进行平均而减小噪音，因而多点平滑效果更好。移由于平滑是通过对信号进行平均而减小噪音，因而多点平滑效果更好。移 动平均法是多点平滑中最简单的一种。先选择在数据序列中相邻的奇数个数据动平均法是多点平滑中最简单的一种。先选择在数据序列中相邻的奇数个数据 点，这奇数个数据点即构成
12、一个窗口。计算在窗口内奇数个数据点的平均值，点，这奇数个数据点即构成一个窗口。计算在窗口内奇数个数据点的平均值， 然后用求得的平均值代替奇数个数据点中的中心数据点的数据值，这样我们就然后用求得的平均值代替奇数个数据点中的中心数据点的数据值，这样我们就 得到了数据平滑后的一个新的数据点。接着去掉窗口内的第一个数据点，并添得到了数据平滑后的一个新的数据点。接着去掉窗口内的第一个数据点，并添 加上紧接着窗口的下一个数据点，形成移动后的一个新窗口，其中的总数据个加上紧接着窗口的下一个数据点，形成移动后的一个新窗口，其中的总数据个 数不变。同样地，用窗口内的奇数个数据点求平均值，并用它来代替窗口中心数不
13、变。同样地，用窗口内的奇数个数据点求平均值，并用它来代替窗口中心 的一个数据点的一个数据点. .如此移动并平均直到最后。如此移动并平均直到最后。 2.1.32.1.3 指数平均法指数平均法指数平均法是计算在一个具有指数平均法是计算在一个具有 m m 个数据点的移动窗口中的各数据点的加权个数据点的移动窗口中的各数据点的加权 平均平均. .在窗口的最后一个点在窗口的最后一个点 p1p1 即为要平滑的点，它的权重最大，而前面的每个即为要平滑的点，它的权重最大，而前面的每个 点分配到的权重依次递减。权重系数由平滑时间常数为点分配到的权重依次递减。权重系数由平滑时间常数为 T T 的指数函数的指数函数
14、e ejiji（j j 标志标志 i i 前面第前面第 j j 个点，即个点，即 j j(m(m1),1),(m(m2),2),1,01,0（要平滑的点（要平滑的点 i i 的的 j j0 0）的形状来决定。）的形状来决定。p1p1 后点的权重为后点的权重为 0 0，这一过滤函数是用点，这一过滤函数是用点 i i 前面的点对前面的点对 第第 i i 个数据点进行平滑。这一过程和用电子个数据点进行平滑。这一过程和用电子 RCRC 滤波器（阻容滤波器）的实时平滤波器（阻容滤波器）的实时平 滑类似。由于该平滑函数是不对称的，故在平滑后的数据中引入了单向失真，滑类似。由于该平滑函数是不对称的，故在平滑
15、后的数据中引入了单向失真， 这一点也和实时这一点也和实时 RCRC 滤波器一样。除了获得期望的信噪比降低外，指数平均的结滤波器一样。除了获得期望的信噪比降低外，指数平均的结 果是峰的最大值下降，同时发生移动。由于用平滑常数果是峰的最大值下降，同时发生移动。由于用平滑常数 T T 对峰值进行指数平滑对峰值进行指数平滑 和具有时间常数和具有时间常数 TxTxT T 的仪器测量该峰的效果相同，因此的仪器测量该峰的效果相同，因此 T T 和峰宽比值函数的和峰宽比值函数的 强度下降值从实验测量和理论计算都可得到。强度下降值从实验测量和理论计算都可得到。 2.22.2 基线校正基线校正由于仪器背景、样品粒
16、度和其它因素的影响，近红外分析中常常出现基线由于仪器背景、样品粒度和其它因素的影响，近红外分析中常常出现基线 漂移和倾斜现象。采用基线校正可有效地消除这些影响。操作时可选用峰谷点漂移和倾斜现象。采用基线校正可有效地消除这些影响。操作时可选用峰谷点 扯平、偏移扣减、微分处理和基线倾斜等方法，其中最常用的是一阶微分和二扯平、偏移扣减、微分处理和基线倾斜等方法，其中最常用的是一阶微分和二 阶微分，但在微分处理时，要注意微分级数和微分数据点的选择。阶微分，但在微分处理时，要注意微分级数和微分数据点的选择。 2.32.3 数据求导处理数据求导处理近红外分析中，对于样品不同组分之间的相互干扰导致吸收光谱谱线重叠近红外分析中，对于样品不同组分之间的相互干扰导致吸收光谱谱线重叠 的现象，可采用求导的方法进行处理。其中常用的是一阶导数和二阶导数。一的现象，可采用求导的方法进行处理。其中常用的是一阶导数和二阶导数。一 阶导数表示为：阶导数表示为：yiyi
