数据获取系统

《数据获取系统》由会员分享，可在线阅读，更多相关《数据获取系统（11页珍藏版）》请在金锄头文库上搜索。

1、4.12 数据获取系统4.12.1 BESIII 数据量估计BEPCII的设计亮度为10 33 cm -2 sec -1，预期在J/凋总区通过一级触发判选 后的事例率高达4000Hz。BEPCII亮度两个数量级的提高和BESIII探测器的升 级需要采用流水线的电子学系统，因此BESIII数据获取系统(DAQ)的设计目 标是完成高事例率(不超过4000Hz)下的数据读出和处理。DAQ 系统的性能需求是由触发率和事例大小决定的，也就是说，可以通过 对探测器数据量的估计来决定 DAQ 系统的设计方案。下面根据探测器的指标 对数据量进行初步的估计， BESIII 总电子学信道数将超过 3 万路，其中

2、ADC 和TDC类型的有2万多路。如果MDC时间信号通道按平均15% “着火”率计 算， EMC 按平均 17%“着火”率计算， MUC 按平均 1%“着火”率计算，剩下 的按平均10%“着火”率计算，可以得到表4.12-1数据量估算参数。表4.12-1 BESIII探测器数据量估计探测器子系统t . 、/1、丫 信道数VME机箱读出数据量(Mbyte/s)机群处理数据量(MByte/s)记带数据量(Mbyte/s)MDC (T+Q)1360046.62821EMC627224.81713TOF+CCT8962.31.61.2MUC90882.41.61.2触发4006.46.44.8小计30

3、25682.554.641.2因此，BESIII数据获取系统需要完成超过每秒80Mbytes的数据读出任务， 经 PowerPC 和读出 PC 机对事例进行初步组装，去除冗余的字头、字尾和出错 等信息后，在线计算机机群需要处理的数据量超过每秒50Mbytes，最后通过软 件触发判选的记带数据量超过每秒40MBytes。由此可见，分级事例组装技术不 仅可以逐级减少数据量，而且可以有效地利用网络资源。与国外目前运行的同 类系统相比，不论在规模还是在性能方面，BESIII数据获取系统的设计指标都 是相当高的，实现的技术难度比较大，研制周期长。因此，在系统设计策略方 面必须采用成熟的和先进的技术，特别

4、需要注重总线技术、网络技术和计算机 技术的未来发展。4.12.2 系统的主要任务BESIII 数据获取系统的主要任务是获取通过一级触发判选后的前端电子学 事例数据，经过两级计算机预处理和高速网络传输，将分布在各电子学(VME) 读出机箱中的事例数据段迅速地汇集到在线计算机系统上进行事例包装和过 滤，整理成为完整的有效事例，最终将标记的事例数据通过网络传送到计算中 心记录到永久介质上。为了从前端电子学系统中快速读出数据并使系统死时间尽可能地小，BESIII数据获取系统设计将大量采用多级数据缓冲技术、并行处理技术、VME 总线高速读出技术以及网络传输技术。多级数据缓冲可以有效地减小由于高能 物理实

5、验事例产生的随机性而引起的死时间，基于网络交换机的并行数据传送 可以提高数据流量和完成事例的并行处理。为此，BESIII数据获取系统必须实现下列任务：(1) 实现读出机箱中VME设备(ADC和TDC插件)的高速数据采集， 最充分地利用VME总线的带宽资源，采用CBLT(Chained Block Transfer)DMA 传输技术将前端电子学插件中的数据段读出并汇集成事例段；(2) 设计并实现数据获取系统对前端电子学读出系统、触发系统、事例数 据流控制系统、在线系统、运行控制及监测系统的接口；(3) 提供并实现保证数据正确读出/传输所需的硬件和软件所有协议；(4) 实现上位机系统，完成全系统运

6、行控制、信息监测和状态调整功能。 提供完善的系统运行“报错”功能，包括：无效或错误的操作、缓冲区溢出、 各种故障等；(5) 实现在线基本软件系统，包含事例组装、事例过滤和在线分析等重要 数据处理软件以及直方图和单事例显示等功能；(6) 完成大容量、高速度的数据转储任务，最终将事例数据送到计算中心 记录到永久介质上；(7) 提供系统在线刻度、电子学读出系统校准和网络环境监测等辅助支持 系统；(8) 根据 BESIII 的数据贮存需求和其它数据监测需求，设计并实现在线 数据库管理系统，并与离线分析数据库管理系统连接，实现数据自动更新。4.12.3 系统构成BESIII 数据获取系统是基于前端电子学

7、和触发/判选的硬件系统，由读出系 统、在线系统和校准系统及其它辅助/服务系统组成。在系统构造方面， BESIII 数据获取系统必须成为高可靠性、高稳定性、易 升级、易扩充的系统。系统设备配置和软件开发工具着眼于未来技术发展趋势， 尽可能采用市场上性能/价格比最好的商业化产品。BESIII 数据获取系统大规模运用先进的计算机和网络技术，采用多级并行 处理方案。最低一级为基于 VME 总线系统的读出机箱，由前端电子学读出插 件(TDC和ADC等)和一个作为控制器使用的处理机组成。每个VME读出机 箱中的前端电子学读出插件数不超过16个，电子学信道数不超过1024个。VME处理机拟采用 MVME24

8、31 单板计算机，用以完成数据的采集、处理、监视和传 输。若干个读出机箱通过 Ethernet 网络的 100M Switch 连接到读出计算机，组 成一个读出分支。所有读出分支通过 1G 以上 Switch 连接到在线计算机群，形 成数据获取系统的数据流主干通路。来自各读出分支的子事例数据包通过在线 计算机群汇总成完整事例，并进行标记、处理和监测，直到安全记录到永久介 质上（参见图 4.12-1）。BESIII 数据获取系统提供其它控制与测试功能的支持。在系统设计过程中， 需要明确定义并实现BESIII数据获取系统与前端电子学系统和触发系统的接口 及驱动方式。从设计阶段开始就要充分考虑如何实

9、现整个系统和分系统的控制、 校准和测试功能。此外，还要提供对磁铁电源、电子学电源、高压系统、加速 器参数的记录、系统初始化、程序/参量的下载、运行命令的送达与执行等一系 列系统服务功能。Online FarmMu鹑StorageSystemFile Serveri胃H TTSingle Event Hit MapRun Control Display etc. Slow Control1OOM g辻chCTDFarm SupervisorCFOFile ServerGigabit Onlin巳 SwitchIOQM SwitchHOOM SwitchPC withMulti CPU / Mul

10、ti;Network CardTPC withj1PC with|l1 Multi CPU 1 Multi;1gMulti CPU / MultijNetwork Card -1IBNetwork Card -3f11 10 oaooo ooqVME CramVME Cratesi &switchiVME CratesBranch 1图4.12-1 BESIII数据获取系统示意图1 rigger System爲Esm 数据获取系统的软件是一个庞大勺软件工敕必须考虑软件的质量 可标准化方面的技术实施。要依赖于强有力的软件工程管理办法和配置软件工程开发/管理工具。读出机箱的软件开发环境将采用实时操

11、作系统VxWorks及其C 程序语言，读出计算机和在线计算机系统的软件开发环境将采用 Unix/Linux及其C和C+程序语言。为了保存和使用运行参数，标准的数据库技术将被用 于BESIII数据获取系统。4.12.4 系统配置需求BESIII 数据获取系统的设计具有一定的复杂性，主要原因是一级触发事例 率指标是BESII的200倍，事例数据长度是BESII的6倍。在系统配置需求方 面存在两个关键技术问题：(1)在读出系统配置方面，解决数据 Bandwidth 和数 据流量的匹配问题；(2)在系统构造方面，解决在复杂的并行计算环境下，与前 端电子学及触发系统一起构造成一个集成化的可操作数据获取系

12、统问题，包括 实现分系统局部测试和系统初始化、控制及监测等一系列任务。根据各探测器读出电子学子系统和触发系统提供的需求信息， BESIII 数据 获取系统的读出基本配置参见表 4.12-2。读出机箱个数约48 个，读出分支不超 过16个。预计的在线计算机群需要30台以上的PC机，大型数据存储系统达 到(240TByte / 5年)运行能力。设计中的BESIII数据获取系统，考虑到数据分布的不均匀性，要使系统以 最小死时间开销的代价完成数据获取任务，预期读出机箱的数据平均通过能力 要达到3.2MBytes/sec。因此，必须采用高速的VME总线读出方法和高速Ethernet 网络技术。表 4.1

13、2-2 读出设备配置表子系统名称通道数读出插件数读出机箱数读出分支数MDC (T+Q)13600224164EMC6272208164TOF+CCT (T+Q)8962821MUC90884041触发400160102总计302568044812为了保证事例数据正确地采集并传送到在线计算机系统，在读出机箱和读 出分支上要对原始事例数据段进行初步组装。前端电子学和触发系统的数据读 出方式及数据格式要求采取比较一致性的设计要求，以便对事例数据段进行正 确的处理和包装。BESIII 数据获取系统的可操作性，取决于系统设备的连接、逻辑信号约定 和软件集成设计。电子学系统和触发系统提供一切必备的操作硬件

14、条件。 BESIII 数据获取系统在软件设计过程中，要准确理解和覆行硬件功能，最大限度地发 挥全部硬件资源的作用。为了增强系统运行的可操作性，尽可能将软件系统的 功能集成为一体。此外，任务恢复以及一般功能插件“出错”处理和“死道” 处理等功能，对BESIII数据获取系统来说是必备的。为了保证大规模软件开发的质量和性能，软件开发工具将采用可靠的商业 软件产品。要按照软件工程的标准进行软件设计、实施和管理。软件系统要具 备可维护性、可扩展性和可移植性。另外，保留完整的原始资料并完成最终文 档资料的整理，也是BESIII数据获取系统软件工程的重要组成部分。4.12.5 读出系统BESIII 数据获取

15、系统的关键技术问题是实现来自前端电子学的事例数据高 速读出。由于读出机箱 VME 总线的读出速度和计算机节点间的网络传输速度 受到设备带宽的限制，最容易在系统中形成数据流“瓶颈”根据对特定I/O设 备的测试结果，使用MVME2431处理机编程访问VME设备，单次直接“读” 操作的时间周期为1“S秒以上（其中800ns为处理机占用的时间，其余为设备 占用时间），32 Bit读出速度至多为3M Bytes/sec； DMA方式的32 Bit读出速度 可达到13M Bytes/Sec以上（即，每个读周期v300ns）。由此看来，选择采用DMA 方式进行读出才可能满足BESIII数据获取系统的需要。与读出系统有关的还包括网络传输能力。根据测试，点对点的 100M 网络 传输速度可以达到10M Bytes/sec。为了实现这样高的速度，除了采用12 口 100M 的 Switch 以外，在读出计算机上要采用多网卡方案。读出计算机上的另一个千 兆网卡则连接到在线千兆 Switch 上。使用这种方法构成的读出分支，其主要