《SGE的使用和管理.docx》由会员分享，可在线阅读，更多相关《SGE的使用和管理.docx（14页珍藏版）》请在金锄头文库上搜索。
1、网格计算和SGE从概念上讲，网格很简单。它是执行任务的计算资源的集合。对用户而言，它就是一个大系统，提供单个切入点，以访问强大而分散的资源。用户将网格视作单个计算资源。资源管理软件（如Sun Grid Engine）接受由用户提交的作业，并根据资源管理策略将作业安排在网格内适当的系统上执行。用户可以一次提交数千个作业，而不必考虑它们在何处运行。什么是Cluster grids？网格的类型：Cluster grids , campus grids and global grids.集群网格（cluster grids）包括许多计算资源，SGE帮助我们将这些一起工作的资源合理地提供给一个项目或一个
2、部门的用户。SGE的工作原理Sun Grid Engine 软件为用户提供了向Sun Grid Engine 系统提交要求计算的任务的方法，以透明地分配相关的工作负荷。用户可以向Sun Grid Engine 系统提交批处理作业、交互式作业和并行作业。Sun Grid Engine用以下方式调解可用资源和作业需求。通过Sun Grid Engine 系统提交作业的用户描述出作业需求的概况。此外，系统还要检索用户的身份以及他或她与项目或用户组的从属关系。用户提交作业的时间也将存储起来。准确地说，在队列被定为可以对新作业执行操作的那一刻， Sun Grid Engine 系统就决定了适合该队列的作
3、业，并立即分派具有最高优先级或等待时间最长久的作业。? Sun Grid Engine 队列允许同时执行许多作业。Sun Grid Engine 系统将尽量在负荷最小且最适合的队列中开始新的作业。为什么用SGE？? 用户：用户能够自由地在单一的控制节点上投放上千个的任务，而不必关心任务在哪个节点运行，这样就大大简化了用户的使用。? 管理员：提供广泛的工具，用以监控投放的任务。SGE能做什么？? 系统接受用户所投放的任务，并基于最优的资源管理方案，将任务列队在适合的网格内系统上，等待运行。? SGE依据由管理者制定的规则，检测到网格内的所有可用资源，聚集资源，并在该网格内自动地最优地分配和路由资
4、源。SGE怎样工作？? 接受用户投放的任务；? 在任务运行以前，将任务放在一个存储区域；? 发送任务到一个执行设备，并监控任务的运行；? 运行结束时写回结果并记录运行日志。SGE的组成? 节点（Hosts）? 后台程序（Daemons）? 队列（Queues）? 用户命令（Client Commands）SGE的组成? 节点（Hosts）? Master Hosts? Execution Hosts? Administration Hosts? Submit Hosts? 后台程序（Daemons）? 队列（Queues）? 用户命令（Client Commands）SGE的组成? 节点（Ho
5、sts）? 后台程序（Daemons）? sge_qmaster the Master Daemon? sge_schedd the Scheduler Daemon? sge_execd the Execution Daemon? sge_commd the Communication Daemon? 队列（Queues）? 用户命令（Client Commands）队列的概念? 队列为任务提供服务；? SGE允许同时运行多个任务，系统会试着这最小负荷的合适队列开始新的任务；? 在SGE中队列就是存放能在某一节点上运行的所有任务的容器。一个队列从某种方面也决定了所含任务的属性。用户命令用户命
6、令是一组辅助程序命令。他可以帮助我们管理队列，提交和删除任务，检测任务的状态，中断/开始队列和任务。qacct qalter qconf qdelqhold qhosh qlogin qmakeqmod qmon qresub qrlsqrsh qselect qsh qstatqsub qtcsh? qacct 此命令从群集日志文件中抽取任意帐户信息。? qalter 此命令更改已提交但正处于暂挂状态的作业的属性。? qconf 此命令为群集和队列配置提供用户界面。? qdel 用户、操作人员或管理人员可使用此命令向作业或其子集发送信号。? qhold 此命令阻止已提交作业的执行。? qho
7、st 此命令显示Sun Grid Engine 执行主机的状态信息。? qlogin 此命令启动telnet 或类似的登录会话，并自动选择负荷较低并且较? 为适合的主机。? qmake 此命令可取代标准的UNIX make 命令工具。它扩充了make 的功能，能够将相互独立的make 步骤分配到一组适合的机器。? qmod 此命令使拥有者可以暂停或启用队列（将信号发送给当前与此队列相关的所有活动进程）。? qmon 此命令提供了X-windows Motif 命令界面和监视工具。? qresub 此命令通过复制正在运行或暂挂的作业，创建新的作业。? qrls 此命令释放先前被阻止执行的作业，例
8、如通过qhold （见上）阻止执行。? qrsh 此命令用途很多，比如：? 提供通过Sun Grid Engine 系统执行的远程交互应用程序 与标准的UNIX命令工具rsh 相似? 允许提交批处理作业，一经执行便可支持终端I/O （标准/ 错误输出和标准输入）以及终端控制提供批处理作业提交客户机，该客户机在作业完成之前一直保持活动状态允许Sun Grid Engine 软件控制并行作业的任务远程执行? qselect 此命令显示与指定选择标准相对应的队列名称列表。qselect的输出结果通常送往其它Sun Grid Engine 命令，以便对选定的一组队列执行操作。? qsh 此命令在负荷较
9、低的主机上打开交互式shell （在xterm 中）。所有类型的交互式作业均可以在此shell 内运行。? qstat 此命令列出所有与群集相关的作业和队列的状态。? qsub 此命令是将作业提交到Sun Grid Engine 系统的用户界面。? qtcsh 此命令与众所周知并普遍使用的Unix C-Shell (csh) 派生物tcsh 完全兼容，并能替代它。它扩展了命令shell 的功能，即通过Sun Grid Engine 软件将指定应用程序的执行透明地分配给适合的并且负荷较低的主机。察看队列属性% qconf Csql C 显示队列列表% qconf -sq 队列名 C 显示该队列属
10、性? qname 所请求的队列名称。? hostname 队列所处的主机。? processors 多处理器系统中此队列有权访问的处理器。? qtype 允许在此队列中运行的作业类型。目前包括批处理作业、交互式作业、点检查作业、并行作业或它们的任意组合或相互转换的作业。? slots 可在队列上同时执行的作业数量。察看队列属性? owner_list 队列的拥有者。? user_lists 此参数下所列的用户访问列表中标识的用户或组有权访问此队列。? xuser_lists 此参数下所列的用户访问列表中标识的用户或组无权访问此队列。? complex_list 列于此参数下的属性组与队列相关联
11、，而且这些属性组中所含的属性构成此队列的可请求属性组。? complex_values 提供给此队列的某些属性组属性的赋值。察看主控主机? 由于主控主机会随时可能在当前的主控主机和某个影像主控主机之间切换，主控主机的位置对用户来说应该是透明的。? 用文本编辑器，打开/opt/grid-engineer/default/common/act_qmaster 文件。此文件中有当前主控主机的名称。显示执行主机? % qconf Csel显示当前配置为执行主机的所有主机的列表。? % qconf -se 主机名称显示指定的执行主机的详细信息? % qhost显示执行主机的状态和负荷信息显示管理主机%
12、qconf -sh显示有管理权限的主机列表显示提交主机% qconf -ss可请求的属性? 提交一个Sun Grid Engine 作业时，可指定该作业的需求概况。用户可以指定作业所需的主机或队列的属性或特性以保证作业成功运行。Sun Grid Engine 将这些作业需求映射到Sun Grid Engine 群集的主机和队列的配置，从而找到适合该作业的主机。? 可用的属性包括队列特性列表、全局属性和主机相关属性的列表，以及管理员定义的属性。但是，为方便起见， Sun Grid Engine 管理员通常只将一个所有可用属性的子集定义为可请求。显示可请求属性列表% qconf scl显示已配置的
13、属性组列表属性组包含一组属性的定义。有三种标准属性组：global 针对群集全局属性（可选）host 针对主机特有的属性queue 针对队列特性的属性显示可请求属性列表% qconf -sc 属性组名称,.显示某个特定属性组的属性? 名称一栏中的显示与qconf -sq 命令显示的第一栏基本相同? 缩写名一栏包含可由管理员定义的第一栏中全名的缩写? 可否请求一栏表明是否可将相应的项用于qsub? 关系栏定义关系运算以用于计算队列是否满足用户请求? 可否使用栏和缺省值栏对管理员极其有用，管理员可以用它们声明?可使用资源?，。用户可以像请求其它属性一样请求可使用资源用户访问权限? 获得当前配置的ACL 列表% qconf -sul? 显示一个或多个访问列表中的项% qconf -su ACL 名称,.注：ACL 包含用户帐户名和UNIX 组名， UNIX
