KeyError: "['exclusive'] not in index"

[cvallee]

New error appeared now that I actually have jobs running (was working when no jobs were running).

The 'exclusive' key is not found.

[mwinokan]

Can you paste in the line number and source file this error appears at please

[cvallee]

Here is the full traceback output, might be easier.

╭──────────────────────────────────────────────────────────── Traceback (most recent call last) ─────────────────────────────────────────────────────────────╮
│ /bask/homes/l/laxr9773/mypyenv/lib/python3.11/site-packages/richqueue/slurm.py:211 in get_squeue                                                           │
│                                                                                                                                                            │
│   208 │   │   return DataFrame(columns=columns)                                                                                                            │
│   209 │                                                                                                                                                    │
│   210 │   try:                                                                                                                                             │
│ ❱ 211 │   │   df = df[columns]                                                                                                                             │
│   212 │   except KeyError:                                                                                                                                 │
│   213 │   │   for key in columns:                                                                                                                          │
│   214 │   │   │   if key not in df.columns:                                                                                                                │
│                                                                                                                                                            │
│ ╭──────────────────────────────────────────────────────────────────────── locals ────────────────────────────────────────────────────────────────────────╮ │
│ │ columns = ['command', 'cpus_per_task', 'dependency', 'derived_exit_code', 'group_name', 'job_id', 'job_state', 'name', 'nodes', 'node_count', ... +17] │ │
│ │ command = 'squeue -u laxr9773 --json'                                                                                                                  │ │
│ │      df = │   │   │   │   account  accrue_time admin_comment  array_job_id  ... user_id  user_name wckey                                               │ │
│ │           current_working_directory                                                                                                                    │ │
│ │           0  mnli6000-diamond-glb   1729502989                           0  ...  102392   laxr9773                                                     │ │
│ │           /bask/projects/m/mnli6000-diamond-glb/laxr9773...                                                                                            │ │
│ │           1  mnli6000-diamond-glb   1729503021                           0  ...  102392   laxr9773                                                     │ │
│ │           /bask/projects/m/mnli6000-diamond-glb/laxr9773...                                                                                            │ │
│ │                                                                                                                                                        │ │
│ │           [2 rows x 111 columns]                                                                                                                       │ │
│ │     job = None                                                                                                                                         │ │
│ │     key = 'exclusive'                                                                                                                                  │ │
│ │  kwargs = {'long': False, 'idle': False, 'loop': True, 'hist': None, 'hist_unit': 'weeks', 'screen': True, 'disappear': False}                         │ │
│ │    meta = {                                                                                                                                            │ │
│ │           │   'plugin': {'type': 'openapi/v0.0.38', 'name': 'Slurm OpenAPI v0.0.38'},                                                                  │ │
│ │           │   'Slurm': {'version': {'major': 22, 'micro': 11, 'minor': 5}, 'release': '22.05.11'}                                                      │ │
│ │           }                                                                                                                                            │ │
│ │  output = (b'{\n   "meta": {\n     "plugin": {\n       "type": "openapi\\/v0.0.38",\n       "name"'+9440, b'')                                         │ │
│ │ payload = {                                                                                                                                            │ │
│ │           │   'meta': {                                                                                                                                │ │
│ │           │   │   'plugin': {'type': 'openapi/v0.0.38', 'name': 'Slurm OpenAPI v0.0.38'},                                                              │ │
│ │           │   │   'Slurm': {'version': {'major': 22, 'micro': 11, 'minor': 5}, 'release': '22.05.11'}                                                  │ │
│ │           │   },                                                                                                                                       │ │
│ │           │   'errors': [],                                                                                                                            │ │
│ │           │   'jobs': [                                                                                                                                │ │
│ │           │   │   {                                                                                                                                    │ │
│ │           │   │   │   'account': 'mnli6000-diamond-glb',                                                                                               │ │
│ │           │   │   │   'accrue_time': 1729502989,                                                                                                       │ │
│ │           │   │   │   'admin_comment': '',                                                                                                             │ │
│ │           │   │   │   'array_job_id': 0,                                                                                                               │ │
│ │           │   │   │   'array_task_id': None,                                                                                                           │ │
│ │           │   │   │   'array_max_tasks': 0,                                                                                                            │ │
│ │           │   │   │   'array_task_string': '',                                                                                                         │ │
│ │           │   │   │   'association_id': 3720,                                                                                                          │ │
│ │           │   │   │   'batch_features': '',                                                                                                            │ │
│ │           │   │   │   'batch_flag': True,                                                                                                              │ │
│ │           │   │   │   ... +101                                                                                                                         │ │
│ │           │   │   },                                                                                                                                   │ │
│ │           │   │   {                                                                                                                                    │ │
│ │           │   │   │   'account': 'mnli6000-diamond-glb',                                                                                               │ │
│ │           │   │   │   'accrue_time': 1729503021,                                                                                                       │ │
│ │           │   │   │   'admin_comment': '',                                                                                                             │ │
│ │           │   │   │   'array_job_id': 0,                                                                                                               │ │
│ │           │   │   │   'array_task_id': None,                                                                                                           │ │
│ │           │   │   │   'array_max_tasks': 0,                                                                                                            │ │
│ │           │   │   │   'array_task_string': '',                                                                                                         │ │
│ │           │   │   │   'association_id': 3720,                                                                                                          │ │
│ │           │   │   │   'batch_features': '',                                                                                                            │ │
│ │           │   │   │   'batch_flag': True,                                                                                                              │ │
│ │           │   │   │   ... +101                                                                                                                         │ │
│ │           │   │   }                                                                                                                                    │ │
│ │           │   ]                                                                                                                                        │ │
│ │           }                                                                                                                                            │ │
│ │ process = <Popen: returncode: 0 args: ['squeue -u laxr9773 --json']>                                                                                   │ │
│ │    user = 'laxr9773'                                                                                                                                   │ │
│ ╰────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ │
│                                                                                                                                                            │
│ /bask/homes/l/laxr9773/.local/lib/python3.11/site-packages/pandas/core/frame.py:4108 in __getitem__                                                        │
│                                                                                                                                                            │
│    4105 │   │   else:                                                                                                                                      │
│    4106 │   │   │   if is_iterator(key):                                                                                                                   │
│    4107 │   │   │   │   key = list(key)                                                                                                                    │
│ ❱  4108 │   │   │   indexer = self.columns._get_indexer_strict(key, "columns")[1]                                                                          │
│    4109 │   │                                                                                                                                              │
│    4110 │   │   # take() does not accept boolean indexers                                                                                                  │
│    4111 │   │   if getattr(indexer, "dtype", None) == bool:                                                                                                │
│                                                                                                                                                            │
│ ╭──────────────────────────────────────────────────────────────────────── locals ────────────────────────────────────────────────────────────────────────╮ │
│ │ is_single_key = False                                                                                                                                  │ │
│ │           key = [                                                                                                                                      │ │
│ │                 │   'command',                                                                                                                         │ │
│ │                 │   'cpus_per_task',                                                                                                                   │ │
│ │                 │   'dependency',                                                                                                                      │ │
│ │                 │   'derived_exit_code',                                                                                                               │ │
│ │                 │   'group_name',                                                                                                                      │ │
│ │                 │   'job_id',                                                                                                                          │ │
│ │                 │   'job_state',                                                                                                                       │ │
│ │                 │   'name',                                                                                                                            │ │
│ │                 │   'nodes',                                                                                                                           │ │
│ │                 │   'node_count',                                                                                                                      │ │
│ │                 │   ... +17                                                                                                                            │ │
│ │                 ]                                                                                                                                      │ │
│ │          self = │   │   │   │   account  accrue_time admin_comment  array_job_id  ... user_id  user_name wckey                                         │ │
│ │                 current_working_directory                                                                                                              │ │
│ │                 0  mnli6000-diamond-glb   1729502989                           0  ...  102392   laxr9773                                               │ │
│ │                 /bask/projects/m/mnli6000-diamond-glb/laxr9773...                                                                                      │ │
│ │                 1  mnli6000-diamond-glb   1729503021                           0  ...  102392   laxr9773                                               │ │
│ │                 /bask/projects/m/mnli6000-diamond-glb/laxr9773...                                                                                      │ │
│ │                                                                                                                                                        │ │
│ │                 [2 rows x 111 columns]                                                                                                                 │ │
│ ╰────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ │
│                                                                                                                                                            │
│ /bask/homes/l/laxr9773/.local/lib/python3.11/site-packages/pandas/core/indexes/base.py:6200 in _get_indexer_strict                                         │
│                                                                                                                                                            │
│   6197 │   │   else:                                                                                                                                       │
│   6198 │   │   │   keyarr, indexer, new_indexer = self._reindex_non_unique(keyarr)                                                                         │
│   6199 │   │                                                                                                                                               │
│ ❱ 6200 │   │   self._raise_if_missing(keyarr, indexer, axis_name)                                                                                          │
│   6201 │   │                                                                                                                                               │
│   6202 │   │   keyarr = self.take(indexer)                                                                                                                 │
│   6203 │   │   if isinstance(key, Index):                                                                                                                  │
│                                                                                                                                                            │
│ ╭──────────────────────────────────────── locals ─────────────────────────────────────────╮                                                                │
│ │ axis_name = 'columns'                                                                   │                                                                │
│ │   indexer = array([ 16,  24,  31,  32,  43,  44,  46,  53,  54,  61,  60,  62,  66,     │                                                                │
│ │             │   │   69,  68,  76,  81,  79,  -1,  87,  90,  92,  93,  96,  98, 108,     │                                                                │
│ │             │      110])                                                                │                                                                │
│ │       key = [                                                                           │                                                                │
│ │             │   'command',                                                              │                                                                │
│ │             │   'cpus_per_task',                                                        │                                                                │
│ │             │   'dependency',                                                           │                                                                │
│ │             │   'derived_exit_code',                                                    │                                                                │
│ │             │   'group_name',                                                           │                                                                │
│ │             │   'job_id',                                                               │                                                                │
│ │             │   'job_state',                                                            │                                                                │
│ │             │   'name',                                                                 │                                                                │
│ │             │   'nodes',                                                                │                                                                │
│ │             │   'node_count',                                                           │                                                                │
│ │             │   ... +17                                                                 │                                                                │
│ │             ]                                                                           │                                                                │
│ │    keyarr = Index(['command', 'cpus_per_task', 'dependency', 'derived_exit_code',       │                                                                │
│ │             │      'group_name', 'job_id', 'job_state', 'name', 'nodes', 'node_count',  │                                                                │
│ │             │      'cpus', 'tasks', 'partition', 'memory_per_cpu', 'memory_per_node',   │                                                                │
│ │             │      'qos', 'restart_cnt', 'requeue', 'exclusive', 'start_time',          │                                                                │
│ │             │      'standard_error', 'standard_output', 'submit_time', 'time_limit',    │                                                                │
│ │             │      'threads_per_core', 'user_name', 'current_working_directory'],       │                                                                │
│ │             │     dtype='object')                                                       │                                                                │
│ │      self = Index(['account', 'accrue_time', 'admin_comment', 'array_job_id',           │                                                                │
│ │             │      'array_task_id', 'array_max_tasks', 'array_task_string',             │                                                                │
│ │             │      'association_id', 'batch_features', 'batch_flag',                    │                                                                │
│ │             │      ...                                                                  │                                                                │
│ │             │      'tres_per_job', 'tres_per_node', 'tres_per_socket', 'tres_per_task', │                                                                │
│ │             │      'tres_req_str', 'tres_alloc_str', 'user_id', 'user_name', 'wckey',   │                                                                │
│ │             │      'current_working_directory'],                                        │                                                                │
│ │             │     dtype='object', length=111)                                           │                                                                │
│ ╰─────────────────────────────────────────────────────────────────────────────────────────╯                                                                │
│                                                                                                                                                            │
│ /bask/homes/l/laxr9773/.local/lib/python3.11/site-packages/pandas/core/indexes/base.py:6252 in _raise_if_missing                                           │
│                                                                                                                                                            │
│   6249 │   │   │   │   raise KeyError(f"None of [{key}] are in the [{axis_name}]")                                                                         │
│   6250 │   │   │                                                                                                                                           │
│   6251 │   │   │   not_found = list(ensure_index(key)[missing_mask.nonzero()[0]].unique())                                                                 │
│ ❱ 6252 │   │   │   raise KeyError(f"{not_found} not in index")                                                                                             │
│   6253 │                                                                                                                                                   │
│   6254 │   @overload                                                                                                                                       │
│   6255 │   def _get_indexer_non_comparable(                                                                                                                │
│                                                                                                                                                            │
│ ╭────────────────────────────────────────── locals ──────────────────────────────────────────╮                                                             │
│ │    axis_name = 'columns'                                                                   │                                                             │
│ │      indexer = array([ 16,  24,  31,  32,  43,  44,  46,  53,  54,  61,  60,  62,  66,     │                                                             │
│ │                │   │   69,  68,  76,  81,  79,  -1,  87,  90,  92,  93,  96,  98, 108,     │                                                             │
│ │                │      110])                                                                │                                                             │
│ │          key = Index(['command', 'cpus_per_task', 'dependency', 'derived_exit_code',       │                                                             │
│ │                │      'group_name', 'job_id', 'job_state', 'name', 'nodes', 'node_count',  │                                                             │
│ │                │      'cpus', 'tasks', 'partition', 'memory_per_cpu', 'memory_per_node',   │                                                             │
│ │                │      'qos', 'restart_cnt', 'requeue', 'exclusive', 'start_time',          │                                                             │
│ │                │      'standard_error', 'standard_output', 'submit_time', 'time_limit',    │                                                             │
│ │                │      'threads_per_core', 'user_name', 'current_working_directory'],       │                                                             │
│ │                │     dtype='object')                                                       │                                                             │
│ │ missing_mask = array([False, False, False, False, False, False, False, False, False,       │                                                             │
│ │                │      False, False, False, False, False, False, False, False, False,       │                                                             │
│ │                │   │   True, False, False, False, False, False, False, False, False])      │                                                             │
│ │     nmissing = np.int64(1)                                                                 │                                                             │
│ │    not_found = ['exclusive']                                                               │                                                             │
│ │         self = Index(['account', 'accrue_time', 'admin_comment', 'array_job_id',           │                                                             │
│ │                │      'array_task_id', 'array_max_tasks', 'array_task_string',             │                                                             │
│ │                │      'association_id', 'batch_features', 'batch_flag',                    │                                                             │
│ │                │      ...                                                                  │                                                             │
│ │                │      'tres_per_job', 'tres_per_node', 'tres_per_socket', 'tres_per_task', │                                                             │
│ │                │      'tres_req_str', 'tres_alloc_str', 'user_id', 'user_name', 'wckey',   │                                                             │
│ │                │      'current_working_directory'],                                        │                                                             │
│ │                │     dtype='object', length=111)                                           │                                                             │
│ ╰────────────────────────────────────────────────────────────────────────────────────────────╯                                                             │
╰────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
KeyError: "['exclusive'] not in index"

During handling of the above exception, another exception occurred:

╭──────────────────────────────────────────────────────────── Traceback (most recent call last) ─────────────────────────────────────────────────────────────╮
│ /bask/homes/l/laxr9773/mypyenv/lib/python3.11/site-packages/richqueue/main.py:88 in show                                                                   │
│                                                                                                                                                            │
│    85 │   │   # live updating layout                                                           ╭─────────────── locals ────────────────╮                   │
│    86 │   │   if loop:                                                                         │ disappear = False                     │                   │
│    87 │   │   │                                                                                │      hist = None                      │                   │
│ ❱  88 │   │   │   layout = layout_func(**kwargs)                                               │ hist_unit = 'weeks'                   │                   │
│    89 │   │   │                                                                                │      idle = False                     │                   │
│    90 │   │   │   with Live(                                                                   │       job = None                      │                   │
│    91 │   │   │   │   layout,                                                                  │    kwargs = {                         │                   │
│                                                                                                │             │   'user': None,         │                   │
│                                                                                                │             │   'long': False,        │                   │
│                                                                                                │             │   'idle': False,        │                   │
│                                                                                                │             │   'loop': True,         │                   │
│                                                                                                │             │   'hist': None,         │                   │
│                                                                                                │             │   'hist_unit': 'weeks', │                   │
│                                                                                                │             │   'screen': True,       │                   │
│                                                                                                │             │   'disappear': False,   │                   │
│                                                                                                │             │   'job': None           │                   │
│                                                                                                │             }                         │                   │
│                                                                                                │      long = False                     │                   │
│                                                                                                │      loop = True                      │                   │
│                                                                                                │    screen = True                      │                   │
│                                                                                                │      user = None                      │                   │
│                                                                                                │    wisdom = True                      │                   │
│                                                                                                ╰───────────────────────────────────────╯                   │
│                                                                                                                                                            │
│ /bask/homes/l/laxr9773/mypyenv/lib/python3.11/site-packages/richqueue/tools.py:6 in f                                                                      │
│                                                                                                                                                            │
│    3                                                                                          ╭────────────── locals ──────────────╮                       │
│    4 def curry(function, payload):                                                            │   args = ()                        │                       │
│    5 │   def f(*args, **kwargs):                                                              │ kwargs = {                         │                       │
│ ❱  6 │   │   return function(payload, *args, **kwargs)                                        │          │   'user': None,         │                       │
│    7 │                                                                                        │          │   'long': False,        │                       │
│    8 │   return f                                                                             │          │   'idle': False,        │                       │
│    9                                                                                          │          │   'loop': True,         │                       │
│                                                                                               │          │   'hist': None,         │                       │
│                                                                                               │          │   'hist_unit': 'weeks', │                       │
│                                                                                               │          │   'screen': True,       │                       │
│                                                                                               │          │   'disappear': False,   │                       │
│                                                                                               │          │   'job': None           │                       │
│                                                                                               │          }                         │                       │
│                                                                                               ╰────────────────────────────────────╯                       │
│                                                                                                                                                            │
│ /bask/homes/l/laxr9773/mypyenv/lib/python3.11/site-packages/richqueue/layout.py:11 in dual_layout                                                          │
│                                                                                                                                                            │
│    8 │                                                                                        ╭────────────── locals ──────────────╮                       │
│    9 │   layout = Layout()                                                                    │ kwargs = {                         │                       │
│   10 │                                                                                        │          │   'user': None,         │                       │
│ ❱ 11 │   upper, lower = function(**kwargs)                                                    │          │   'long': False,        │                       │
│   12 │                                                                                        │          │   'idle': False,        │                       │
│   13 │   upper = Layout(renderable=upper, name="upper")                                       │          │   'loop': True,         │                       │
│   14 │   lower = Layout(renderable=lower, name="lower")                                       │          │   'hist': None,         │                       │
│                                                                                               │          │   'hist_unit': 'weeks', │                       │
│                                                                                               │          │   'screen': True,       │                       │
│                                                                                               │          │   'disappear': False,   │                       │
│                                                                                               │          │   'job': None           │                       │
│                                                                                               │          }                         │                       │
│                                                                                               │ layout = Layout()                  │                       │
│                                                                                               ╰────────────────────────────────────╯                       │
│                                                                                                                                                            │
│ /bask/homes/l/laxr9773/mypyenv/lib/python3.11/site-packages/richqueue/slurm.py:34 in get_layout_pair                                                       │
│                                                                                                                                                            │
│    31 │   elif user is None:                                                                                                                               │
│    32 │   │   user = get_user()                                                                                                                            │
│    33 │                                                                                                                                                    │
│ ❱  34 │   df = combined_df(user=user, **kwargs)                                                                                                            │
│    35 │                                                                                                                                                    │
│    36 │   # if df is None:                                                                                                                                 │
│    37 │   #     running = Panel(Text("[bold]No active jobs"), expand=False)                                                                                │
│                                                                                                                                                            │
│ ╭────────────────────────────────────────────────────────────────── locals ──────────────────────────────────────────────────────────────────╮             │
│ │ kwargs = {'long': False, 'idle': False, 'loop': True, 'hist': None, 'hist_unit': 'weeks', 'screen': True, 'disappear': False, 'job': None} │             │
│ │   user = 'laxr9773'                                                                                                                        │             │
│ ╰────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯             │
│                                                                                                                                                            │
│ /bask/homes/l/laxr9773/mypyenv/lib/python3.11/site-packages/richqueue/slurm.py:377 in combined_df                                                          │
│                                                                                                                                                            │
│   374                                                                                          ╭────────────── locals ──────────────╮                      │
│   375 def combined_df(**kwargs) -> "DataFrame":                                                │ kwargs = {                         │                      │
│   376 │   """Get combined DataFrame of SLURM job information"""                                │          │   'user': 'laxr9773',   │                      │
│ ❱ 377 │   df1 = get_squeue(**kwargs)                                                           │          │   'long': False,        │                      │
│   378 │   df2 = get_sacct(**kwargs)                                                            │          │   'idle': False,        │                      │
│   379 │                                                                                        │          │   'loop': True,         │                      │
│   380 │   if len(df1) and len(df2):                                                            │          │   'hist': None,         │                      │
│                                                                                                │          │   'hist_unit': 'weeks', │                      │
│                                                                                                │          │   'screen': True,       │                      │
│                                                                                                │          │   'disappear': False,   │                      │
│                                                                                                │          │   'job': None           │                      │
│                                                                                                │          }                         │                      │
│                                                                                                ╰────────────────────────────────────╯                      │
│                                                                                                                                                            │
│ /bask/homes/l/laxr9773/mypyenv/lib/python3.11/site-packages/richqueue/slurm.py:215 in get_squeue                                                           │
│                                                                                                                                                            │
│   212 │   except KeyError:                                                                                                                                 │
│   213 │   │   for key in columns:                                                                                                                          │
│   214 │   │   │   if key not in df.columns:                                                                                                                │
│ ❱ 215 │   │   │   │   raise KeyError(key)                                                                                                                  │
│   216 │                                                                                                                                                    │
│   217 │   extract_inner(df, "cpus", "number")                                                                                                              │
│   218 │   extract_inner(df, "node_count", "number")                                                                                                        │
│                                                                                                                                                            │
│ ╭──────────────────────────────────────────────────────────────────────── locals ────────────────────────────────────────────────────────────────────────╮ │
│ │ columns = ['command', 'cpus_per_task', 'dependency', 'derived_exit_code', 'group_name', 'job_id', 'job_state', 'name', 'nodes', 'node_count', ... +17] │ │
│ │ command = 'squeue -u laxr9773 --json'                                                                                                                  │ │
│ │      df = │   │   │   │   account  accrue_time admin_comment  array_job_id  ... user_id  user_name wckey                                               │ │
│ │           current_working_directory                                                                                                                    │ │
│ │           0  mnli6000-diamond-glb   1729502989                           0  ...  102392   laxr9773                                                     │ │
│ │           /bask/projects/m/mnli6000-diamond-glb/laxr9773...                                                                                            │ │
│ │           1  mnli6000-diamond-glb   1729503021                           0  ...  102392   laxr9773                                                     │ │
│ │           /bask/projects/m/mnli6000-diamond-glb/laxr9773...                                                                                            │ │
│ │                                                                                                                                                        │ │
│ │           [2 rows x 111 columns]                                                                                                                       │ │
│ │     job = None                                                                                                                                         │ │
│ │     key = 'exclusive'                                                                                                                                  │ │
│ │  kwargs = {'long': False, 'idle': False, 'loop': True, 'hist': None, 'hist_unit': 'weeks', 'screen': True, 'disappear': False}                         │ │
│ │    meta = {                                                                                                                                            │ │
│ │           │   'plugin': {'type': 'openapi/v0.0.38', 'name': 'Slurm OpenAPI v0.0.38'},                                                                  │ │
│ │           │   'Slurm': {'version': {'major': 22, 'micro': 11, 'minor': 5}, 'release': '22.05.11'}                                                      │ │
│ │           }                                                                                                                                            │ │
│ │  output = (b'{\n   "meta": {\n     "plugin": {\n       "type": "openapi\\/v0.0.38",\n       "name"'+9440, b'')                                         │ │
│ │ payload = {                                                                                                                                            │ │
│ │           │   'meta': {                                                                                                                                │ │
│ │           │   │   'plugin': {'type': 'openapi/v0.0.38', 'name': 'Slurm OpenAPI v0.0.38'},                                                              │ │
│ │           │   │   'Slurm': {'version': {'major': 22, 'micro': 11, 'minor': 5}, 'release': '22.05.11'}                                                  │ │
│ │           │   },                                                                                                                                       │ │
│ │           │   'errors': [],                                                                                                                            │ │
│ │           │   'jobs': [                                                                                                                                │ │
│ │           │   │   {                                                                                                                                    │ │
│ │           │   │   │   'account': 'mnli6000-diamond-glb',                                                                                               │ │
│ │           │   │   │   'accrue_time': 1729502989,                                                                                                       │ │
│ │           │   │   │   'admin_comment': '',                                                                                                             │ │
│ │           │   │   │   'array_job_id': 0,                                                                                                               │ │
│ │           │   │   │   'array_task_id': None,                                                                                                           │ │
│ │           │   │   │   'array_max_tasks': 0,                                                                                                            │ │
│ │           │   │   │   'array_task_string': '',                                                                                                         │ │
│ │           │   │   │   'association_id': 3720,                                                                                                          │ │
│ │           │   │   │   'batch_features': '',                                                                                                            │ │
│ │           │   │   │   'batch_flag': True,                                                                                                              │ │
│ │           │   │   │   ... +101                                                                                                                         │ │
│ │           │   │   },                                                                                                                                   │ │
│ │           │   │   {                                                                                                                                    │ │
│ │           │   │   │   'account': 'mnli6000-diamond-glb',                                                                                               │ │
│ │           │   │   │   'accrue_time': 1729503021,                                                                                                       │ │
│ │           │   │   │   'admin_comment': '',                                                                                                             │ │
│ │           │   │   │   'array_job_id': 0,                                                                                                               │ │
│ │           │   │   │   'array_task_id': None,                                                                                                           │ │
│ │           │   │   │   'array_max_tasks': 0,                                                                                                            │ │
│ │           │   │   │   'array_task_string': '',                                                                                                         │ │
│ │           │   │   │   'association_id': 3720,                                                                                                          │ │
│ │           │   │   │   'batch_features': '',                                                                                                            │ │
│ │           │   │   │   'batch_flag': True,                                                                                                              │ │
│ │           │   │   │   ... +101                                                                                                                         │ │
│ │           │   │   }                                                                                                                                    │ │
│ │           │   ]                                                                                                                                        │ │
│ │           }                                                                                                                                            │ │
│ │ process = <Popen: returncode: 0 args: ['squeue -u laxr9773 --json']>                                                                                   │ │
│ │    user = 'laxr9773'                                                                                                                                   │ │
│ ╰────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ │
╰────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
KeyError: 'exclusive'