<div dir="ltr"><div class="gmail_default" style="font-family:comic sans ms,sans-serif;color:#38761d">Hi all,</div><div class="gmail_default" style="font-family:comic sans ms,sans-serif;color:#38761d"><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif;color:#38761d">Due to problems in the pbs system on cheyenne it is possible that the archiving script starts before the model run completes - this will cause the model to stop and the incomplete logs to be moved to the archive directory.   I would recommend that you run with DOUT_S=FALSE and then run case.st_archive by hand until this problem is resolved.</div><div class="gmail_default" style="font-family:comic sans ms,sans-serif;color:#38761d"><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif;color:#38761d">Jim</div><div class="gmail_default" style="font-family:comic sans ms,sans-serif;color:#38761d"><br></div><div class="gmail_quote">---------- Forwarded message ----------<br>From: <b class="gmail_sendername">Richard Valent</b> <span dir="ltr"><<a href="mailto:valent@ucar.edu">valent@ucar.edu</a>></span><br>Date: Wed, Feb 14, 2018 at 4:28 PM<br>Subject: Re: no log files ???<br>To: Mick Coady <<a href="mailto:mickc@ucar.edu">mickc@ucar.edu</a>><br>Cc: Jim Edwards <<a href="mailto:jedwards@ucar.edu">jedwards@ucar.edu</a>>, Mariana Vertenstein <<a href="mailto:mvertens@ucar.edu">mvertens@ucar.edu</a>>, Cecile Hannay <<a href="mailto:hannay@ucar.edu">hannay@ucar.edu</a>>, Gokhan Danabasoglu <<a href="mailto:gokhan@ucar.edu">gokhan@ucar.edu</a>>, Siddhartha Ghosh <<a href="mailto:sghosh@ucar.edu">sghosh@ucar.edu</a>><br><br><br><div dir="ltr"><div style="font-size:small">Hi Jim, Mariana, Cecile, Gokhan, Siddhartha and Mick;</div><div style="font-size:small"><br></div><div style="font-size:small">My understanding of the job-dependency problem that bit you and others today, is that it is a consequence of a PBS error. CISL has requested for a fix for this particular problem, but it will require a PBS update, and we are not sure when the vendor will provide it. While we are waiting for the fix, the single strategy suggested in today's meeting with systems administrators, is for you to monitor your jobs, and resubmit them when you see that they run incorrectly, as was obvious from today's failures. </div><div style="font-size:small"><br></div><div style="font-size:small">I am sorry I cannot offer anything more positive. Know that getting this fix is high on our todo list.  Mick, if you have anything to add to this email from today's meeting, please jump in.  --Dick Valent</div><div style="font-size:small"><br></div><div style="font-size:small"><br></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 14, 2018 at 11:51 AM, Mick Coady <span dir="ltr"><<a href="mailto:mickc@ucar.edu" target="_blank">mickc@ucar.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Colin reported what sounds like the exact same problem.  Dick has created High priority tickets for SSG on this and we'll keep you posted as best we can.</div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 14, 2018 at 11:39 AM, Jim Edwards <span dir="ltr"><<a href="mailto:jedwards@ucar.edu" target="_blank">jedwards@ucar.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div style="font-family:comic sans ms,sans-serif;color:#38761d">I just went and spoke with Dick and Pat in user services - we think that it may be a PBS problem.</div><div style="font-family:comic sans ms,sans-serif;color:#38761d"><br></div><div style="font-family:comic sans ms,sans-serif;color:#38761d">Cecile I suggest that you qdel jobs 




<span></span>





<p class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-p1" style="margin:0px;font-style:normal;font-variant:normal;font-weight:normal;font-stretch:normal;font-size:18px;line-height:normal;font-family:"Lucida Console";color:rgb(0,0,0);background-color:rgb(235,235,235)"><span class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-s1" style="font-variant-ligatures:no-common-ligatures">4658078 </span></p><p class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-p1" style="margin:0px;font-style:normal;font-variant:normal;font-weight:normal;font-stretch:normal;font-size:18px;line-height:normal;font-family:"Lucida Console";color:rgb(0,0,0);background-color:rgb(235,235,235)"><span class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-s1" style="font-variant-ligatures:no-common-ligatures">4658135 </span></p><p class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-p1" style="margin:0px;font-style:normal;font-variant:normal;font-weight:normal;font-stretch:normal;font-size:18px;line-height:normal;font-family:"Lucida Console";color:rgb(0,0,0);background-color:rgb(235,235,235)"><span class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-s1" style="font-variant-ligatures:no-common-ligatures">




<span></span>





</span></p><p class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-p1" style="margin:0px;font-style:normal;font-variant:normal;font-weight:normal;font-stretch:normal;font-size:18px;line-height:normal;font-family:"Lucida Console";color:rgb(0,0,0);background-color:rgb(235,235,235)"><span class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-s1" style="font-variant-ligatures:no-common-ligatures">4658121</span></p>


<br><p></p><p class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-p1" style="margin:0px;font-style:normal;font-variant:normal;font-weight:normal;font-stretch:normal;font-size:18px;line-height:normal;font-family:"Lucida Console";color:rgb(0,0,0);background-color:rgb(235,235,235)"><span class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-s1" style="font-variant-ligatures:no-common-ligatures">These are your short term archiver jobs and it appears that the problem is that they </span></p><p class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-p1" style="margin:0px;font-style:normal;font-variant:normal;font-weight:normal;font-stretch:normal;font-size:18px;line-height:normal;font-family:"Lucida Console";color:rgb(0,0,0);background-color:rgb(235,235,235)"><span class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail-s1" style="font-variant-ligatures:no-common-ligatures">are starting before the model run completes.  So we want you to run short term archiving by hand until we figure this out.   Does that make sense?</span></p>


<p></p>


</div></div><div class="m_2376311823371479272m_5219987162784903511HOEnZb"><div class="m_2376311823371479272m_5219987162784903511h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 14, 2018 at 11:32 AM, Mariana Vertenstein <span dir="ltr"><<a href="mailto:mvertens@ucar.edu" target="_blank">mvertens@ucar.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Since this has not happened before - I am concluding that this must be a cheyenne issue. Does everyone agree?</div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238HOEnZb"><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 14, 2018 at 11:25 AM, Cecile Hannay <span dir="ltr"><<a href="mailto:hannay@ucar.edu" target="_blank">hannay@ucar.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Jim,<div>I had another case. It is even worse than that.<div>I had a CESM run going, the archiving start running before the job completed. </div><div>Then the archiving job completed and it resubmitted the CESM run (while the previous run was still running). </div><div>So it means I had two instances of CESM running - <span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">basically. </span>overwriting each other.  </div></div><span class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236HOEnZb"><font color="#888888"><div>Cecile</div><div><br></div></font></span></div><div class="gmail_extra"><span><br clear="all"><div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><br>++++++++++++++++++++++++++++++<wbr>++++++++++++++
<br><div>Cecile Hannay
<br>National Center for Atmospheric Research
<br>email: <a href="mailto:hannay@ucar.edu" target="_blank">hannay@ucar.edu</a>
<br>phone: <a href="tel:(303)%20497-1327" value="+13034971327" target="_blank">303-497-1327</a>
<br>webpage: <a href="http://www.cgd.ucar.edu/staff/hannay/" target="_blank">http://www.cgd.ucar.edu/staff/<wbr>hannay/</a><br>++++++++++++++++++++++++++++++<wbr>++++++++++++++<br><br></div></div></div></div></div></div>
<br></span><div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236h5"><div class="gmail_quote">On Wed, Feb 14, 2018 at 11:18 AM, Jim Edwards <span dir="ltr"><<a href="mailto:jedwards@ucar.edu" target="_blank">jedwards@ucar.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div style="font-family:comic sans ms,sans-serif;color:#38761d"><br></div><div style="font-family:comic sans ms,sans-serif;color:#38761d">We've had a couple of jobs exhibit some strange behavior on cheyenne this morning,</div><div style="font-family:comic sans ms,sans-serif;color:#38761d">both stopped running without any indication as to why in the logs. </div><div style="font-family:comic sans ms,sans-serif;color:#38761d">could you please check and see if you can see what the issue might have been?</div><div style="font-family:comic sans ms,sans-serif;color:#38761d"><br></div><div style="font-family:comic sans ms,sans-serif;color:#38761d">An interesting piece of these is that they both had dependent jobs that should not have run because the model job did not complete, however in both of these cases the dependent jobs did run.  </div><div style="font-family:comic sans ms,sans-serif;color:#38761d"><br></div><div style="font-family:comic sans ms,sans-serif;color:#38761d"><br></div><div style="font-family:comic sans ms,sans-serif;color:#38761d">The jobid's were:<p class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079gmail-p1" style="margin:0px;font-style:normal;font-variant:normal;font-weight:normal;font-stretch:normal;font-size:18px;line-height:normal;font-family:"Lucida Console";color:rgb(0,0,0);background-color:rgb(235,235,235)"><span class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079gmail-s1" style="font-variant-ligatures:no-common-ligatures">4651153 and <span style="color:rgb(0,0,0);font-family:"Lucida Console";font-size:18px;font-style:normal;font-variant-ligatures:no-common-ligatures;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(235,235,235);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">4644799</span></span></p>


</div></div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117HOEnZb"><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 14, 2018 at 11:09 AM, Cecile Hannay <span dir="ltr"><<a href="mailto:hannay@ucar.edu" target="_blank">hannay@ucar.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">It did happen again in 2 runs:<div><div>/glade/p/cesmdata/cseg/runs/ce<wbr>sm2_0/b.e20.B1850.f09_g17.pi_c<wbr>ontrol.all.274</div></div><div><div>/glade/p/cesmdata/cseg/runs/ce<wbr>sm2_0/b.e20.B1850.f09_g17.pi_c<wbr>ontrol.all.265_fix</div></div><div><br></div><div>As far as I can tell, it is not a problem of quota. </div><div><br></div><div><div><font face="monospace, monospace">  Space                             Used       Quota    % Full</font></div><div><font face="monospace, monospace">------------------------------ ----------- ----------- ---------</font></div><div><font face="monospace, monospace">/glade/p/cesm                    198.49 TB   200.22 TB   99.14 %</font></div><div><font face="monospace, monospace">/glade/p/cesm/amwg_dev            26.00 TB    42.22 TB   61.58 %</font></div><div><font face="monospace, monospace">/glade/p/cesm/bgcwg_dev           57.60 TB    58.60 TB   98.29 %</font></div><div><font face="monospace, monospace">/glade/p/cesm/chwg_dev            73.85 TB    78.02 TB   94.66 %</font></div><div><font face="monospace, monospace">/glade/p/cesm/liwg_dev             0.86 TB     5.37 TB   16.01 %</font></div><div><font face="monospace, monospace">/glade/p/cesm/lmwg_dev             6.59 TB     6.60 TB   99.85 %</font></div><div><font face="monospace, monospace">/glade/p/cesm/omwg_dev            83.65 TB    87.56 TB   95.53 %</font></div><div><font face="monospace, monospace">/glade/p/cesm/palwg_dev          119.39 TB   122.56 TB   97.41 %</font></div><div><font face="monospace, monospace">/glade/p/cesm/pcwg_dev            39.13 TB    41.00 TB   95.44 %</font></div><div><font face="monospace, monospace">/glade/p/cesm/sdwg_dev            44.61 TB    45.79 TB   97.42 %</font></div><div><font face="monospace, monospace">/glade/p/cesm/wawg_dev            81.26 TB    83.00 TB   97.90 %</font></div><div><font face="monospace, monospace">/glade/u/cesm-scripts            300.16 GB  1024.00 GB   29.31 %</font></div><div><font face="monospace, monospace">/glade/p/cesmLE                  124.38 TB   124.38 TB  100.00 %</font></div><div><font face="monospace, monospace">/glade/p/cesmLME                  99.47 TB   105.50 TB   94.28 %</font></div><div><font face="monospace, monospace">/glade/p/cesm0005                879.63 TB   900.00 TB   97.74 %</font></div><div><font face="monospace, monospace">/glade/p/cgd                     255.98 TB   265.00 TB   96.60 %</font></div><div><font face="monospace, monospace">/glade/p/cesmdata                 47.56 TB    57.07 TB   83.34 %</font></div><div><font face="monospace, monospace">/glade/p/cwmk0001                  5.93 TB     6.11 TB   97.05 %</font></div><div><font face="monospace, monospace">/glade/p/p05010048                14.25 TB    14.74 TB   96.68 %</font></div><div><font face="monospace, monospace">/glade/scratch/hannay              8.30 TB    50.00 TB   16.60 %</font></div><div><font face="monospace, monospace">/glade/p/work/hannay             507.27 GB   512.00 GB   99.08 %</font></div><div><font face="monospace, monospace">/glade/u/home/hannay              31.15 GB    50.00 GB   62.30 %</font></div></div><div><br></div></div><div class="gmail_extra"><span><br clear="all"><div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><br>++++++++++++++++++++++++++++++<wbr>++++++++++++++
<br><div>Cecile Hannay
<br>National Center for Atmospheric Research
<br>email: <a href="mailto:hannay@ucar.edu" target="_blank">hannay@ucar.edu</a>
<br>phone: <a href="tel:(303)%20497-1327" value="+13034971327" target="_blank">303-497-1327</a>
<br>webpage: <a href="http://www.cgd.ucar.edu/staff/hannay/" target="_blank">http://www.cgd.ucar.edu/staff/<wbr>hannay/</a><br>++++++++++++++++++++++++++++++<wbr>++++++++++++++<br><br></div></div></div></div></div></div>
<br></span><div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079h5"><div class="gmail_quote">On Wed, Feb 14, 2018 at 9:54 AM, Jim Edwards <span dir="ltr"><<a href="mailto:jedwards@ucar.edu" target="_blank">jedwards@ucar.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div style="font-family:comic sans ms,sans-serif;color:#38761d">The only thing I can think of is that you ran out of disk space someplace, not sure why else it would behave this way.</div></div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401HOEnZb"><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 14, 2018 at 9:52 AM, Cecile Hannay <span dir="ltr"><<a href="mailto:hannay@ucar.edu" target="_blank">hannay@ucar.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Thanks. This is strange that these files were moved to the archive directory when it failed. I guess the archiving script got a message saying the job completed successfully. <br>I am going to restart it.  </div><div class="gmail_extra"><span><br clear="all"><div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401m_-2688335560313987736m_-9104446067003718228gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><br>++++++++++++++++++++++++++++++<wbr>++++++++++++++
<br><div>Cecile Hannay
<br>National Center for Atmospheric Research
<br>email: <a href="mailto:hannay@ucar.edu" target="_blank">hannay@ucar.edu</a>
<br>phone: <a href="tel:(303)%20497-1327" value="+13034971327" target="_blank">303-497-1327</a>
<br>webpage: <a href="http://www.cgd.ucar.edu/staff/hannay/" target="_blank">http://www.cgd.ucar.edu/staff/<wbr>hannay/</a><br>++++++++++++++++++++++++++++++<wbr>++++++++++++++<br><br></div></div></div></div></div></div>
<br></span><div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401m_-2688335560313987736h5"><div class="gmail_quote">On Wed, Feb 14, 2018 at 9:47 AM, Mariana Vertenstein <span dir="ltr"><<a href="mailto:mvertens@ucar.edu" target="_blank">mvertens@ucar.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Thanks so much for your quick response to this!!!<div><br></div><div><br></div></div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401m_-2688335560313987736m_-9104446067003718228HOEnZb"><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401m_-2688335560313987736m_-9104446067003718228h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 14, 2018 at 9:45 AM, Jim Edwards <span dir="ltr"><<a href="mailto:jedwards@ucar.edu" target="_blank">jedwards@ucar.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div style="font-family:comic sans ms,sans-serif;color:#38761d">It seems that your log files were moved to the archive directory, not sure why...</div><div style="font-family:comic sans ms,sans-serif;color:#38761d"><br></div><div style="font-family:comic sans ms,sans-serif;color:#38761d">




<span></span>





<p class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401m_-2688335560313987736m_-9104446067003718228m_-7537596567128816035m_8150374786851472574m_7648143905862673233gmail-p1" style="margin:0px;font-style:normal;font-variant:normal;font-weight:normal;font-stretch:normal;font-size:18px;line-height:normal;font-family:"Lucida Console";color:rgb(0,0,0);background-color:rgb(235,235,235)"><span class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401m_-2688335560313987736m_-9104446067003718228m_-7537596567128816035m_8150374786851472574m_7648143905862673233gmail-s1" style="font-variant-ligatures:no-common-ligatures">/glade/p/cesm0005/archive/b.e2<wbr>0.B1850.f09_g17.pi_control.all<wbr>.265_fix/logs/cesm.log.4644799<wbr>.chadmin1.180214-060212</span></p>


<br></div><div style="font-family:comic sans ms,sans-serif;color:#38761d">I can't find any indication in any of the logs as to why it failed. </div><div style="font-family:comic sans ms,sans-serif;color:#38761d"><br></div></div><div class="gmail_extra"><div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401m_-2688335560313987736m_-9104446067003718228m_-7537596567128816035h5"><br><div class="gmail_quote">On Wed, Feb 14, 2018 at 9:34 AM, Cecile Hannay <span dir="ltr"><<a href="mailto:hannay@ucar.edu" target="_blank">hannay@ucar.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>I have the strangest thing happening.</div><div>I had a run that crashed this morning. I am looking in the run directory and I don't see any log files ?</div><div>I don't understand how it is possible (?)</div><div>/glade2/scratch2/hannay/b.e20.<wbr>B1850.f09_g17.pi_control.all.2<wbr>65_fix/run</div><div><br></div><div><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401m_-2688335560313987736m_-9104446067003718228m_-7537596567128816035m_8150374786851472574m_4596018082983072437gmail_signature"><div dir="ltr"><div><div dir="ltr">The case directory is in:</div><div dir="ltr"><div dir="ltr">/glade/p/cesmdata/cseg/runs/ce<wbr>sm2_0/b.e20.B1850.f09_g17.pi_c<wbr>ontrol.all.265_fix</div><div><br></div><div>Could you have a look ? I want to restart this run but I would like you to look first because it looks strange to me. </div><div><br></div><div>Am I missing something ??? </div><div><br></div><div><br></div><div>I didn't erase by mistake. I was in the seminar room when I received an email the run crashed. Here is the command I issued. It is all I did. </div><div> </div><div><div>  1003  9:26    cd <span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">/glade/scratch/hannay/</span></div><div>  1004  9:27    cd *265_fix</div><div>  1005  9:27    cd run/</div><div>  1006  9:27    ls -all -crt</div><div>  1007  9:27    ls -all -crt *log*</div><div>  1008  9:27    ls -all -crt</div><div>  1009  9:27    ls</div><div>  1010  9:27    ls -all -crt</div><div>  1011  9:28    pwd</div><div>  1012  9:30    history</div></div><div><br></div>++++++++++++++++++++++++++++++<wbr>++++++++++++++
<br><span class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401m_-2688335560313987736m_-9104446067003718228m_-7537596567128816035m_8150374786851472574HOEnZb"><font color="#888888"><div>Cecile Hannay
<br>National Center for Atmospheric Research
<br>email: <a href="mailto:hannay@ucar.edu" target="_blank">hannay@ucar.edu</a>
<br>phone: <a href="tel:(303)%20497-1327" value="+13034971327" target="_blank">303-497-1327</a>
<br>webpage: <a href="http://www.cgd.ucar.edu/staff/hannay/" target="_blank">http://www.cgd.ucar.edu/staff/<wbr>hannay/</a><br>++++++++++++++++++++++++++++++<wbr>++++++++++++++<br><br></div></font></span></div></div></div></div></div>
</div>
</blockquote></div><br><br clear="all"><div><br></div></div></div>-- <br><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401m_-2688335560313987736m_-9104446067003718228m_-7537596567128816035m_8150374786851472574gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div><div>Jim Edwards<br><br></div><font size="1">CESM Software Engineer<br></font></div><span><font size="1">National Center for Atmospheric Research<br></font></span></div><font size="1">Boulder, CO</font> <br></div></div>
</div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div></div></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079m_-6194320037019807401m_-2688335560313987736gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div><div>Jim Edwards<br><br></div><font size="1">CESM Software Engineer<br></font></div><font size="1">National Center for Atmospheric Research<br></font></div><font size="1">Boulder, CO</font> <br></div></div>
</div>
</div></div></blockquote></div><br></div></div></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238m_-480116481943044236m_-2991061026293240117m_1253301165990124079gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div><div>Jim Edwards<br><br></div><font size="1">CESM Software Engineer<br></font></div><font size="1">National Center for Atmospheric Research<br></font></div><font size="1">Boulder, CO</font> <br></div></div>
</div>
</div></div></blockquote></div><br></div></div></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br><br clear="all"><span class="m_2376311823371479272HOEnZb"><font color="#888888"><div><br></div>-- <br><div class="m_2376311823371479272m_5219987162784903511m_-4513456388466692238gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div><div>Jim Edwards<br><br></div><font size="1">CESM Software Engineer<br></font></div><font size="1">National Center for Atmospheric Research<br></font></div><font size="1">Boulder, CO</font> <br></div></div>
</font></span></div><span class="m_2376311823371479272HOEnZb"><font color="#888888">
</font></span></div></div></blockquote></div><span class="m_2376311823371479272HOEnZb"><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div class="m_2376311823371479272m_5219987162784903511gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><div>Mick Coady<br><span style="color:rgb(0,0,0);font-family:arial,helvetica,sans-serif;font-size:small;font-style:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);display:inline!important;float:none">NCAR </span><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;font-style:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);display:inline!important;float:none">Computational & Information Services Laboratory</span></div><div><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:12.8px;font-style:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);display:inline!important;float:none"><span style="font-size:12.8px">Consulting</span><span style="font-size:12.8px"> </span>Services Group Head</span></div><a href="mailto:mickc@ucar.edu" target="_blank">mickc@ucar.edu</a><br></div><div><a href="tel:(303)%20497-1828" value="+13034971828" target="_blank">303.497.1828</a><br></div></div></div></div></div></div></div>
</font></span></div>
</blockquote></div><br></div>
</div></div></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div><div>Jim Edwards<br><br></div><font size="1">CESM Software Engineer<br></font></div><font size="1">National Center for Atmospheric Research<br></font></div><font size="1">Boulder, CO</font> <br></div></div>
</div>