Pull to refresh

Comments 113

UFO just landed and posted this here
А я все думаю, откуда мне знаком этот ник?
Второй раз «МЯСО!» вряд ли наберет 200 плюсов, так что вы это зря)
Хотя мне кажется, что этот пост — куда большее мясо, чем первый.
Ну, просто это не инструкция «нажми туда, потом сюда, теперь вот так». Наверное, оттого и впечатление такое)
Это не мясо, это десерт. Если точнее, это ТОРТ!
UFO just landed and posted this here
хватит «мясо-мясо». Так как «на мой взгляд, одновременно и более и менее интересный, чем предыдущий.» пост, то это можно назвать САЛО, НЕ РЫБА НЕ МЯСО!
На всякий случай — KeStallExecutionProcessor — в каком-то роде аналог Sleep(), только выполняется в ядре (стопорит многозадачность), да к тому же ещё и в обработчике прерываний (т.е. в «коллбэке» от устройства).
Кстати да, на всякий случай надо пояснить этот момент. Вот документация. Если ждать надо меньше тика таймера, то единственным вариантом будет крутить пустой цикл до тех, пор пока не придет время выходить. И марвеловский драйвер делает это в обработчике прерывания. Здесь нужно еще одно пояснение: после вызова обработчика прерывания это и все прерывания ниже этого оказываются замаскированы на этом процессоре. То есть на подобные «мелочи» процессор прерываться уже не будет, пока не выйдет из обработчика. Ну собственно, единожды застряв в обработчике прерывания от диска — любые последующие операции чтения/записи уже невозможны. Особенно, если прерывания «сродственны» (affinitized) этому процессору.
Самая «хабровая» статья за последнюю неделю.
степень хабровости статьи зашкаливает over 100%
предыдущий пост потому так понравился людям, что они внезапно обнаружили что windows 7 это не магический черный ящик а вполне себе «windows xp в которую можно залезть по плечи и поковыряться».
то есть хрюша была чем то понятным а win7 это магическая черная коробка)
Кстати, мой опыт подсказывает, что для «ковыряния» нужны не столько исходники (хотя они сильно помогают), сколько мощная документация и время на то, чтоб прочитанная информация переварилась и усвоилась. И вот здесь как то внезапно оказывается, что возможностей поковыряться в винде иногда даже больше, чем в том же линуксе.

А посыл обоих постов (в особенности первого): если лезешь ковыряться — для начала разберись.
а вы не могли бы подсказать какую-нибудь литературу для этого(для того, чтобы разобраться), или с чего начинать? Спасибо.
У Соломона/Руссиновича/Ионеску поразительно доступно все расписано, но без бекраунда вчитываться все равно придется долго. И начального уровня — взять тот же драйвер тостера из WDK и поковырять. Благо сейчас не надо запускать тестовые драйвера на живой машине — можно при желании пустить одновременно с десяток виртуалок.

Если есть навыки отладки, ОЧЕНЬ рекомендую WRK — компилируете, заменяете ядро и ходите по ядру дебаггером с просмотром всех вызовов.
> И вот здесь как то внезапно оказывается, что возможностей поковыряться в винде иногда даже больше, чем в том же линуксе.

Мммм. Наверное вы ошиблись в формулировке. Тут какая-то неправда написана.
Да нет, мой опыт может быть и нерепрезентативным, но книг уровня Windows Internals для линукс просто нет (LDD не только устарела, но и по сути похожа скорее на «Writing WDM» Oney, а не на Windows Internals).
Документации подобной MSDN тоже нет — какие то разрозненные howto-шки, советы в форумах и пр… Я может и ошибаюсь, но СВОЮ мысль сформулировал совершенно точно. В винде ковыряться легче, чем в линуксе
Выходит, что ваша фраза была многозначна, и до того смысла, который вы в него оказывается вложили, я не догадался. Даже не подозревал, что «возможность поковыряться» === «наличие качественной литературы и документации». Оригинально :)

То, что мне пришло в голову после первого (да и второго и последующих) прочтений вашего высказывания, трудно назвать правдой. Мне показалось, что вы хотели сказать, что умеючи и при наличии специальных утилит можно отладить win7 так, как нельзя отладить linux (даже при наличии исходников).
Я имел в виду, что при наличии хорошей документации и хорошего дизайна системы (open/closed principle помните?) расширять систему проще, чем при наличии пары десятков миллионов строк исходников с плохим дизайном и практически полном отсутствии документации.
Отлично :) Теперь оказывается вместо «возможностей больше» надо было читать «проще». Это же совсем не синонимы, не находите?
В данном случае да. Если Вы записываете на счет Linux ПОТЕНЦИАЛЬНУЮ возможность разобраться в нескольких десятках миллионов строк без документации, внятных комментариев и нормального дизайна, то запишите, пожалуйста, на счет Windows ПОТЕНЦИАЛЬНУЮ возможность трудоустроиться в Microsoft — это опять таки будет проще.
Да, я ковырялся в обоих. Более того, два года был убежденным линуксоидом
Сталкивался с похожей проблемой на ноутбуке Asus: windows 7 x64 в случайный момент времени могла зависнуть на 2-3 минуты, потом продолжить работу как ни в чем ни бывало.
Грешил практически на все, закончилось переустановкой с x64 на x86.

В «чистом» состоянии работала нормально. Постепенная установка драйверов показала, что зависание вызывает драйвер Intel Rapid Storage Technology. После его установки многоминутные зависания снова появились, после удаления — исчезли.

Вроде все прекрасно, но раз-два в неделю ноут стал уходить в синий экран смерти по исключению «ядро не получило сигнал за требуемый промежуток времени», а жесткий диск нет-нет да щелкнет как-то подозрительно.
Даже не знаю, в какую сторону копать дальше.
UFO just landed and posted this here
Ах, не заметил.
Начинать анализ багчека (синего экрана) нужно с открытия дампа ядра в WinDbg и выполнения в нем команды
!analyze -v

Иногда (но далеко не всегда) он может даже подсказать, кто конкретно виноват
В следующий раз постараюсь сделать.
Просто в предыдущие разы дамп на 15% останавливался почему-то :0(
А ещё есть BlueScreeView от Нира Софера. Он попроще немного.
whocrashed отличная программуля, бесплатная. Поищите, советую.
BlueScreeView — тоже бесплатная и настолько простая, что проще, кажется, некуда.
Пара ваших статей, стоят десятка рекламок от местных евангелистов типа XaosCPS.
А мне нравятся его посты. И, кстати, Technology evangelist:
A technical or technology evangelist is a person who attempts to build a critical mass of support for a given technology in order to establish it as a technical standard in a market that is subject to network effects.[citation needed] Professional technology evangelists are often employed by firms which seek to establish their proprietary technologies as de facto standards or to participate in setting non-proprietary open standards. Non-professional technology evangelists may act out of altruism or self-interest (e.g., to gain the benefits of early adoption or the network effect).

В случае MS это подходит разве что к сильверлайту и WP7, но я не замечал у XaosCPS особой любви конкретно к нераспространенным («ну это пока» :-) ) технологиям МС.
О, и бингу еще
Заметили, в какой поиск я лазил по поводу NIS? То то же :-)
У меня такая же проблема иногда проявляется в Task Scheduler при открытии диалога создания новой задачи и (что самое странное) добавления нового триггера в задачу.
Жаль кармы маловато, обязательно плюсанул бы. Приятная статья, показывает что винда хоть и красивая, но всегда можно открыть капот и залезть по самые дебри :)
Про «под юбку», тьфу, «под капот» винды я еще собираюсь написать. Конкретно в ближайших планах Memory Manager (с небольшими вылазками в Cache Controller и I/O Manager). Просто потому, что мне больно видеть всякие советы по отключению свопфайла и «экспертные» мнения по поводу swappiness в Linux. :-)
А так раз постарался — написал и потом можно просто давать ссылку
Ну даже такого уровня статьи, раскрывающие возможности ОС даже далеко не для гуру — весьма интересны… хотел бы я так разбираться :)
ну реально, зачем своп если памяти завались?
Дело даже не в том, что не нужен, а втом, что если его не прибить, винда же его будет использовать при интенсивном io, забивая ОП кешем для диска, а на диск сбрасывая всю память приложений.
а пример такого интенсивного ио для которого нужна вся оперативка в качестве кэша?
Копирование больших файлов, скачивание и раздача торрентов. Вся оперативка не нужна, это понятно все кроме винды, и она вытесняет приложения. Если, конечно вы не работаете с этими приложениями интенсивно и не даете их вытеснить.

Отдельная история при использовании свопа — спящий режим. Складывается впечатление, что винда в угоду быстрого засыпания, страницы, копии которых есть и в свопе и в ОП, не сбрасывает на диск повторно. От этого, вместо быстрого восстановления из линейно расположенного файла, винда часть программ достает из сильно фрагментированного файла подкачки. Если запущенно много приложений, после выхода из спящего режима она еще пару минут тупит. А без свопа готова к работе почти сразу.

Мне бы было интересно узнать, отчего amirul больно видеть, как компьютеры начинают работать быстрее при отключении свопа.
Копирование больших файлов

Делаю это постоянно, ничего подобного не замечал.

скачивание и раздача торрентов

А вот это уже проблемы торрент-клиентов. Если они говорят, что их операции имеют такой же приоритет памяти, как и все остальное в системе — система совершенно логично выгружает на фиг «все остальное» и оставляет наиболее часто используемый кеш раздаваемых файлов. Более того, это можно обойти понизив PagePriority у потоков торрент-клиента.

Отдельная история при использовании свопа — спящий режим. Складывается впечатление, что винда в угоду быстрого засыпания, страницы, копии которых есть и в свопе и в ОП, не сбрасывает на диск повторно

Все, что в Modified списке — сбрасывается в соответствующие файлы, все что в Private (Working Set-ы) пакуется и сбрасывается в hiberfil.sys. Со Standby списками чуть сложнее, высокие уровни (6 и 7), насколько я знаю, тоже сбрасываются в hiberfil, низкие — просто выбрасываются и перезаполняются после просыпания.

От этого, вместо быстрого восстановления из линейно расположенного файла, винда часть программ достает из сильно фрагментированного файла подкачки.

А здесь Вы совершили сразу несколько ошибок. Во-первых, пейджфайл обычно не более фрагментирован, чем хиберфайл. Во-вторых не вся дисковая активность связана с пейджфайлом (более того, когда памяти много — пейджфайл практически не используется). В-третьих, обычно, то что не оказалось в standby списке на момент «засыпания» использовалось незадолго до этого, а следовательно все необходимое для нормальной работы должно находиться в Working Set-ах процессов и подлежит сбросу на диск и восстановлению. Ну а кеш чаще всего перезаполняется Superfetch-ем, который практически никак не мешает работе кроме как миганием лампочки, которое очень отвлекает некоторых людей.
Во-первых, пейджфайл обычно не более фрагментирован, чем хиберфайл.
Да ну? Хиберфайл — слепок памяти, читается и пишется преимущественно линейно. Подкачка много раз переписывается по мере работы, отчего и фрагментируется. И да, я естественно говорю о внутренней фрагментации внутри файла. Вы же не подумали, что я о расположении блоков на диске?
> Вы же не подумали, что я о расположении блоков на диске?
Признаться, я именно об этом и подумал
Ну, данный момент присутствует, хотя винда и кластеризует страницы, лежащие в памяти рядом при сбросе на диск. На самом же деле, можете посмотреть сколько занимает чтение пейджфайла при просыпании — 2-3 секунды даже на медленных дисках.
Вот пример (синее — это low priority i/o, которое ничем, кроме мигания лампочки не мешает):

Ваш пример ни о чем не говорит, вы ничего не уточнили о загрузке системы. Я говорю о рабочем состоянии, когда винда по неделе и больше не перезагружается, только уводится в спящий режим. Хотя при определенной нагрузке это проявляется занчительно раньше.
Я тоже так работаю. Более того, активно использую hibernate еще с Win2k — никогда не замечал подобных проблем.
Во-вторых не вся дисковая активность связана с пейджфайлом (более того, когда памяти много — пейджфайл практически не используется).
Эта дисковая активность связана с пейдж файлом, потому что пропадает от выключения его (Капитан, же!).

не мешает работе кроме как миганием лампочки,
Конкретно эта активность мешает. Пока пару минут не прогрузится, работать не будет.
> Конкретно эта активность мешает. Пока пару минут не прогрузится, работать не будет.
Пару минут? Ну сделайте уже xbootmgr -trace hibernate и покажите мне эту пару минут обращений к пейджфайлу.
У Вас что-то серьезно поломано, и вместо того, чтоб винить безобидный пейджфайл — нужно найти причину неисправности
Ага, как только включаю подкачку, так сразу ломается, только отключаю — чинится :) И не у меня вообще-то, а у всех. По крайней мере за XP могу поручиться.
И не вообще у всех, а только у Вас. Ни у меня ни у кого у моих знакомых не ломается. Я склонен верить собственному опыту. Но найти причину поломки мне интересно, поэтому соберите все таки hibernate trace.
И не только у меня, а вообще у всех.
Собрать не могу. Дома с недавних пор Мак, на работе, сами понимаете, заниматься этим не стану. Мой опыт идентичен опыту моих знакомых — производительность с подкачкой и без — небо и земля.
еще за долго хауса я выработал для себя принцип: не верь пользователям. все лгут.
пока нет примера, ваши слова ничего не значат.
пока нет примера, ваши слова ничего не значат.
Вот вы и врете.
Ну так а где пример то?
Hint: слова не являются примером.

У меня создается странное ощущение, что я хочу разобраться в Вашей проблеме больше, чем Вы сами
Я же сказал, у меня нет технической возможности предоставить вам пример, кроме моих слов и слов других людей. И в своей проблеме я разобрался — отключил подкачку.
Ну тогда да, я конечно же забуду собственный опыт (и теоретические знания, хехе) и поверю Вам на слово.
А, кстати, расскажите о своем опыте работы без подкачки. Как долго не пользовались, в какой момент поняли, что разницы в производительности нет?
Первый раз отключил подкачку, когда проапгрейдился со 128Мб до ЦЕЛЫХ 512. Жил так года полтора. Разница в некоторых приложениях была, так как икспи не имеет приоретизации памяти. Включил обратно, когда игра Freelancer2 стала вылетать от нехватки памяти. Уже в висте пытался отключать с 3 Гб памяти — имел много проблем с заканчивающейся памятью. Включил своп и не заметил особой разницы. С тех пор никогда не выключал и даже не ограничивал пейджфайл — дефолтные настройки отлично работают.

Сейчас на всех машинах по 8 гиг памяти, периодически смотрю на профиль использования пейджфайла — активность 2-3 страницы в час (если вообще есть).
Пока есть Zeroed/Free память, рабочие наборы не трогаются (даже если подрезаются — приложение может сделать быстрый softfault страницы обратно себе рабочий набор), а когда zero/free страницы заканчиваются — начинается обычный MRU алгоритм, призванный уменьшать не количество обращений к свопу, а количество обращений к диску вообще
> Разница в некоторых приложениях была, так как икспи не имеет приоретизации памяти.

Думаю, тут можно и закончить наш спор.
Так это почти 10 лет назад было. Надо не свопфайл отключать, а XP
Когда есть, что кешировать память ВСЕГДА будет практически под завязку забита данными с диска.
Как то так (синенькое — СВОБОДНАЯ память, содержащая данные с диска):


Другое дело, что к сожалению homm рассуждает о вещах, в которых, очевидно, не разбирается.
Другое дело, что к сожалению homm рассуждает о вещах, в которых, очевидно, не разбирается.
Уважаемый. Я не первый день за компьютером, что такое виртуальная память знаю. Все ваши теоретические выкладки меркнут перед одним фактом — с выключенной подкачкой виндовс работает намного отзывчевее. Ощущения можно сравнить с переходом от одного ядра к двум.
> Все ваши теоретические выкладки меркнут перед одним фактом — с выключенной подкачкой виндовс работает намного отзывчевее.
О, да. Я конечно же сухой теоретик и ни разу в глаза не видел «живую» винду. Все Ваши теоретические выкладки меркнут перед фактом: pagefile практически не влияет на нормальную работу, но при этом увеличивает Commit Limit (что позволяет запускать больше всяких разных интересных программ) и освобождает память для более акнутальных данных с диска
Я конечно же сухой теоретик и ни разу в глаза не видел «живую» винду.
судя по тому, что вы пишете — так оно и есть.
И что же конкретно Вас смущает?
То, что ваши слова о незначительном влиянии подкачки на производительность ни разу не подтверждаются моим опытом.
Вот здесь есть длинный флейм по поводу swappiness в Linux
Вот в частности слова оригинального автора этой самой «swappiness» Andrew Morton:
«Swapout is good. It frees up unused memory. I run my desktop machines at swappiness=100.»

Когда «памяти завались» винда и не использует своп, а вот когда надо решать какие страницы оставить в памяти, а какие сбросить на диск — разницы между дисковым кешем, memory-mapped файлами и пейджфайлом фактически нет (хотя страницы и сбрасываются в пейджфайл по особому пути, чтоб исключить дедлоки).
когда какой-нибудь торрент (или что другое столь же аппетитное) насилует мой винч мне глубоко наплевать скачает он за час или за 59 минут. но когда я переключусь с него например на мессенджер я не хочу ждать ни мгновения, пока его данные поднимутся из свопа. говоря проще, отключая своп я говорю системе: пусть кэш занимает всю память, но ни в коем случае не в ущерб приложениям, находящимся в памяти, которые мне могут понадобиться в любой момент независимо от того, как давно я их активировал в последний раз.
Физическая память — такой же ресурс, как, например, процессорное время. Если какой нибудь кривой процесс будет «насиловать процессор» не давая исполняться остальным — будет сразу понятно, что проблема с этим процессом, если же подобное происходит с памятью — все почему то считают, что дело в свопфайле.
если бы процессор умел «свопиться» в облако — была бы такая же проблема. и наоборот, почему-то никого не смущает, что если не хватает процессора, то система подтормаживает, но многих устраивает, что когда не хватает памяти, то ради незначительного выигрыша 1 программе другие начинают безбожно тормозить
Конечный ресурс «процессор» разделяется между желающими на основе их приоритетов. Конечный ресурс «физическая память» тоже разделяется между желающими на основе приоритетов. Если кто то (торрент-клиент) говорит, что те тонны файлов, которые он читает не менее важны, чем, скажем, системные файлы — система будет выгружать системные файлы. Здесь дело в приложении, неправильно оценивающем важность производимых операций.
а как приложение без оглядки на другие приложения сможет правильно оценить важность? важность может оценить только пользователь. но у него нет ручек вида «не выгружать данные этого приложения в своп» или «это приложение реального времени»
В случае с мюторрентом все просто: background priority (как он, собственно и выполняется). Означает «Используй сколько хочешь ресурсов, но не мешай работать пользователю».
угу, и каждое толковое приложение использует этот приоритет, когда находится в фоне и благополучно улетает в своп при первом же удобном случае…
Нет, во первых только операции, которые оно будет выполнять в этом режиме будут иметь этот приоритет. Весь кеш накопленный до этого будет с нормальным приоритетом. Во вторых, если приложение производит мало операций ввода/вывода — ему нечего волноваться о приоритета ввода/вывода и памяти.
гм… ну тогда мне нечего возразить, хотя, это всё-равно кривой способ разруливания…
Приоритеты (в том числе динамические и эвристические) используются для разруливания доступа ко всем конечным ресурсам: процессор, диск, память, сеть и пр… Это пока что лучшее, что придумано.

Без всякого сарказма: я бы с удовольствием посмотрел на более совершенный подход.
я не против приоритетов, я против свопа, пока в нём нет острой необходимости.
Вы молодец! Если бы каждый разбирался в своей области так же хорошо, как Вы в своей, мир был бы намного лучше. Спасибо, что делитесь своими знаниями и опытом с сообществом.
Судя по названию топика, автор читал (и уважает) либо Гарднера, либо Русиновича (а может и обоих сразу).
Руссиновича. И очень приятно, что не один я
Взаимно!
Еще советую почитать Гарднера, он хоть к хабру отношения не имеет, но у него много «The case of» :)
Спасибо — обязательно почитаю
Руссинович — это таки да
Сколько сталкиваюсь с Марвеллом — всё время какие-то проблемы. То драйверы кривые в течение нескольких версий подряд, то чипы тормозят и глючат в роутерах, то ещё что-нибудь… Насторожённо отношусь я к Марвеллу, и, видимо, не зря )
Черт побери, Windows — это не просто!
Не только полезно, но и познавательно. Как хорошо, что Вам в голову пришла идея написать статьи на Хабре :)

BTW, может быть Вы еще знаете как ускорить скорость закрытия Visual Studio после продолжительного рабочего дня?
Надо смотреть что конкретно ее держит. Но лично я вообще никогда VS не закрываю :-)
что-то я себя неприятно чувствую, осознавая, что нет навыков так глубоко копать
ну вот, второй раз за последние семь дней я чувствую себя ламером))
amirul, у меня вопрос не по теме несколько, какую литературу вы читали для своего развития?) надо и мне что-нить приобрести…

Кстати, вы не знаете почему в Windows XP Process Monitor так долго отключается от ETW, а в Vista\7 таких проблем нет?
Статью перечитывать на ночь до полного просветления
Хочу еще раз сказать огромное спасибо amirul за помощь в разборе и решении проблемы ))) Успехов Вам в Вашей работе и профессиональном росте!
Очень помогла первая статья. Эта больше познавательна, чем полезна, но всё равно жирный плюс!!!

amiurl, очень надеюсь, что у Вас очень большая зарплата! Такой опыт и знания надо поощрять.
Напомнило похожие детективные истории от Руссиновича. Второй раз спасибо — мало таких статей (и тем более, комментов), когда явно осознаешь, что время, затраченное на прочтение, потрачено не зря.
Обожаю такие расследования. «Ничего не понял», но захватывающе!
Снимаю шляпу, все эти проблемы есть у меня: долгий старт винды, зависания (на двух компах). Еще есть такая: разрастание одного из svchost.exe до неприличных размеров после нескольких дней работы без перезагрузки. Может быть об этом тоже расскажите?
P.S. скоро праздники, попробую все ваши советы.
svchost разрастается в связи с тем, что никому другому эта память в данный момент не нужна :-)
Task Manager — вообще одна из самых обманчивых утилит в винде. Попробуйте скачать RamMap и сделать «Empty->Empty Working Sets» и «Empty->Empty System Working Set»

Суть в том, что Private Working Set Size (который показывается в колонке Memory в Task Manager) может меняться системой независимо от приложения
А если подробнее, сервис этот скорее всего SysMain (тот самый Superfetch). Память ему нужна для того, чтобы проанализировать всю историю обращений к файлам и построить план дальнейших действий. Запускает он эти вычисления когда видит, что система в Idle режиме (ресурсы практически не используются), а после того как заканчивает — ресурсы освобождаются.
дело в том, что на моем буке 1.5 памяти, стоит вин 7. и про нехватку памяти говорит сама винда. я убиваю этот процесс (он забирает до 800 мб) и вроде бы все нормально, но отваливается вайфай.
те не то что мне кажется что много, он реально забирает всю память.
«Нехватку памяти»? В смысле pagefile отключен при полутора гигабайтах памяти? Это зря.
pagefile есть, всплывает окошко с сообщением: windows недостаточно памяти
Насколько я помню, оно всплывает когда система вплотную приближается к Commit Limit (приблизительно суммарный размер физической памяти и пейджфайла).
Что у Вас вот здесь:
в данный момент 1800/2550. но аптайм небольшой, 16 часов.
Ну 2.5 гига должно быть достаточно для большинства простейших задач, но применять в фотошопе тяжелые фильтры не стоит :-)
Зависит оно в основном не от аптайма, а от того, какие приложения запущены.
Можно увеличить размер пейджфайла, но при малом количестве физической памяти и высоком Commit Charge (сколько коммитят отдельные приложения можно посмотреть в колонке Memory — Commit Size в таск менеджере) будет очень много своппинга, зато все по крайней мере будет работать.

Вопрос не по существу: не думали над покупкой дополнительной памяти?
никакого фотошопа, мой старичек при большой нагрузке греется и выключается.
все что на нем есть это постоянная раздача торрентов, браузер хром (я его закрываю, он работает не всегда), удаленный рабочий стол. Иногда смотрю фильмы (не хд).
Вначале вин 7 работала на 512 метрах (тормоза были только при открытии 5-6 окон), потом добавил гиг (к сожалению больше 2 гигов мой бук не потянет)
Винда поломанная, я вообще грешу на это. а больше даже не на винду а на сам кряк.

Итого: список моих задач — постоянно крутится торрент клиент, периодически серфинг, фильмы, удаленный рабочий стол. после аптайма в несколько дней разрастается один из системных процессов. никакой дополнительной нагрузки нет.
Sign up to leave a comment.

Articles