Читать книгу Гантова зебра ч2 (Греп Пайп) онлайн бесплатно на Bookz (3-ая страница книги)
Гантова зебра ч2
Гантова зебра ч2
Оценить:

4

Полная версия:

Гантова зебра ч2

В нашем случае один физический сектор соответствует восьми последовательным логическим секторам по 512 байт. С точки зрения компьютера доступны восемь адресных единиц, а с точки зрения физической организации — одна более крупная единица. Поэтому особое значение приобретают границы выравнивания. Запись, которая затрагивает лишь часть физического сектора, в определённых обстоятельствах может потребовать предварительного чтения и последующей перезаписи более крупного блока. Здесь мы только объясняем возможный принцип; реальные эксперименты записи на исследуемом томе не проводились.

Для чтения также необходимо разделять величины. Запрос 4096 байт в наших опытах — не обязательно команда «прочитать один физический сектор» на уровне электроники. Он проходит через Windows, USB–SATA-мост и внутреннюю реализацию HDD. В идеальной модели 4096 байт совпадают с объёмом одного физического сектора. Но временные измерения такого запроса включают много других затрат.

А ещё рядом существует слово «кластер» — единица выделения места файловой системой. Кластер тоже может быть равен 4096 байтам, но это не делает его физическим сектором. Размер кластера задаётся томом и должен проверяться отдельно; одинаковая цифра на двух этажах не означает одинаковую сущность.

Такая путаница особенно распространена, когда люди говорят: «Я проверил диск блоками по 4K». Нужно спросить: размер чего именно? Запроса приложения, логического сектора устройства, физического сектора на носителе, страницы памяти или кластера NTFS? Часто эти числа совпадают, но смысл каждого остаётся своим.

Рисунок 2.3. Принцип режима 512e на исследуемой модели: восемь логических блоков по 512 байт представлены поверх одного физического сектора размером 4096 байт.

2.6. От LBA к разделу, от раздела к NTFS

Когда новый накопитель подключают к Windows, пользователь часто видит букву диска и думает, что она обозначает сам физический прибор. Но буква T: в нашей лаборатории относится к логическому тому, а не к механике головок. У одного накопителя может быть несколько разделов, у нескольких устройств — более сложные схемы хранения, а некоторые тома вообще организованы не так, как привычная единственная область на одном HDD.

Чтобы увидеть разницу, представим диск как длинную линию нумерованных LBA. На этой линии может быть выделен раздел. Начало раздела имеет собственное смещение относительно начала устройства. Файловая система, например NTFS, работает уже с пространством своего тома и управляет тем, какие кластеры заняты файлами, а какие свободны. Номер кластера на томе не обязан совпадать с номером LBA устройства.

В простом случае, если раздел начинается с некоторого логического сектора и кластер равен восьми секторам по 512 байт, положение конкретного кластера можно выразить через смещение раздела и номер кластера. Но это будет вычисление логических адресов, а не координат на поверхности пластины. К тому же простая формула предполагает обычный том без дополнительных слоёв виртуализации и перераспределения.

Именно поэтому лабораторные обозначения нужно читать аккуратно. «HGST Disk 2» — номер физического устройства в Windows во время измерений. «T: NTFS» — буква и файловая система тома. «LBA-позиция 50 %» — участок диапазона логических адресов устройства, если программа построила его именно таким способом. Эти обозначения помогают воспроизвести опыт, но не дают координату дорожки на реальной поверхности.

Такой взгляд объясняет старую на первый взгляд странность. Обычный пользователь без труда может переименовать папку, не перемещая содержимое всех файлов по магнитным дорожкам. Потому что имя и место хранения учитываются разными структурами. Точно так же буква тома может измениться, тогда как сами данные не обязаны физически двигаться. Система адресации устроена именно для того, чтобы отделить удобное для человека от сложного для оборудования.

Для наших исследований это означает, что необходимо точно называть уровень каждой операции. Чтение raw-адреса физического накопителя, чтение файла по имени и запрос карты кластеров — разные действия. Ни одно нельзя без дополнительных проверок заменять другим. В реестре экспериментов они выделены отдельно не ради бюрократии, а ради точности результатов.

Рисунок 2.4. Шесть уровней, разделяющих имя фотографии и физическую запись. Стрелки обозначают логические преобразования, а не прямую линию к одной магнитной точке.

2.7. Что NTFS знает о файле, а чего не знает

Пора познакомиться с файловой системой поближе. NTFS — не просто способ прикрепить букву к накопителю. Она ведёт учёт файлов, каталогов, атрибутов, занятых областей и других сведений, которые делают том удобным для работы. Одной из центральных структур NTFS является Master File Table — MFT, главная файловая таблица. В ней хранятся записи о файлах и их свойствах.

Когда мы открываем фотографию, операционной системе нужно не только прочитать массив байтов. Сначала она находит запись о файле, определяет права доступа, узнаёт его размер и сведения о размещении данных. Если содержимое велико, оно обычно хранится вне самой записи MFT — в кластерах тома. Для некоторых очень небольших потоков данные могут размещаться непосредственно в атрибутах записи MFT. Поэтому не для всякого файла существует обычная карта внешних экстентов.

Здесь кроется важный практический вывод. Название файла и список кластеров — разные сведения. Если переименовать архив «Лето 2015» в «Семейные снимки», файловая система может изменить метаданные, не переписывая все мегабайты архива. И наоборот: при изменении или перемещении содержимого пользователь может сохранить прежнее имя, а распределение кластеров поменяется.

Файловая система может быть организована таким образом, что файл занимает несколько последовательных участков. Это не обязательно повреждение. Иногда свободное место выделяется частями, иногда файл постепенно увеличивается, иногда доступные диапазоны разделены другими файлами. Для владельца домашнего архива всё это может происходить незаметно. Главное — данные читаются, а система знает, откуда брать следующую порцию.

Именно на этом уровне рождается понятие фрагментации. Оно говорит, что не все кластеры потока файла составляют один сплошной непрерывный участок тома. Но фрагментация в терминах NTFS ещё не является прямой фотографией физического расположения магнитных участков. Она представляет разрывы в логическом пространстве тома. Наш HDD дополнительно преобразует LBA во внутренние действия.

Полезно помнить и о безопасности архива. Файловая система помогает находить содержимое, но не заменяет резервного копирования. Исправная таблица файлов не спасёт от полного отказа электроники накопителя, а сохранность магнитных областей не гарантирует, что повреждённые метаданные позволят без труда восстановить имена и структуру каталогов. Ценные фотографии и проекты должны иметь независимые копии.

2.8. Кластеры, VCN и LCN: два набора номеров

Предположим, у нас имеется файл из двенадцати кластеров. Внутри файла они логически идут по порядку: сначала первый, затем второй, третий и так далее. Для описания такой последовательности используется VCN — Virtual Cluster Number, виртуальный номер кластера в пространстве файла или его потока. Он отвечает на вопрос: «На каком месте внутри этого файла находится нужная порция?»

Но том NTFS состоит из множества кластеров, занятых разными файлами. У кластеров тома есть собственные номера — LCN, Logical Cluster Number. Они помогают ответить на другой вопрос: «Какой кластер на этом томе выделен под соответствующую часть файла?» Поэтому при чтении большого файла файловой системе необходимо сопоставить его VCN с LCN.

Для иллюстрации пусть VCN 0, 1, 2 и 3 соответствуют LCN 100, 101, 102, 103. Следующие VCN 4–7 окажутся на LCN 450–453, а последние VCN 8–11 — на LCN 900–903. Внутри самого файла нет дырки: он читается как одна последовательность из двенадцати кластеров. Но на томе они находятся в трёх несмежных логических участках.

Каждый непрерывный участок сопоставления называется экстентом. В нашем примере экстентов три. Если вместо двенадцати кластеров речь идёт о большом видеофайле, экстенты могут состоять из тысяч и миллионов кластеров. Иногда файл представлен одним крупным экстентом; иногда — многими. Точно узнать его карту можно только у файловой системы при наличии соответствующего доступа и применимости метода к данному потоку.

Именно в этом состоит смысл Windows-операции FSCTL_GET_RETRIEVAL_POINTERS, которую мы применяли при исследовании метаданных. Она позволяет запросить сопоставление VCN и LCN для файла. Но её результат не превращает LCN в цилиндр, номер головки или магнитный домен. Более того, разреженные и некоторые сжатые данные могут содержать логические области, для которых обычная физическая выделенная область отсутствует. Такие случаи требуют отдельной обработки.

На уроке эта разница часто кажется пустой терминологией: VCN, LCN, LBA — одни буквы. В исследовании она фундаментальна. VCN относится к позиции внутри файла. LCN — к позиции внутри тома. LBA — к блоку, адресуемому накопителем. И никакой из этих номеров сам по себе не сообщает точную магнитную координату. Мы будем повторять эту мысль не ради сложности, а чтобы потом правильно разобрать реальные результаты.

Рисунок 2.5. Пример файла из двенадцати кластеров: непрерывная внутренняя нумерация VCN сопоставлена с тремя раздельными экстентами LCN. Все числа на схеме придуманы для объяснения, это не данные наших экспериментов.

Таблица 2.1. Похожие слова описывают разные уровни. Не следует переводить между ними номера без знания параметров раздела, тома и внутренней трансляции накопителя.

2.9. Пример на обычной фотографии: от байтов к адресам

Чтобы все предыдущие определения не остались абстрактными, возьмём небольшой условный пример. Пусть изображение занимает ровно 1 МиБ. Это не один миллион байтов, а 1 048 576 байт. Если файловая система выделяет кластеры по 4096 байт, под такое содержимое понадобится 256 кластеров, не считая иных особенностей метаданных. Если диск предоставляет логические блоки по 512 байт, то объём этих данных равен 2048 таким блокам.

Однако эта арифметика отвечает только на вопрос об объёме. Она не говорит, сколько раз головка изменит дорожку, каков будет порядок физических операций, какие данные уже лежат в кэше и сколько потребуется служебных чтений. Даже если все 256 кластеров представлены одним экстентом, наша программа не получит автоматически гарантии, что доступ идёт вдоль одной физической дорожки без скрытых переходов.

Представим теперь, что снимок вместе с другими файлами лежит в папке «Поездка». Открывая его, файловая система сначала ищет сведения о файле, затем получает карту его содержимого, а устройство обрабатывает команды к блокам. В каком-то месте на этом пути может возникнуть ожидание. Например, нужные служебные сведения могут оказаться в памяти операционной системы, но сами блоки изображения — не оказаться; или, напротив, нужный участок данных уже был прочитан ранее. Поэтому два открытия одного файла не обязаны давать одинаковое время.

В учебных примерах полезно рисовать одну стрелку от имени файла к сектору. Но инженерная картина должна включать развилки. Кэш, сжатие, шифрование тома, другие файлы, особенности интерфейса и служебные действия диска способны усложнить путь. Для обычной фотографии это не беда: человек видит результат. Для лаборатории это перечень факторов, которые нельзя забыть при интерпретации миллисекунд.

Если хочется получить честный замер времени чтения именно файла, следует измерять выбранную программную операцию и фиксировать её условия. Если хочется проверить профиль чтения по зонам LBA, лучше работать с диапазонами адресов накопителя, понимая, что полученное время относится ко всему тракту ввода-вывода. А если вопрос заключается в реальном пути головки, потребуются данные о внутреннем состоянии, которые обычная программа не выдаёт. Одно слово «чтение» здесь скрывает три разных задачи.

Пример, а не измерение. Расчёт «1 МиБ = 256 кластеров по 4 КиБ» справедлив только при принятом размере кластера. Он не является утверждением о параметрах конкретного тома T:, которые необходимо проверять отдельно.

2.10. Почему близкие LBA могут вести себя неожиданно

Теперь вернёмся к нашей будущей серии опытов. Представим, что программа последовательно читает два блока с соседними логическими адресами. По простой модели поток должен быть удобен для диска: контроллеру известен порядок запросов, а соседние данные часто удаётся обслуживать эффективнее, чем случайно разбросанные. Но из этой общей тенденции не следует обещание одинаковой задержки на каждой операции.

Во-первых, разные уровни кэша могут сделать некоторые ответы намного быстрее остальных. Когда операция завершается за доли миллисекунды, у нас нет достаточного основания говорить, что за это время головка перескочила между магнитными дорожками. Возможно, необходимое содержимое было доступно из ранее подготовленной памяти. Чтобы разбираться в таких случаях, нужны специально спланированные независимые адреса, контроль повторений и анализ распределения, а не одна средняя цифра.

Во-вторых, накопитель может выполнить собственную внутреннюю работу, которую программа не видит как отдельное действие. Отдельное чтение может задержаться из-за восстановления данных, ожидания состояния устройства, управления очередью команд или других решений контроллера. Windows и USB-мост тоже вносят задержки. Экспериментатор видит начало и конец своей операции, но не каждую микроскопическую причину внутри неё.

В-третьих, адреса LBA могут находиться в разных областях логического пространства. На традиционном HDD это нередко связано с изменением эффективной скорости последовательной передачи, но точное соответствие физическим зонам в современных устройствах является внутренним делом производителя. Даже когда общий профиль скорости похож на ожидаемую картину внешних и внутренних дорожек, в деталях он может быть немонотонным.

Вот почему на следующем этапе нам понадобятся сначала опыты № 001 и № 002, показывающие, как меняется полезная скорость в разных логических областях диска, и только затем опыт № 003 с близкими и далёкими запросами. Без предварительного понимания адресации такое измерение легко назвать «картой головки» — но оно ею не является.

Мы ещё увидим, что порядок запросов бывает важнее одного расстояния. Упорядоченные и перемешанные трассы опыта № 008 показали существенное отличие полного времени чтения, однако в эксперименте были различные наборы адресов и присутствовали необычные стартовые задержки. Эти обстоятельства не позволят приписать всю разницу одному физическому перемещению. Так, постепенно, мы учимся спрашивать диск точнее.

2.11. Зачем здесь нужна «Гантова зебра»

Мы подошли к самому рискованному и одновременно самому любопытному месту книги. Первоначальная идея «Гантовой зебры» связана с группировкой и чередованием. Можно нарисовать крупные полосы данных, разделить их на участки и описать последовательность чтения так, чтобы число логических переходов было удобно рассчитывать. На временной диаграмме это похоже на разноцветные полосы, где одни операции располагаются одна за другой, другие — чередуются.

Такой рисунок полезен для мышления. Он позволяет сравнивать алгоритмы на уровне модели: какой объём данных читается последовательно, как часто запрос переходит в новый диапазон, сколько раз возвращается к уже посещённой области. Для планирования программы этот язык может оказаться нагляднее абстрактной последовательности огромных чисел LBA.

Но схема должна оставаться честной. Если две оранжевые полосы нарисованы рядом, их нельзя автоматически объявлять соседними магнитными секторами. Если линия на диаграмме становится короче, нельзя заключать, что каретка HDD прошла такое же меньшее расстояние. Логическая оптимизация и физическое размещение — не одно и то же. Польза от предложенной схемы требует отдельного сравнения с корректной исходной системой, одинаковыми данными и воспроизводимыми измерениями.

Для этого необязательно сразу писать собственный драйвер. Прежде следует определить, что именно можно улучшить: уменьшить число мелких запросов, упорядочить чтение файлов, сократить накладные расходы каталогов, уменьшить число переходов в пространстве LBA? Эти задачи частично доступны на уровне обычных программ. Но если целью станет управлять точным расположением физических магнитных областей, то драйвер без доступа к внутренней прошивке и трансляции диска не станет магическим инструментом.

Поэтому вторая часть книги не обещает создать «новую физику диска». Она ставит более скромную задачу: отделить полезную рабочую модель от аппаратных фактов и определить, в каком именно масштабе есть смысл говорить о чередовании. Магнитные домены существуют на поверхности. Дорожки существуют как физическая организация. LBA — интерфейс. Кластеры NTFS — уровень файловой системы. А «зебра» — наш способ рассуждать об организации запросов и участков данных.

Чем яснее проведена граница между этими этажами, тем меньше риска обмануть себя красивыми графиками. И, наоборот, тем интереснее становится настоящий эксперимент: он способен подтвердить некоторые ожидания, разрушить другие и подсказать новые вопросы. В инженерии это важнее, чем заранее объявлять победителем понравившийся алгоритм.

Рисунок 2.6. Три разных изображения: авторское чередование, последовательность логических блоков и неизвестная по нашим замерам физическая магнитная карта. Вопросительные знаки — граница знания, а не пропущенные данные.

2.12. Что это означает для владельца домашнего архива

Теперь можно вернуться туда, откуда началась вся история, — к домашнему фотоальбому. Обычному человеку необязательно знать, где внутри HDD проходит конкретная дорожка с фотографией. Для него важнее, чтобы файл сохранился, копия была доступна и спустя годы фотографию можно было открыть. Но понимание уровней хранения позволяет избежать нескольких типичных ошибок.

Первая ошибка — путать «видно в проводнике» и «надёжно сохранено». Если файл отображается в папке, это означает, что файловая система смогла показать сведения о нём. Это ещё не проверка всех байтов содержимого и не гарантия, что накопитель сохранит работоспособность. Для семейных снимков важнее независимые копии, контроль их читаемости и, по возможности, сравнение контрольных сумм при переносе больших архивов.

Вторая ошибка — считать скорость USB-порта характеристикой магнитных дорожек. Быстрый интерфейс полезен, но не превращает механический HDD в SSD. И наоборот, медленный USB-мост может скрыть часть возможностей самого накопителя. Если внешний диск работает хуже ожидаемого, полезно начать с проверки подключения, кабеля, режима интерфейса и условий питания, а не с немедленной дефрагментации или вскрытия корпуса.

Третья ошибка — бездумно «лечить» любой медленный файл. На скорость влияют размер запросов, размещение кластеров, фоновые операции, кэш и состояние самого диска. При признаках аппаратных неисправностей дополнительные испытания способны увеличить нагрузку. В такой ситуации первоочередная задача — сохранить ценные данные, а уже затем заниматься диагностикой.

Четвёртая ошибка связана с будущей совместимостью. Исходный код программы десятилетней давности может легко читаться как текст, а готовая исполняемая программа — не запускаться в новой системе. Поэтому полезно хранить не только двоичный файл, но и исходные материалы, инструкции, сведения о формате и необходимые данные. Сохранность информации — это не только магнитные свойства носителя, но и возможность её правильно интерпретировать.

Наконец, пятая ошибка — чрезмерное доверие одному типу памяти. HDD хорош для вместительного архива, SSD удобен для рабочих файлов, оптический носитель может быть полезным дополнительным форматом, а облако — ещё одним местом копии. Правильная система хранения определяется не спором о «лучшем диске», а ценностью информации и тем, сколько независимых путей её восстановления остаётся у владельца.

2.13. Подведём итог: карта, которую мы видим, и карта, которую скрывает диск

В этой главе мы прошли путь в обратную сторону — от фотографии в папке до намагниченного слоя. Узнали, что название файла относится к уровню файловой системы, VCN описывает положение внутри потока файла, LCN — размещение кластеров на томе, а LBA — логический адрес устройства. Под ними находится контроллер HDD, который выполняет скрытое для обычной программы сопоставление адресов с внутренней организацией записи.

Теперь становится понятнее, почему крохотная магнитная область и гигабайтный архив не связаны прямой нарисованной линией. Между ними работает целая иерархия. Она сделала современные накопители удобными: пользователю достаточно открыть файл, операционной системе — передать команды, контроллеру — разобраться с деталями исполнения. Но за это удобство исследователь платит ограниченной наблюдаемостью.

На нашем конкретном HGST мы знаем паспортную организацию Advanced Format 512e, объём, скорость вращения и интерфейс. Мы можем программно измерять скорость и задержку, можем читать доступные метаданные NTFS, строить временные трассы и повторять опыты. Не можем только по этим измерениям восстановить достоверную карту магнитных доменов, секторов и фактических перемещений каждой головки. Любая схема, изображающая это как уже измеренный факт, была бы ложным упрощением.

Поэтому следующая глава начинается не с обещания сделать диск быстрее, а с первого проверяемого вопроса: изменяется ли скорость последовательного чтения при обращении к разным частям доступного диапазона LBA? Для этого мы сначала использовали пять логических зон, а затем двадцать одну. Посмотрим, зачем нужны оба шага, какие числа получили и где заканчивается их объясняющая сила.

Именно таким будет путь этой книги: понятный вопрос, ясная схема, честный программный опыт на настоящем магнитном диске и осторожный вывод. «Гантова зебра» при этом остаётся не легендой о чудесной записи, а поводом внимательнее разобраться в устройстве хранилища, которым мы пользуемся каждый день.

Мост к главе 3. Мы знаем, что поверхность HDD имеет дорожки и зоны, а программа видит LBA. Теперь измерим, как меняется наблюдаемая скорость по логическому пространству, не объявляя результаты прямой магнитной картой.

Глава 3. Почему один участок диска быстрее другого?

Опыты № 001 и № 002 — первые измерения на настоящем магнитном диске. Мы хотели увидеть, меняется ли скорость чтения при переходе по логическому пространству HDD. В итоге выяснили кое-что важное: измерительный тракт способен скрыть различия, которые мы надеялись обнаружить.

3.1. Пять фотографий, одна папка и один неожиданный вопрос

Представим домашний фотоархив. Фотографии из летнего путешествия лежат в одной папке, зимние — в другой, рядом находятся семейные видеозаписи. Пользователь видит названия файлов, даты и изображения. Но жёсткий диск получает запросы на чтение блоков с номерами. Для него не существует понятия «зима» или «отпуск». Он знает только, что требуется вернуть определённые байты.

На первый взгляд задача проста: если попросить накопитель прочитать одинаковый объём данных из разных частей его адресного пространства, можно увидеть, отличаются ли эти обращения по скорости. Допустим, на одном участке окажется быстрее. Возникает соблазн сразу решить, что головка находилась ближе к внешнему краю пластины, а на другом — к центру. Но в этом рассуждении пропущено несколько ступеней: от номера LBA до реального расположения данных, от команды программы до ответа диска и от механики до USB-интерфейса.

bannerbanner