На работе произошёл забавный случай во время отладки.

В какой-то момент работы с дебаг-прошивкой менялся файл /etc/passwd. Вернее, ссылка /etc/passwd ведущая в rw-область заменялась настоящим файлом /etc/passwd. И мы не понимали какой компонент это делает.

В итоге я решил просто поискать в бинарниках прошивки всё, что содержит строку "/etc/passwd".

Обнаружился elf-файл 'zellij' ( https://zellij.dev/ ) которого в прошивке быть не должно. Это разработчик положил для своего удобства. После запуска zellij действительно ссылка /etc/passwd заменялась файлом. Радости не было предела! Ведь zellij написан на Rust! Хотел тут же писать статью на эту тему (очерняющую Rust, естественно).

Но реальность оказалась прозаичней. Запуск zellij выполнялся скриптом с машины разработчика, скрипт помимо прочего делал по ssh sed на /etc/passwd (связано с особенностями удобства отладки прошивки). sed убивал ссылку, так как был запущен без параметра --follow-symlinks. То, что /etc/passwd находился в прошивке zellij - оказалось лишь совпадением.

Этот пример наглядно показывает пользу отладки, даже если она исходит из ложных предпосылок. Бывало у нас возникали споры с коллегами, когда я предлагал эксперимент не предоставляя гипотезу, которую эксперимент призван опровергнуть или доказать. Ведь правильная с виду идея состоит в том, чтобы сначала полностью проработать гипотезу, а потом уже делать эксперимент. Я с этим не согласен. Эксперименты в IT обычно дёшевы и приносят новые данные-улики которые в свою очередь могут вывести разработчика на верный след. Как в нашем примере, когда абсолютно ложная гипотеза стала толчком к исследованию, которое и привело к пониманию происходящего.

Так что отладка -- это в первую очередь практический навык. Конечно, со временем развитая на опыте интуиция позволяет делать "расследования" полностью "не выходя из кабинета". И такие случаи приносят максимальное удовлетворение. :) Но я уверен, что без долгих практических навыков эта интуиция не появится сама собой. Реальность оказывается всегда удивительней чем наши ожидания.