В сеть попали некорректные сообщения в эху oldpc.51t.ru. Моё расследование показало, что эта эха есть только у hugeping и shaos.

Проблем тут две. Почти всегда в сети была станция, которая содержала в себе весь архив ii с 2014 года, сначала у меня, потом alicorn, потом lessmore.pw (у него, кстати, можно базу взять?). И сообщение, принадлежащее двум эхам, может сорвать им крышу, в любом случае не будет ничего хорошего.

Вторая: эха в самом сообщении должна совпадать с фактической, а тут в сообщении будет одна, а текущих - две. Тоже проблема.

Надо снять эху с фетча и вычистить некорректные сообщения. Либо грохнуть у обоих и восстановить из актуального архива, в неё давно не писали.

А какая сейчас вообще схема роутинга, кто кого фетчит?

И есть ли у кого архивы, кроме аликорновского? В нём 46 тыщ сообщений, а у меня много лет назад в архиве было уже 87 тыщ. Откуда вообще взялась old.pc, в аликорновской базе такого нет.

На huheping всё чисто - он из новых мессаг создал новую эху old.pc, а старая oldpc.51t.ru как содержала 32 сообщения так и содержит

Для разрешения проблемы надо просто убить old.pc на hugeping и всего делов: https://hugeping.tk/old.pc/

old.pc взялась с веб-архива странички http://p2.51t.ru и её нигде больше нет - только у меня...

> И сообщение, принадлежащее двум эхам, может сорвать им крышу, в любом случае не будет ничего хорошего.

> Вторая: эха в самом сообщении должна совпадать с фактической

если всё настолько серьёзно, то незамедлительно нужно сделать 2 вещи:
1) чётко прописать алогритм хеша (конверсия небуквенных символов в A и z без всяких "например" и "лишь бы было уникально");
2) запретить редактирование сообщений если они уже приняты сервером (ибо это сломает сходимость хеша);
из вышесказанного вытекает ещё одно требование к узлам - проверять все входящие сообщения на совпадение хеша (по чётко прописанному в стандарте алгоритму) для отбрасывания всего, что не сходится (а оно не сойдётся если имя эхи не то или получателя/отправителя исправили или текст покоцался)

https://hugeping.tk/u/e/oldpc.51t.ru

oldpc.51t.ru
73zlBKu8621aATH5SkH4
y7DFYDMApBrme9nhehVX
2XvYZ97i4I4mh1CQAU3G
6xlVJD05JIWxAc9DFdGa
O0nLmhAwM7ue2cUhUWMG
J9L2ZQFWRn9EO1PBopYK
oDqUfLHkbgx4nGE6cp4y
qD3xqOMALnhxXKiFkhi6
oW3z5qndxnIvySKBNCBs
OVPnZYUf9PYuFI2QESvT
fA0gfNf3o2IlHeLDg5Gt
vKLfirFV6cHKKcJH32rM
JwrRKyFrGau1TUj6dVI2
6z8ZvS6BiSD55Ik0uK6W
INM8dh0b9QWYolnOfFQx
YK72VF2WFxjbEuAbtDA0
c9sgQ8wLlmG6T1uK2kA8
VuQd1IXcVIVqb3ITifXZ
oEzDIsA5hy8Enxc0ZI3f
bkawVubpvKvz6debphFg
c74ii0Y4GynI6ZKmX9tE
fTlZz38CgMzhTp3er0or
Oiu4QOAAGuyF07nZOLc3
AbCUUHla1UlxpsP3oQAg
FlAbPqmSDcpzpdVqdIha
dp9LwyLJWBjnWQLN0lL2
pIegZwE3tUMlzP1YNe9x
VFDBu0HLrcREUWm9qfq7
AXCXyAwUTLec0PqhdmKU
AibFl1PPdBh2GJW9WDSi
64Sv1pXU8iZey6xKvPJG
2YxOzvz1QGJZFwDMTNk6

всё как было - ничего нового
так что ненадо разводить панику...

интересно, каким образом он её создал, по какому принципу?

тогда всё проще

нет, не надо, иногда сообщение на станции нужно подправить в последний момент, это бывает нужно. сверять хэши не нужно. просто у каждого нового сообщения всегда должен быть уникальный хэш, не повторяющий старый.

поскольку у меня её тоже больше нет, она действительно есть только у тебя :)

ок, заберу, почищу ненужное, прокомментирую/исправлю устаревшее и сконвертирую всё в retro.talks. а свою old.pc убью. в общем, никто не пострадал, но непонятно, почему станция Петра поместила их в old.pc, если ты проставил там новую эху внутри

зачитался, сижу восстанавливаю games.utf по исходнику инсталлера. восстановил :)

а ещё есть какие-нибудь архивы?

короче я так понимаю, repto проще всего будет менять постфактум, чтобы не городить огороды, поэтому хэши в результате всё равно не сойдутся. ну да ладно.

> интересно, каким образом он её создал, по какому принципу?

видимо по принципу, что имя эхи другое он и начал кидать сообщения в эту другую эху, а так как её ещё небыло, он её создал - по сути это дыра т.к. таким образом можно через ограниченный фетч заслать сообщения в другие эхи, которые не фетчатся, даже локальные...

> нет, не надо, иногда сообщение на станции нужно подправить в последний момент, это бывает нужно.
> сверять хэши не нужно. просто у каждого нового сообщения всегда должен быть уникальный хэш, не повторяющий старый.

ну на самом деле одно другому не противоречит - надо просто ввести понятие draft для сообщений которые только что приняты сервером - их надо просто попридержать какое-то время (5 минут?) прежде чем флаг draft снимется и сообщение станет доступно для фетчинга с других узлов и если юзер вдруг решил исправить draft, то надо УБИТЬ старое сообщение и СОЗДАТЬ новое с ДРУГИМ msgid !!! т.к. старое сообщение ещё не ушло, то о такой подмене никто не узнает, а если сообщение уже ушло (т.е. флаг draft снялся), то всё - исправлять это сообщение уже больше нельзя иначе в системе будут циркулировать сообщения с одним и тем же msgid, но разным содержимым - поэтому и надо сверять хэши при фетче (хотя бы чтобы защититься от коррапнутых при хранении или передаче сообщений)

P.S. тот же механизм можно использовать для модерирования сообщений от новых поинтов - они будут в сосотянии draft пока модератор узла их не одобрит...

> короче я так понимаю, repto проще всего будет менять постфактум, чтобы не городить огороды, поэтому хэши в результате всё равно не сойдутся. ну да ладно.

ну почему? если перекодировать сообщения в хронологическом порядке, то можно и repto подменить т.к. repto будут ссылаться на msgid который заведомо уже был и уже сконверчен - т.е. просто подменяем и всё

> а ещё есть какие-нибудь архивы?

я в декабре 2021 года качнул database.tar.xz с alicorn и сейчас поднял на локальном узле потихоньку вытаскивая оттуда полезное (например python.15 уже вытащил)

ii.stat почему то был только на spline-online.ru, а в архиве alicorn его небыло - тоже стянул...

> но непонятно, почему станция Петра поместила их в old.pc, если ты проставил там новую эху внутри

на тот момент когда он фечнул в этих сообщениях в качестве эхи стояла именно old.pc - я потом пробовал ставить oldpc.51t.ru, а потом обратно всё откатил, но это всё уже никуда не попало...

Мне лень так конвертить :)

Я сконвертил но не выложил так как ушёл, приду выложу проверишь

А ну тогда вообще ничего не страшно, это валидная эха old.pc

Там нет многих эх которые я даже на память помню.

У кого-то он в любом случае есть, надо только найти его...

> А ну тогда вообще ничего не страшно, это валидная эха old.pc

ну просто эти сообщения для old.pc пришли на запрос эхи oldpc.51t.ru и я уже понял, что это было нехорошо...

>> А ну тогда вообще ничего не страшно, это валидная эха old.pc

shaos> ну просто эти сообщения для old.pc пришли на запрос эхи oldpc.51t.ru и я уже понял, что это было нехорошо...

Да, именно. Видимо мне придётся добавить валидацию для такого случая, чтобы рассчитывать на ошибки тех, у кого забираю. А пока я откатил базу на вчерашнее состояние.

hugeping> Да, именно. Видимо мне придётся добавить валидацию для такого случая, чтобы рассчитывать на ошибки тех, у кого забираю. А пока я откатил базу на вчерашнее состояние.

Хотя сделать это, не так-то просто. Ведь когда я формирую список id он уже отвязан от эх... Мнда... Ладно, подумаю на досуге.

Насчёт запретить редактировать.

Я этого делать не буду, моя нода служит мне чисто утилитарно для моего проекта. Мне важно уметь редактировать сообщения. При этом не создаётся много сообщений, ID остаётся тем-же самым, но база хранит всю историю сообщений (но не отдаёт их наружу, всегда только последнее). Так же есть личные сообщения, но они тоже локализованы моей нодой.

Кроме того, я могу заниматься цензурой, например, вырезать мат из сообщений без их удаления. Но опять таки, это всё остается в рамках моего узла. По факту, таких случаев было, может быть 1-2 за всю историю, но они были.

Если это кого-то напрягает, снимайте фетч. Ну и я сам могу снять по просьбе.

Это к вопросу о важности тэгов. Вообще обычно фетчеры ориентируются на то, какую эху забирают, но фетчер Петра, видимо, ориентируется на тэг. Поэтому получилась совершенно валидная эха old.pc, такая же, как оригинальная.

> Я этого делать не буду, моя нода служит мне чисто утилитарно для моего проекта. Мне важно уметь редактировать сообщения. При этом не создаётся много сообщений, ID остаётся тем-же самым, но база хранит всю историю сообщений (но не отдаёт их наружу, всегда только последнее). Так же есть личные сообщения, но они тоже локализованы моей нодой.

я тоже иногда поправлю запятую там, и мне не страшно, что уйдёт неидентичный файл. на худой конец могу попросить просто грохнуть у всех сообщения и скачать их по новой. тут особо ничего не надо, изобретать чего-то там.

iiii> Это к вопросу о важности тэгов. Вообще обычно фетчеры ориентируются на то, какую эху забирают, но фетчер Петра, видимо, ориентируется на тэг. Поэтому получилась совершенно валидная эха old.pc, такая же, как оригинальная.

Не совсем понимаю, что за тег? Я просто забираю список id по всем эхам а потом забираю эти сообщения. Распаковываю и помещаю их в соответствии с содержимым в базу.

я для того и формат такой делал, чтобы было какие сообщения к какой эхе, а не все скопом :)

да это единичный момент. всё равно мы же не фетчим что-то постороннее. для постороннего я бы вообще отдельную станцию поднимал, а потом уже с неё сам фетчил.

iiii> да это единичный момент. всё равно мы же не фетчим что-то постороннее. для постороннего я бы вообще отдельную станцию поднимал, а потом уже с неё сам фетчил.

Я тоже считаю, что проблемы особой нет. А стандартов - чем меньше, тем лучше :)

shaos, проверь с меня эху retro.talks.test

я там потом чёнить причешу, чёнить поудаляю и скорее всего просто в лоб переименую в retro.talks и смержу с текущей

вообще надо как-нибудь ревизию сети провести на предмет эх, где эха не совпадает с тэгом

я, если соберу все сообщения со всех текущих станций, проверю

> shaos, проверь с меня эху retro.talks.test

Вроде ок выглядит - Re сообщения ссылаются куда надо

Правда в одном сообщении в тексте осталась ссылка на несуществуюзщий msgid ( см. http://ii.blcat.ru/AVLUW1VuKb0T81PYx9rM )

И вот тут http://ii.blcat.ru/Iis8J50kYDLEJN0LMyRf наверное надо заменить линк на несуществующий club.syscall.ru (сейчас это club.hugeping.ru) - но это наверное мелочи, если гнаться за исторической аутентичностью, то наверное пусть остаётся как есть...

я себе пишу всякие такие проверялки на сях

лежат на гитлабе

https://gitlab.com/shaos/iii-php/-/tree/master/native-utils?ref_type=heads

например с помощью iii-check я проверял корректность эх ii://python.15 и ii://ii.stat прежде чем себе перетащить (там в итоге надо было переставить кое-какие сообщения, чтобы всё было в хронологическом порядке) - корректность тэга оно тоже проверяет...

> Правда в одном сообщении в тексте осталась ссылка на несуществуюзщий msgid ( см. http://ii.blcat.ru/AVLUW1VuKb0T81PYx9rM )

Всё понятно - этот несуществующий msgid существует на hugeping в эхе std.hugeping https://hugeping.tk/TF9RuFRon9u7ps9Owka3 и текст был перепостчен в oldpc.51t.ru как ii://FlAbPqmSDcpzpdVqdIha

P.S. Я гляжу беседа там в oldpc.51t.ru продолжается и я её продолжаю себе затягивать ;)
https://sprinternet.io/iii-web.php?echo=oldpc.51t.ru

С исторической ценностью ничего не случится, потому что оригинальные сообщения никуда не денутся. Вообще, смысл цифровых эх был в том, что они периодически отправляются в архив. А проблема в том, что сейчас такого архива нет.

msgid ведёт на обзор план9, но в эхе std.hugeping. я её потом перекопировал, можно изменить ссылку и на него. сейчас мы заморозим oldpc51, потому что она снова ожила, и я там поправлю, games.utf тоже перевыложу и ссылку на неё поправлю

кроме того у меня есть идея собирать все msgid со всех станций, и если там есть такое сообщение, то перенаправлять на них (а если будет архив, то сразу на него)

ещё неплохо бы возродить идею перекатываемых болталок ни о чём, а то сейчас только idec.talks живая. я у себя на станции потом сделаю talks.24

> я там потом чёнить причешу, чёнить поудаляю и скорее всего просто в лоб переименую в retro.talks и смержу с текущей

а что будешь делать с ii://oldpc.51t.ru которая продолжает жить своей жизнью на hugeping.tk и соответственно у меня?

а какая разница. можно в архив отправить, можно оставить, ничего не изменится. если там будут что-то постить, буду перекидывать в retro.talks. а там уже на месте разберёмся.

свои запланированные сообщения про sarge я точно буду пулять в retro.talks

nastene-retro я буду выпускать уже с полным архивом retro.talks

ИМХО болталка это зло ибо болталка ни о чём очень быстро превращается в болталку о чём-нибудь конкретном, на что у людей есть разные взгляды, что может триггернуть кого-нибудь и затем начинается взаимные метания какашками, обзывания, мат, а также обещание найти и покалечить собеседника (я знаю о чём говорю т.к. админю phpBB форум более двух десятков лет)...

всегда была такая болталка, там im.1407, im.1408, потом pipe.2032, и она всегда генерила трафик

ну последние годы это не так - если посмотреть внутрь pipe.2032, то можно обнаружить, что в 2024 году там ничего небыло, а в 2023 было 4 чтоли темы - и всё...

так эха никуда и ни с кем не ходила, надо возрождать. но нужны новые пойнты, с лора пока никто не пришёл, надо продолжать движуху

> кроме того у меня есть идея собирать все msgid со всех станций, и если там есть такое сообщение, то перенаправлять на них (а если будет архив, то сразу на него)

А небыло мыслей про распределённое хранилище объектов, чтобы небыло замыкания на один узел - держатель архива? Я это озвучивал как идею развития ii/IDEC в декабре 2021:

ii://xDT61Ukip7E064VjCjt4

ну идея была что крупные станции хранят архивы, кроме того можно скидывать их на какой-то сторонний хостинг. достаточно просто хранить базы msgid и перекидывать на нужные станции.

По тем пунктам:

1. Цель остаётся максимально простая реализация на любом языке программирования. Поэтому к версии 0.3 я отказался от zlib, если что пусть лучше сервер использует gzip-сжатие. Поэтому и замена символов в base64 вместо base58 - base64 есть везде.

3. msgid задача быть уникальным, то что он может не совпадать с хэшем, и то что иногда сообщения могут редактироваться, была заложена изначально.

5. Изначально в ii были и бинарные файлы, и файлы с разметкой textile, я от всего этого отказался ради простоты.

6. ЮЮКи в фидо. Я об этом думал, но это вообще лишнее, лишний трафик в простой сети, всё это должно реализовываться внешними средствами а не ходить по эхам.

7. В принципе, для чего-то подобного и резервировалось поле addr. У меня даже были реализации, где оно как-то так использовалось. Но особо это не нужно, разве что, в случае роста сети, делать там идентификатор для реализации NETMAIL (как я изначально и планировал, если потребуется), но пока там просто отпечаток станции.

8. Для этого изначально была система колец. Идеи все фетчатся со всеми не было (кстати, кто-нибудь всё таки скажет схему роутинга?). Сначала базовое кольцо, большие станции, далее кольца поменьше. Просто сеть никогда не разрасталась до таких масштабов, чтобы это использовать, но всё подобное было заложено изначально, расписано в доках. :)

shaos> ИМХО болталка это зло ибо болталка ни о чём очень быстро превращается в болталку о чём-нибудь конкретном, на что у людей есть разные взгляды, что может триггернуть кого-нибудь и затем начинается взаимные метания какашками, обзывания, мат, а также обещание найти и покалечить собеседника (я знаю о чём говорю т.к. админю phpBB форум более двух десятков лет)...

на tgi я могу писать только сюда и вроде бы в эху по zx spectrum

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

> на tgi я могу писать только сюда и вроде бы в эху по zx spectrum

ну idec.talks не совсем болталка, а очень тематическая эха про обсуждение деталей функционирования ii/IDEC сети :)

болталка нужна

а ещё никто так и не сказал, можно ли связаться с Difrex, чтобы получить архивы

и ещё никто так и не сказал, кто сейчас кого фетчит, какой роутинг. я фетчу idec.talks с hugeping и habr.rss и lopennet.rss с spnet, но эхи инконсистентные

Понятно - спасибо за развёрнутый ответ! :)

В официальных доках нету ничего ни про кольца, ни про zlib, но я встречал обрывки обсуждений в архивных эхах - надо будет всё перечитать.

Для автоматического построения схемы роутинга я предлагал расширение стандарта при котором каждая станция имеет у себя файл node.json с описанием станции и что откуда фетчится - если каждый узел будет иметь такой файл (мой имеет), то автоматическое построение топологии сети становится тривиальной задачей:

https://sprinternet.io/iii/node.json

Надо туда добавить ii.blcat.ru и ещё в обозримом будущем я хочу и свои фетчеры сделать работающими по установкам из этого файла...