Battle Forum - Распределенные вычисления

Battle Forum (http://battlefox.rooty.ru/index.php)

- Программная - Windows (http://battlefox.rooty.ru/forumdisplay.php?f=24)

- - Распределенные вычисления (http://battlefox.rooty.ru/showthread.php?t=2510)

Распределенные вычисления

Цитата:

Итак, тема о распределенных вычислениях в целом и о конкретном проекте Folding@Home в частности.
Информация будет интересна как злостным оверклокерам, так и просто либителям посоревноваться с другими и при этом принести пользу в наш мир

Начну с того, что знает каждый из Вас.

Не секрет, что при типичной работе, например, в оболочке Windows GUI (Internet browser, офисные программы, и проч.) 99% всего рабочего времени процессор ПК попросту простаивает в ожидании ввода пользователем новых задач и понапрасну потребляет электроэнергию (а также впустую тратит своё и ваше время).

Если Вы в Windows NT/2000/XP, то для того, чтобы убедиться в этом воочию, нажмите комбинацию клавиш Ctrl+Shift+Esc и в окне Диспетчера задач убедитесь: 99% времени обычно принадлежит как раз процессу idle, он же Бездействие системы (один из вариантов перевода этого слова - "бесполезный").

Клиентское ПО большинства проектов РВ предлагает загрузить полезной работой процессор именно в это "бесполезное" время, т. е. выполняться оно будет вместо процесса "Бездействие системы" и приносить определённую пользу (например, целью его работы могут быть поиск лекарств против самых разнообразных болезней - рака, ВИЧ, туберозного склероза, малярии, респираторных заболеваний и пр., исследование белков, математических законов, человеческого генома, предсказание погоды и др.).

При грамотно написанном ПО, работе с компьютером это совершенно не мешает, поскольку у выполняемых модулей клиента самый низкий приоритет (low - с таким приоритетом по умолчанию не работает больше ни один процесс в Windows), и его инструкции выполняются только после всех остальных.

Для тех, кому кажется, что несмотря на низкий приоритет, клиент распределённых вычислений всё-таки влияет на "отклик" машины, замедляет её работу, организаторы многих проектов предусмотрели возможность выполнять работу только в режиме скринсейвера , то есть тогда, когда за компьютером, скорее всего, никто не работает. На мой взгляд, по крайней мере для проектов, с которыми мы работаем, этот вопрос неактуален, и лучше выбирать режим непрерывной работы клиента в периоды простоя процессора вместо режима скринсейвера, поскольку последний существенно менее производителен.
Также возможно установить режим работы отличный от 100%

Разумеется, чтобы работу делать, надо её откуда-то брать. А результат - отправлять обратно. Для этого клиент непосредственно или через другие машины должен иметь доступ к серверам проекта, расположенным в Интернете. В зависимости от проекта, это может генерировать как скромный трафик в 50 - 100 кб в сутки, так и многомегабайтный ежедневный поток данных. Естественно, мы стараемся выбрать проект из числа первых, ибо в России безлимитный высокоскоростной Интернет - пока нечто из области фантастики.

В последние годы стало как-то не принято вкладывать силы и душу в дело, которое не приносит того, что в определённых кругах именуется "лавэ". Не принято настолько, что есть такие люди, которые будут считать для себя постыдным "за так" помогать кому-то, пусть даже это не требует от них сколько-нибудь значительных усилий. Не мне их судить, наверное, я лишь хочу сказать Вам: не на таких людях держится мир.

Я участник команды TSC! Russia, которая уже многие годы занимается распределенными вычислениями в различных проектах. В данный момент наша команда активно поддерживает проект распределенных вычислений Folding@Home, а также пару дополнительных - Predictor@Home и Rosetta@Home, для тех, кто по каким-то причинам не может или не хочет поддержать основной проект. Задача всех трех проектов - исследование белков, механизма их формирования (сворачивания в пространственную структуру - фолдинга), тесно увязанного с различными заболеваниями, вызванными нарушениями строения или формирования белков. Проекты несколько отличаются друг от друга по целям, и имеют разное счётное ПО. Путем голосования команда выбрала приоритетный проект. Им стал Folding@Home.

Участие в проекте в сосаве команды - это отличный способ посоревноваться с прочими людьми в вычислительных мощностях Ваших компьютеров, а также проверить их на выносливость (качество разгона). Все соревнование предствавлено в виде турнирной таблицы, определяющей результаты расчета.

В общем, предлагаю всем желающим присоединиться к лучшей российской (де-факто интернациональной ) команде. Кстати, число участников в нашей команде на данный момент насчитывает 1200 человек (и это только в проекте folding home)
Всего в проекте folding home участвует порядка 600000 человек.
http://ru.wikipedia.org/wiki/Folding%40home - описательная часть
http://tsc.overclockers.ru/ - наш сайт :)

Проект разработал и курирует Стендфордский университет. Это не спам и не реклама. Ваш компьютер может приносить пользу.. ваш компьютер может помочь сделать мир лучше.

Цитата:

Сообщение от AndyK (Сообщение 82478)

Frosty, Блин... ИМХО не интересно будет... но все-таки лови

По чему, очень даже, а как у тебя дела с траффиком?

Frosty, ~300-400 Кб входящего трафа в неделю, уже пора отдельную ветку заводить

Цитата:

Сообщение от AndyK (Сообщение 82486)

Frosty, ~300-400 Кб входящего трафа в неделю, уже пора отдельную ветку заводить

Напиши в личку как и что, хочу участвовать.;)

AndyK, создай отдельную тему про РВ. Думаю вопросов будет еще немало.

UP
Переместил.

Цитата:

Сообщение от AndyK (Сообщение 82486)

Frosty, ~300-400 Кб входящего трафа в неделю, уже пора отдельную ветку заводить

Для этого нада тунель поднимать, да? (ADSL)

axels, ясен пень надо, сервак-то в мире:)

AndyK, а в SETI@home не участвуешь?

phunky, Сети@Хоме по их мнению не имеет смысла, а вот помощь медикам это того стоит, кто-то ради помощи, кто-то ради соревновательного процесса. Я вот уже на 1061 месте в команде и на 350000 месте в мире :)

AndyK, респект. завтра скачаю клиента. точно трафа немного уходит? попасть неохота с разбегу:)

phunky, ~300Kb клиент+~400Kb монитор - качается один раз, потом в зависимости от того как ты настроишь будут тебе файло слать (у меня запрет на большие пакеты стоит трачу трафа ~300-400Kb в неделю)

Добавлено через 1 минуту
Если кто-то все же заинтересовался, вот линк на скачивание консоли: http://www.stanford.edu/group/pandeg...04-Console.exe (248кб)

Цитата:

вот инструкция по установке:

1-Создайте папку с удобным названием, лучше что-то типа c:\FAH
2-Скопируйте FAH50x-Console.exe в папку, запустите.
3-первый вопрос - "Your Name?" Понятно, что следует писать
4-"Team Number?" - НАПИСАТЬ 47191. Это очень важно, иначе вы не будете с нами =)
5-"Launch automatically at startup, installing this as a service?" Автоматически запускаться при старте, устанавливая клиент как сервис? - По-моему, очень важная функция. Не следует обходить ее вниманием.
6-"Ask before fetching/sending work?" Спрашивать перед отправкой, закачкой заданий? - Владельцам модемного соединения, у которых все "на счету" следует включить эту опцию. Примите во внимание, что если клиент захочет что-то принять или отправить, без вашего участия сделать это он не сможет. Эту настройку лучше сочетать с установкой какой-нибудь кэширующей утилиты (UDMonitor?), иначе простоев не миновать.
7-"Use Internet Explorer settings?" Использовать настройки IE? - Если вы не пользуетеся прокси-сервером, или у вас все настройки есть в IE, то включите. Если же вы ответите "no", вам придется вручную прописывать адреса прокси-серверов, параметры подключения..

Non-IE settings

8-"Proxy Name” Имя прокси - Соответствнно понятно, IP-адрес прокси-сервера, например 192.168.0.5.
9-“Proxy Port” Порт прокси - Порт прокси.
10-“Use username & password with proxy” - Использовать имя пользователя и пароль для прокси. Для прокси, требующего аутентификации, следует поставить yes
11-“Proxy Username” Имя пользователя прокси - Имя пользователя при подключении к прокси.
12-“Proxy Password” Пароль прокси - Пароль при подключении к прокси.

13-"Allow receipt of work assignments and return of work result greater than 5MB in size (such work units may have large memory demands) Разрешить прием и отправку заданий больше 5MB? Много траффика и оперативной памяти? Ставьте yes! Создатели поощряют обсчет таких заданий большим количеством очков, даваемых за один юнит.
14-"Change advanced options?" Изменить дополнительные настройки? Не нужно ничего сверхестественного от клиента? Тогда прямо сейчас завершите настройку клиента, ответив "no".

При первом запуске клиент сам скачает счетное ядро и задание.

http://www.stanford.edu/group/pandeg...ding@Home5.EXE - версия посвежее, графическая, рекомендуемая для всех версий виндозе:)

phunky, на графическую много жалоб, клинит с ней иной раз, если гамы юзать ;)

AndyK, учту:)

Локально
Сам клиент (консоль) 110Кб:

Скрытый текст
Вы должны войти под своим логином или зарегистрироваться и иметь 25 сообщение(ий)

Правила форума | Регистрация на форуме

Предупреждение: увидев этот блок скрытого текста, не стоит сразу бросаться набивать бессмысленные сообщения. Освойтесь на форуме, проникнитесь его атмосферой и пишите, если Вам действительно есть, что сказать. Если Модератор решит, что Вы набиваете сообщения, он удалит их все, а Вам выдаст либо предупреждение, либо сразу заблокирует Ваш аккаунт.

И монитор 592Кб:

Скрытый текст
Вы должны войти под своим логином или зарегистрироваться и иметь 25 сообщение(ий)

Правила форума | Регистрация на форуме

Добавлено через 2 минуты
у меня уже закончено 3 задачи... :sorry: две 2040 по 186 очков, одна 3041 за 186 очков, сейчас вот прислали 2080 за 226 очков :)

Добавлено через 4 минуты
Главное тим указать правильно, а то меряться :censored: не с кем будет

Добавлено через 1 час 2 минуты
Да... те у кого есть карты Радеон 19хх могут вычислят на них ;)

А как правильно завершать процесс работы? Если я его просто убью вся работа улетит далеко и надолго?

либо просто комп через "Пуск" выключаешь, либо в консоли жмешь "Ctrl"+"C", прога сохраняет результат на последнем выполненном проценте, Когда надо продолжить запускаешь консоль и начинаешь считать с последней точки :)

Добавлено через 12 часов 32 минуты
немного о своих результатах :)

Цитата:

985 место в команде
314,318 место в мире
80 среднее ппд
558 всего очков

Добавлено через 12 часов 59 минут
немного инфы за вчерашний день:

Цитата:

Поздравительская открытка нумер 373! (20.03.2007 23:15:32 -> 21.03.2007 22:16:07)
Традиционно приветствуем новичков, теперь с нами: uchujin(226), , seeker(186)!
Статистика команды: 1269(+2) участников, 24(0) место, 9(0) место по скорости (отставание от 8-го места 25k ppd, отрыв от 10-го места 1k ppd), 53539682(+148890) очков, 328912(+559) жаб.

Для того, чтобы блокировать неугодные ip-адреса, которые выдают задачи с маленьким количеством очков, можно воспользоваться внутренней службой виндоуз ipsec. Для этого можно скачать правило http://cp.people.overclockers.ru/cgi...name=ipsec.zip
У меня блокированы 171.65.103.160, 171.65.103.158, 171.64.65.58.

Вот список серверов

Надо будет еще заблокировать 171.64.65.83 выдает задачи с бонусом в 84 очка, 171.65.103.163 который может "подарить" задачу за 33 очка :blink:

Цитата:

И напоследок несколько интересных ссылок по статистике нашей команды.
1. в папке с клиентом лежит файл MyFolding.html (наверное все нашли :rolleyes: ) там вы сможете просмотреть информацию о своем месте в команде и количестве слитых заданий довольно быстро. Сервер обновляется раз в час. После слива жаб я всегда смотрю инфу сначала там.
2. http://fahstats.com/t.php?t=47191 вот здесь более информативная статистика, но она и обновляется гораздо реже. Там очень удобно смотреть данные всей команды, на каком мы месте, прогнозы различные, а также о себе любимом.
3. Ну и больше всего мне нравится вот этот сайт http://folding.extremeoverclocking.c...s=&t=47191&p=2 здесь разные графики строятся, когда я кого-то обгоню, когда меня обгонят, сколько очков я слил за последний месяц, неделю, сутки, 3 часа. Очень информативно.

Вот такие "монстры счетоводства" есть у нас в России :shock3: :shock: (для сравнения мой А64 2640 выдает 121 поинт в сутки :song: )

Да.. у миши под первым номером неслабая машинка.. или машинки что более вероятно =))

Интересно а вот все что то считают вычисляют, а где итог? Всмысле вот не все эти циферки там статистики всякие, а реальный результат. ?

Вот медики поделились на своем сайте http://folding.stanford.edu/

Что такое белки?
Белки это "ожерелья" из аминокислот -- молекул, имеющих форму длинных цепочек. Белки - базис, на котором основывается жизнь на Земле. Белки ферменты - движущая сила всех биохимических реакций, благодаря которым работает биология . Белки структурные элементы - основная составляющая наших костей, мышц, волос, кожи и кровяных телец. Белки антитела распознают инородные тела и позволяют иммунной системе избавиться от нежелательных "захватчиков". Поэтому ученые секвенировали геном человека - чертеж всех белков, -- но как мы сможем понять, что эти белки делают и как они работают?

Связь с проектом Геном человека
Так как белки играют такую фундаментальную роль в биологии, ученые секвенировали геном человека. Геном является "чертежом" для построения белков -- он содержит код ДНК, который определяет последовательность аминокислотных "бусинок" на "ожерелье" белка.

Почему белки сворачиваются?
Однако знание только этой последовательности мало говорит нам о том, что делает тот или иной белок и как он это делает. Чтобы выполнять свои функции (напр. как ферменты или антитела), они должны приобрести определенную форму. Белки - удивительные машины: они собирают сами себя перед тем как выполнять свою работу! Эта самосборка и называется "folding" или сворачивание.

Одна из целей нашего проекта - моделирование сворачивания белков, чтобы понять, как белки сворачиваются так быстро и надежно, а также узнать, как создавать синтетические полимеры с данными свойствами. Фильмы с результатами моделирования некоторых молекул можно посмотреть здесь.

Сворачивание белков и болезни: BSE (Коровье бешенство), болезнь Альцгеймера, ...
К чему приводит неправильное сворачивание белков? Возможно, что с нарушениями в сворачивании белков связаны такие заболевания как болезнь Альцгеймера, кистозный фиброз, BSE (Коровье бешенство), наследственная форма эмфиземы, а также многие формы рака.

Когда белки сворачиваются неправильно, они образуют плотные комочки, объединяясь вместе (агрегируют). Часто подобные комья собираются в мозгу, где предположительно вызывают симптомы Коровьего бешенства или болезни Альцгеймера.

Сворачивание белков и нанотехнология: создание искусственных "наномашин"

Кроме биомедицинской сферы применения изучение процесса сворачивания белков позволит нам конструировать наши собственные "наномашины" для выполнения схожих задач. Естественно, что до того как наномашины смогут что-либо выполнять, они сами должны быть собраны.

Почему сворачивание белков так сложно понять?
Белки удивительны не только тем, что они самостоятельно сворачиваются, но и тем, насколько быстро они это делают: некоторые - за миллионную долю секунды. В нашем понимании это очень быстро, однако компьютерам требуется очень много времени, чтобы смоделировать данный интервал времени.

Фактически, моделирование одной наносекунды (1/1,000,000,000 секунды) занимает примерно день. К сожалению, время сворачивания белков составляет порядка нескольких десятков микросекунд (10 000 наносекунд). Поэтому моделирование сворачивания одного белка заняло бы 10,000 процессоро-дней, т.е. 30 процессоро-лет! Это слишком долго, чтобы ждать одного результата!

Решение: метод распределенной молекулярной динамики
Чтобы решить проблему сворачивания белков, мы должны переступить микросекундный барьер. Наша группа разработала новый метод моделирования сворачивания белков, который для преодоления микросекундного барьера особым образом разделяет работу между процессорами, достигая почти линейного увеличения скорости от увеличения количества процессоров. Таким образом, с 1000 процессоров мы можем преодолеть микросекундный барьер и раскрыть тайну сворачивания белков.

Что мы уже сделали? И что еще собираемся сделать?
Folding@Home 1.0 был успешным. В течение одного года, с октября 2000 по октябрь 2001 мы смоделировали несколько маленьких, быстро сворачивающихся белков, а также экспериментально подтвердили наш метод. Сейчас мы работаем над дальнейшим совершенствованием нашего метода и его применением к изучению более сложных и интересных белков, а также вопросов сворачивания и неправильного сворачивания. Вы можете узнать больше о наших результатах на нашей Странице результатов.

Как я могу узнать больше о работе FOLDING@HOME?
Хорошо начать изучение с ознакомления с некоторыми нашими успехами в Folding@Home 1.0. О работе Folding@Home можно прочитать в некоторых из наших свежих статей или отчетов для прессы. В нашей недавней статье в Physical Review Letters описывается основа нашего метода, а также некоторые математические подтверждения того, что мы можем использовать от десятков до сотен тысяч компьютеров для соответствующего ускорения моделирования. Наша недавняя статья в The Journal of Molecular Biology более подробно освещает специфику нашего метода применительно к белкам, а также нашим первым результатам - сворачиванию β-шпильки.

2006 Folding in nanotubes . We have been studying the folding of proteins and peptides in confined spaces. We have several results in the "publishing pipeline" and the first one to get published is our results on peptides in nanotubes. We find a surprising result: confined water acts very differently than expected and acts to denature proteins!
2004-2006 New methods for computational drug design. We have been developing new ways to calculate the free energy of protein-ligand binding (important to drug design) to unprecedented accuracy. Our first results published include the thesis of Michael Shirts and a recent paper with collaborators at Fujitsu. Several additional results will be following soon.
2005 First results from Folding@Home cancer project published. We have been studying the p53 tumor surpressor and our first results on p53 have recently been published.

To our knowledge, this is the first peer-reviewed results from a distributed computing project related to cancer. Thanks to the continued support of FAH donors, this is will be just the first of many cancer related works that will come from FAH.

Roughly half of all known cancers result from mutations in p53. Our first work in the cancer area examines the tetramerization domain of p53. We predict how p53 folds and in doing so, we can predict which amino acid mutations would be relevant. When compared with experiments, our predictions have appeared to agree with experiment and give a new interpretation to existing data.

Structure of the p53 dimer with the Leu330 mutant highlighted. Our simulations predict several mutations which would have a signifincat impact on the rate of folding of p53. This one, Leu330, has already been implicated in cancer.

2000-2006 Accurate prediction of folding rates for many small proteins
To summarize our results, one can just look at our rate predictions for the folding of small proteins.

2002 Folding simulations of the villin headpiece
We have successfully folded a small 36-residue alpha helical protein: the villin headpiece. We will soon post our paper (once the referee process has been completed).

2002 Folding simulations of small beta hairpins, including the C-terminal beta hairpin of protein G and Trp Zippers
Our beta hairpin work was the first results from folding@home to be published.

2002 Folding of a small beta-beta-alpha fold
We have successfully folded a small protein with a beta-beta-alpha fold. We will soon post our paper (once the referee process has been completed).

2000 UNFOLDING OF THE DNA BINDING DOMAIN OF HIV INTEGRASE
HIV uses proteins to insert its genetic code into our DNA. The DNA binding domain of HIV integrase (below) is the protein which HIV uses to grab onto our DNA such that it can then connect its genetic code into ours.

2000 FOLDING OF AN ALPHA HELIX USING DISTRIBUTED DYNAMICS
Since our distributed dynamics method is extremely computationally intensive, we have first demonstrated its potential by folding the smallest protein one could imagine --- a single alpha helix.

2000-2005 FOLDING OF A NONBIOLOGICAL POLYMER
This polymer was designed to fold into a helix, much like the protein above. Here we show a simulation of two of them folding and then assembling into a tube, and then separating.

2000 UNFOLDING OF DESIGNED PROTEIN
This protein was designed by the Mayo Lab to fold into a "zinc finger" fold (a protein fold which typically binds to DNA).

ответ на вопрос о смысле отлова определенных задач

Цитата:

В отлове жаб тоже есть польза - система начисления очков сделана как раз таким образом, что чем больший ППД на твоем компе дается за задание тем оно более выгодно для науки. Также есть зависимость от архитектуры процессора - на одной архитектуре один тип заданий считается лучше чем на другой. (хотя я не видел еще процессоров для которых 2080 - были б плохими). И потом юзеров, которые считают все подряд на самом деле больше на порядок чем "рыбаков". Поэтому какого-либо вреда науке не наносится.

AndyK,
894 место в команде
268,869 место в мире
91 очкв в сутки (ср.)
1,010 очков всего

Frosty,
1,076 место в команде
367,170 место в мире
53 очкв в сутки (ср.)
372 очков всего

Добавлено через 22 часа 14 минут
AndyK,
875 место в команде
259,135 место в мире
118 очкв в сутки (ср.)
1,196 очков всего

Считаю помалеху :)

Поступило предложение создать команду в команде и дать ей название Karelian_TSC!_Team Кто заинтересован отпишитесь здесь.

Я только "ЗА", но во внехе редко бываю... какую-нибудь проксю бы замутить и было круто =) тем более что комп у ми простаивает обычно без дела почти =)

мну за
кста давно не теребил тему про нестандартое использование ГПУ видеоадаптеров... их тоже при помощи спец софтины можно запитать на вычисления имхо

Luchs, можно считать на Радеонах серии х900, все что ниже... лучше не стоит. На х600 уже все тормозит дико.

Добавлено через 46 секунд
Ringo-chan, постараюсь узнать, как это дело провернуть ;)

Интересует вопрос, можно ли замутить распределенные вычисления в пределах Карельских сетей? Думаю хорошее подспорье нашему универу будет:) и для адслщиков "серый" траф.

Trent, ИМХО реально, если сервак универа будет давать задачи и собирать их потом в кучу... плюс к этому нужна прога клиент (естно небольшая по размеру) найти смысл и какую то статистику придумать, чтобы был хотя бы соревновательный стимул ;) Без смысла и результата конечного - мало кому захочется помогать высчитывать "траекторию коня в вакууме"

Я тоже за такую помощь университету...

AndyK, как я понимаю, в этом должен быть заинтересован универ в первую очередь. Ещеб, такие вычислительные мощности и на халяву:)
И, кажется, все не так просто. Действительно нужны какие-то рейтинги, награды там всякие (поощрения), чтоб людей заинтересовать. Но, думаю это все окупится сторицей.

Если у когото есть желание, поговорите с представителями (студентами) универа, заинтересует - пусть придумывают :)

сертификаты о том, что наша команда (Karelian_TSC!_Team) посчитала 25 заданий и набрала 5500 очков

Вложение 14552 Вложение 14553

Жду безлимита, чтобы поучаствовать...

Сергей Копылов, там трафа то :lol: 200-400кило входящего и пара метров исходящего в неделю.

У меня просто всегда в минусе...

вышел fahspy143
http://haka.in/hunter/fahspy143.zip (локал)
йа так понял, теперь работаем на юзверя Karelian_TSC!_Team? *перенастроил

Раньше участвовал в проекте SETI@home, в котором компьютер клиента анализирует радиосигналы, полученные с радиотелескопа в Аресибо (Пуэрто-Рико). Сейчас интерес пропал - хотя и верю во внеземной разум, но вот в то, что этот проект что-нибудь найдёт, не верится абсолютно.

Alfard, ну в Фолдинг@Хоме все проще, вычисляем реальные вещи (белки).

Если кто найдет ПО для Linux поделитесь плиз, хочется проверить скорость расчетов по сравнению с виндой :)