Лирика или музыка?

Пять альбомов в истории Pink Floyd наполнены глубоким смыслом и эмоциями, переданными потрясающей лирикой и выдающейся музыкой. Это Dark Side Of The Moon, Wish You Were Here, Animals, The Wall и The Final Cut.

Появились они благодаря гениальности человека по имени Roger Waters, создавшего их замысел и написавшего к ним лирику. Человека такого же уровня доброты и ума, как Джон Леннон. Человека, которого можно было бы считать великим русским писателем, будь он русским писателем.

Pink Floyd распалась потому, что их музыка держалась на великом гитаристе по имени David Gilmour, идеи Waters'а которому были чужды. Gilmour хотел играть просто красивую мощную музыку в стиле светлых лет Pink Floyd, а Waters всё больше подчинял музыку своей всё более немузыкальной лирике.

The Final Cut — последний альбом Pink Floyd, созданный Waters'ом. Он даже не совсем принадлежит группе; его полное название читается «The Final Cut: A Requiem for the Post-War Dream by Roger Waters, performed by Pink Floyd».

Альбом начал свою жизнь легким завершением The Wall и должен был включать песни из его экранизации, а также некоторые песни, задумывавшиеся для, но не попавшие в «Стенку». Но после войны между Англией и Аргентиной 1982 года альбом стал тем, чем он есть — сложным тематическим завершением The Wall, использующим похожую эмоциональную структуру, но создающим реалистично-светлые чувства к концу.

The Wall — весьма попсовый альбом в смысле сложности его восприятия: он столь пропитан эмоциями, что его сложно не понять. Мелодическая структура Dark Side Of The Moon тоньше, Animals и Wish You Were Here значительно более спокойные. The Final Cut еще более некричащий, и его прослушивание требует примерно столь же развитого вкуса и умения слушать, как классическая музыка.

Тем временем, без Waters'а David Gilmour создал альбом The Devision Bell, название которому придумал Douglas Adams, а мусором который обозвал Waters. The Devision Bell нравится многим, что неудивительно: в нём наблюдается возврат к попсовому — легко воспринимаемому — звучанию. К сожалению, нет и глубокой лирики.

The Devision Bell мне напоминает культ самолётопоклонников, описанный Фейнманом. Красивая музыка, странные слова, всё сделали как надо — почему же получилось не так, как раньше? (Что мне не мешает иногда его слушать, конечно. Гилмор великий гитарист.)

«Music, when combined with a pleasurable idea, is poetry. Music without the idea is simply music.» (Edgar Allan Poe).

Все выдающиеся исполнители, взрослея, уходят от легко воспринимаемого звучания независимо от того, становится ли их музыка более простой или более сложной по структуре. Сравните ранних Beatles, поздних Beatles и сольные записи Леннона. Сравните ранних и поздних Deep Purple, и то, что они сейчас играют на концертах. Наконец, сравните раннего и позднего Waters'а. Что интересно, взросление лирики куда как менее заметно, чем взросление музыки. Быть может, потому, что писать взрослую лирику проще, чем писать немассовую музыку.

Мораль? Breathe, breathe in the air. Don't be afraid to care. Look around, choose your own ground. Long you live and high you fly, and smiles you'll give and tears you'll cry, and all you touch and all you see is all your life will ever be.

Всё, что нужно знать про Git

Доказано (опытом), что для успешной работы с Git требуется понимание структуры его объектной базы данных. К счастью, это очень просто. (А про то, чем Git интересен, я уже писал раньше.)

Часть первая из трёх: объекты

Git-репозиторий состоит из набора объектов, лежащих в папке .git/objects. Каждый объект хранится в файле, названном в честь SHA-1 хеша его содержимого. Например, объект 55f6209f867f37598cfb56832adf74bee2921c3f лежит в файле .git/objects/55/f6209f867f37598cfb56832adf74bee2921c3f.

Есть четыре вида объектов (blob, tree, commit и tag), о которых мы сейчас поговорим.

1. Все файлы вашего проекта — это blob'ы. Возьмём каждый файл, припишем к нему в начало тип "blob" и размер, посчитаем SHA-1 и запишем это в репозиторий. (Имя файла в blob не входит, так что одинаковые по содержимому файлы окажутся записанными только один раз.)

2. Каждая директория проекта — это объект tree. Он ссылается на другие деревья и blob'ы, а также указывает их имена и атрибуты. Вот пример содержимого объекта tree:

100644 blob 6fccfdcbd0a1cdbf3bf2a5960e601b369c0a921c    .gitignore
040000 tree 824b4bd4a0df733b5b5106b1b55c3630566759dc    com.yoursway.sadr.core
040000 tree 2406b80d9623067f92db7f60d6eeabfed6966a9f    com.yoursway.sadr.engine
040000 tree d1bae2405388774e484cfd3779adf7e1eda1f5d9    com.yoursway.sadr.python.core
040000 tree f3d282a4b963183fefdca6ff99a5995953a9c33e    com.yoursway.sadr.python.idioms.core
100755 blob 14cf98b8521eb27ae556d9b707290e177b337ff4    propagate-settings-from-core

3. Наконец, объекты commit образуют историю проекта. Коммит ссылается на tree корневой директории проекта, а также имеет родителя или родителей (которых несколько в случае merge'а). Вот пример объекта commit:

tree fdb267652d8d669e86ad0df61afc81b92a7ce680
parent b95b2ca7e9854898d62fb028f2e6135b3439240d
author Andrey Tarantsov  1223355822 +0700
committer Andrey Tarantsov  1223355822 +0700

Huge performance fix: findGoalStateByGoal is now DFS.

findGoalStateByGoal used to traverse every path is the graph and
thus was very slow (as slow as 500 ms travesing 3M goals on every
subgoal creation!) Changed to a real DFS.

Смотрим содержимое репозитория. Пусть последний коммит проекта имеет, например, имя c889ffc87048cca59f908d3e48becb59a14ce950. Посмотреть его содержимое мы можем, введя команду

git cat-file commit c889ffc87048cca59f908d3e48becb59a14ce950,

результат которой вы только что видели выше. Далее, содержимое дерева, на которое указывает коммит, смотрится командой

git ls-tree fdb267652d8d669e86ad0df61afc81b92a7ce680

(деревья хранятся в бинарном формате, поэтому git cat-file tree выдала бы бинарный мусор, а вот вывод ls-tree вы видели выше). Наконец, содержимое файла смотрится, опять же, командой

git cat-file blob 6fccfdcbd0a1cdbf3bf2a5960e601b369c0a921c.

Следует понимать, что вместо команды git cat-file вы можете просто раззиповать нужный файл из .git/objects. (Перед данными файла там окажется префикс из типа объекта и его размера.) Создать объект в репозитории можно командой git hash-object -t тип -w --stdin.

Часть вторая из трёх: ссылки

Как узнать, что коммит c889ff… является последним коммитом проекта? Для этого Git еще хранит так называемые ссылки (references). Например, в файле .git/refs/heads/master в текстовом виде хранится хеш последнего коммита на бранче master.

Ссылки могут ссылаться друг на друга. Например, ссылка .git/HEAD обычно имеет такое содержимое:

ref: refs/heads/master

В этой ссылке хранится, какой коммит лежит в данный момент в вашей рабочей директории. (Напоминаю или сообщаю, что у каждой рабочей директории Git всегда есть свой собственный репозиторий.)

Набрав команду git rev-parse HEAD, можно узнать, на какой именно коммит указывает ссылка с данным именем. Ссылки можно использовать везде вместо названий коммитов, например, можно набрать git cat-file commit refs/heads/master. Имена ссылок можно сокращать, отбрасывая слева куски пути, если это не вызывает неоднозначности. Например, можно написать git cat-file commit master. (Кстати, в мане rev-parse описаны все способы указания коммитов в Git.)

Часть третья из трёх: индекс

Между вашей рабочей директорией и репозиторием есть промежуточное звено, называемое индексом (index). Все изменения, которые вы хотите закоммитить, вам нужно положить в индекс командой git add, а потом по индексу создать коммит командой git commit.

Хозяйке на заметку. На практике я всегда пользуюсь командой git commit --inter -v, которая запускает интерактивный add (git add -i), а потом сразу делает коммит, причем (опция -v) в редакторе показывает мне diff всего, что я собираюсь закоммитить.

Что такое индекс? Индекс похож на дерево (tree), но отличается от него тремя вещами:

Во-первых, индекс хранит ссылки на блобы файлов всех поддиректорий проекта.

Во-вторых, индекс хранит i-node'ы файлов — информацию, позволяющую быстро определять, изменился ли файл в рабочей директории по сравнению с индексом.

В-третьих, при наличии конфликтов merge'а индекс может хранить ссылки на три блоба для каждого файла (базовая версия, "их" версия и "ваша" версия).

Почему вам нужно знать про индекс? Во-первых, потому, что команда commit закоммит не то содержимое файлов, которое лежит в рабочей директории, а то содержимое, которое было добавлено в индекс командой git add. Во-вторых, потому, что при разрешении конфликтов merge'а вам может захотеться вытащить эти альтернативные версии файлов (git ls-files -u покажет вам файлы из индекса, имеющие конфликты, т.е. больше одной версии).

Вот и всё

На манипуляции с объектами, ссылками и индексом строится весь Git. Чаще всего удобно полагаться на неё для выполнения нужных операций, но иногда можно вносить желаемые изменения руками.

Важно понимать, что Git не хранит дельты, метаинформацию о переименованиях файлов или что-либо еще, не описанное выше. Всё, что хранит Git — это копии состояния файлов проекта в разные моменты времени.

Git умеет хранить объекты и ссылки компактно в одном файле (которые называются pack'ами), сжимая их чем-то вроде LZW, причем размещая данные в таком порядке, что получается еще эффективнее, чем хранить дельты. Git умеет восстанавливать данные о переименованиях файлов, перемещениях и копированиях кусков файлов уже во время отображения истории.

Как изучать дальше?

Все команды подробно описаны в man pages, которые можно также читать на сайте. Важно понимать структуру объектной базы данных. Читайте Git tutorial (не забудьте прочесть вторую его часть) и описывающий всё-всё-всё Git user manual. Наконец, естественно, есть видеолекция Linus Torvalds on Git (Линус, объясняющий, что такое мастурбация — смотреть всем!)

Далее я попробую резюмировать то, что вам стоит узнать.

Лучше всего избегать merge'ей, они делают историю версий некрасивой (и не так удобно читаемой). Вместо git merge somebody/somebranch старайтесь по возможности использовать git rebase somebody/somebranch (но требуется хорошо понимать, что при этом происходит и чем вы рискуете; никогда так не делайте, если уже залили куда-то свои изменения). Особенно важно держать историю версий линейной, если вы экспортируете коммиты в какой-нибудь svn с помощью git-svn.

Подружитесь с git reset, который един в трёх лицах (soft, mixed и hard). Все три вам в жизни очень понадобятся. Еще полезная штука git stash.

Git умеет импортировать историю из многих систем контроля версий (например см. git cvsimport, также есть много отдельных импортировальщиков), двусторонне синхронизироваться с Subversion (см. git svn). Что касается импорта из CVS, Git в процессе задействует команду cvsps, которая в официальной версии имеет разные баги. Пропатченная версия имеется и очень рекомендуются к использованию при импорте из CVS.

Git умеет переписывать историю. Вообще-то, вооружившись приведенными сведениями, это можно сделать и руками (или хитрым скриптом), но намного быстрее использовать команды git commit --amend, git rebase (особенно git rebase --interactive) и git filter-branch; последний позволяет сделать буквально всё.

Выше ничего не сказано про теги; они есть, причем двух видов (теги можно делать просто ссылками в refs/tags/, а можно дополнительно к ссылкам создавать полноценные объекты, в которые уже помещается комментарий и цифровая подпись). Не упоминался ref log — локальная история изменений каждой ссылки, позволяющая ответить на вопрос, какая версия была у вас в рабочей директории два дня назад (или какой коммит был у вас последним в бранче master вчера). Если вы сделаете дикий rebase и вся история умрёт, ref log вас спасёт; смотрим его командой git log -g.

Есть GitHub, где хостинг для open source-проектов бесплатный, а для проприетарных просто дешевый. GitHub делает управление репозиториями и отслеживание прогресса других маргинально проще, а заодно избавляет от необходимости регулярно вызывать git gc в репозиториях на сервере. (В ваших локальных репозиториях её всё равно нужно регулярно исполнять.)

Наконец, Git — это не только его команды и система контроля версий. Это база данных, которую можно использовать для автоматической децентрализованной синхронизации файлов. Формат базы данных достаточно прост и позволяет работу с ней реализовать на других языках в вашем проекте. В частности, чтение и запись репозиториев Git уже реализована для Java в проекте jgit (и обрастает интересностями вроде встроенной поддержки Amazon S3). Если вам нужна распределенная база данных объектов, похожих на файлы, вам следует посмотреть в сторону Git.

Основной налог (эссе про бизнес)

В нашей стране есть три вида налогообложения для ООО: общая схема, упрощенная схема с объектом «доходы» и упрощенная схема с объектом «доходы минус расходы».

Упрощенная схема, по крайней мере на мой непрофессиональный взгляд, намного выгоднее общей. Её, однако, нельзя применять организациям с оборотом более 20 000 000 руб в год.

Суть: вы платите либо 6% ото всех денег, которые ваша компания зарабатывает (схема «доходы»), либо 15% от денег, которые остаются после вычитания ваших расходов (схема «доходы минус расходы»).

Какие траты можно отнести к расходам? Увы, только те, которые необходимы для вашей основной деятельности. Покупку техники, канцелярию, офис и интернет можно. Еду, велосипеды для сотрудников, посиделки в кафе и многое другое нельзя. Это особенно актуально при 15% схеме (ибо с денег, потраченных на расходы компании, вообще не нужно платить налога), но важно и при 6%.

Деньги, которые вы не отнесёте на расходы, придётся обналичивать либо зарплатой (теряя еще около 30% на налоги), либо дивидендами (теряя еще 9% подоходного налога), либо нелегально (теряя, по слухам, 5-10% и, по стечению обстоятельств, от своего морального спокойствия до всех денег и свободы). О зарплате и дивидендах мы ещё поговорим.

(Естественно, есть детали: например, при 6% схеме этот налог уменьшается на размер налога, выплаченного в пенсионный фонд с заработной платы сотрудников.)

В словарик. УФНС — управление федеральной налоговой службы. Её нужно любить, иначе она полюбит вас. УСН — упрощенная схема налогообложения. Она ваш друг.

В отличие от упрощенной, общая схема налогообложения, как следует из разницы в названиях, сложна. В ней участвуют два налога: 18% налог на добавленную стоимость (НДС) и 24% налог на прибыль (аналогичный 15%-му налогу на прибыль в упрощенной схеме).

При расчетах между компаниями, находящимися на общей схеме, НДС как-то хитро учитывается таким образом, что его не платят дважды с одних и тех же денег. (Если компания на общей схеме ведёт дела с компанией на упрощенной схеме, то НДС платится всегда с полной суммы, из-за чего первые часто не любят работать со вторыми.)

Хозяйке на заметку. Если вы перечисляете деньги за какие-то услуги и вас просят в назначении платежа указать НДС, то вы встретили большую компанию на общей схеме. Если на НДС получателю похрен, то он маленькая фирмочка на упрощёнке.

Только что открытая компания находится на общей схеме налогообложения. Для перехода на упрощенную схему нужно по-шустрому подать заявление в налоговую, выбрав объект налогообложения («доходы» или «доходы минус расходы»). Изменить этот выбор нельзя в течение 3-х лет.

Как сосчитать подписчиков?

У моей уютной ЖЖешечки этого блога 72 подписчика. Браузером ежедневно на него заходят около 17 человек, что дает 545 посещений в месяц от 402 уникальных посетителей; 332 посещения дают поисковики, а 125 — ссылки с других сайтов.

Как узнать всю эту информацию про свой блог? Во-первых, нужно следить за подписками через RSS. Для этого бог создал FeedBurner. Более того, блоггер умеет интегрироваться с ним так, что ваши подписчики не заметят никаких перемен (я уже говорил, что самое время перейти на блоггер?) Итак:

Регистрируемся на FeedBurner'е, получаем там урль вашего нового фида.

Идем в блоггер, настраиваем в нём редирект фида на новенький урль фидбёрнера.

Во-вторых, нужно использовать Google Analytics, чтобы отслеживать обычных посетителей вашего блога.

Регистрируемся, получаем у гугла JavaScript-код отслеживания посетителей, кидаем этот код в самый конец макета страниц. Блоггер позволяет добавлять произвольные фрагменты HTML/JavaScript, насчет ЖЖ не знаю (кстати, самое время перейти на блоггер).

Дать настояться недельку-другую, статистика готова.

А вы знали, что Google купил FeedBurner? Как водится, про-фичи последнего стали бесплатны.

www.yoursway.com

Мы официально открыли сайт нашей компании. Приглашаю всех повтыкать и высказать своё мнение. Полностью сделано своими руками; профессиональный дизайн сейчас в разработке, но его ждать нескоро.

Из интересного. Сайт хостится на Google App Engine. Почему? Причины две.

Во-первых, больше всего на свете меня бесит перезапускать lighttpd после заливания изменений на сервер. Google App Engine позволяет обойтись щелчком по кнопочке Deploy.

Во-вторых, я уверен, что в самый ответственный момент наш сервак накроется медным тазом: кто-нибудь испортит конфигурацию lighttpd, не выдержит нагрузку скрипт, деинсталлируется апач (привет, менеджеры пакетов). В ответственные моменты все особенно спешат, а на Slashdot'е статьи появляются вообще ночью, не уследишь. В блоге любого веб-стартапа есть статья про то, как их дигнули, слэшдотнули или техкранчнули, и у них ни черта не работало два дня. Мы, правда, ещё не веб-стартап.

Кроме того, download.yoursway.com и пачка подобных статических адресов обслуживаются напрямую с Amazon S3. Если вы не знали, так можно. Причины те же.

Итого: репозитории на GitHub, багтрекинг на Lighthouse, взаимодействие с клиентами через Basecamp, чат на Campfire, веб-сайт и build-система на Google App Engine. Собственный сервер можно выключать хоть сейчас, никто не заметит. Удовольствие стоит 120 баксов в месяц, изредка нужный сервер еще 30.

Регистрируем ООО (эссе про бизнес)

Предположим, вы хотите открыть свое собственное ООО.

Почему, кстати, ООО? В России есть много видов юридических лиц, от банальных ООО и ИЧП до экзотических товариществ. Мне известно следующее:

• ООО имеет минимальные требования к стартовому капиталу: нужно внести 10 000 руб, причем можно формировать уставной капитал не деньгами, а какой-нибудь техникой или другими ценностями, которые вы сами же и оцениваете;

• учредители ООО не несут материальной ответственности за его долги; максимум, что они теряют — внесенный уставной капитал, поэтому-то его и зовут обществом с ограниченной ответственностью;

• индивидуальный частный предприниматель, напротив, отвечает всем своим имуществом;

• акционерные общества имеют на порядок более высокие требования к вносимому капиталу и более сложную бухгалтерию.

С большой вероятностью для вас наиболее подходящей формой собственности также являются три о. Однако лучше с кем-нибудь посоветоваться, и здесь пришло время дать совет: найдите хорошего бухгалтера сразу. Это сэкономит кучу денег, которые вы потратили бы на консультации и просто по глупости.

По моему впечатлению, стандартная цена приходящего бухгалтера в Академгородке для маленькой фирмы — 10 000 руб в месяц; за это он берет на себя всю отчетность и все прочие бумажки. Если повезет, как нам, то еще и раздает кучу советов по организации бизнеса. Можно, видимо, найти и дешевле: как минимум одна контора, рекламирующаяся спамом в аське, предлагала аналогичные на вид услуги за 5 000 в месяц.

Регистрация ООО состоит из следующих шагов:

1. Создать устав и учредительный договор, распечатать в двух копиях, сшить, подписать.

2. Написать протокол собрания учредителей № 1, главный результат которого — решение об образовании ООО и назначении директора.

3. Заполнить заявление о регистрации (говорят, форма 13-00) и о долях учредителей (говорят, форма 14-01).

4. Решить, чем вы занимаетесь, и описать это кодами ОКВЭД (общероссийской классификатор видов экономической деятельности).

5. Заверить у нотариуса… что именно, плохо помню: то ли учредительный договор, то ли заявления. Стоит порядка 1 000 руб.

6. Оплатить госпошлину около 2 000 руб.

7. Отдать все бумажки в налоговую.

8. Через 5 рабочих дней получить свидетельство о регистрации и еще некоторое количество мукулатуры.

9. Написать заявление о переходе на упрощенную систему налогообложения.

10. Сделать печать.

11. Снять офис.

12. Открыть расчетный счет в банке (его могут не открыть, пока вы не покажете договор аренды офиса), сообщить о нем в налоговую в течение 10 (или 5?) рабочих дней.

Лично я бухгалтера не имел и обратился в юридическую фирму. Они взяли вполне разумную сумму в 5 000 руб и выполнили за это шаги 1–4, 9 и 10 (т.е. написали документы и бесплатно сделали печать с нашим логотипом, о чем мы специально договорились). Тем не менее, оно того не стоит: вся подготовка бумажек занимает от силы час, в готовые шаблоны просто вписываются ваши данные.

Нужно, конечно, эти шаблоны где-то взять. Говорят, документы на все случаи жизни есть в Консультанте+, однако я его отродясь не видел и, дай бог, не увижу. Примеры учредительных документов можно попробовать посмотреть в любом знакомом ООО или нагуглить. Но лучше, как я уже сказал, найти бухгалтера заранее и свалить всю работу на него.

Горбачёв

Со многими знакомыми я уже делился этим клипом, но он заслуживает даже большей аудитории. Музыка — АНЖ «Горбачёв», режиссер и автор видео — Tom Stern, снимавший клипы для Marilyn'а Manson'а и Red Hot Chilli Peppers. (HD-вариант клипа можно найти на vimeo.)

Мне кажется, многие современники не осознают, за что Горбачёву дали нобелевскую премию мира. Вот, например, кусок из интервью с Ричардом Бахом (1991 г.):

«Американские газеты раньше часто публиковали рисунок, на котором были изображены часы, стрелки которых показывали без нескольких секунд полночь. Эти часы напоминали о том, что, возможно, до полного уничтожения нам осталось несколько секунд. Но на каком-то уровне мы все наблюдали за этими часами и думали: все-таки время еще есть, можно поиграть еще, мы еще даже успеем исполнить национальный гимн. А вот когда времени совсем не будет, произойдет чудо. И чудо действительно произошло. Для нас им стал Михаил Горбачев.

Вы можете к нему относиться как угодно, но нами он был воспринят как самый смелый человек нашего времени. Я уверен, что именно он спас мир.

[...]

Что было потом, не так важно. Я знаю, что в Союзе его не любят. Но его любят в США. В нашей версии истории он уже заслужил замечательное место. Кто-то недавно даже сказал, что если Горбачеву будет совсем плохо в Союзе, он может приехать в Штаты и выиграть президентские выборы.»

Возвращаясь к клипу, вот некоторые пояснения автора со странички на vimeo:

«I did this video for a Russian Metal Band called ANJ. It is pretty crazy. When I saw the lyrics it seemed to be an earnest tribute to Mikael Gorbachov (that's how the Russians spell it), so I was a bit confounded about what the video concept should be, but then I had a brainstorm to take it way over the top and I think it was just the thing. Suffice to say it's half Russian History allegory as told through an old zombie movie made in the Soviet Union, and half animated Soviet Propaganda posters. It's in HD, so let it load a bit before you play it and then click the little "four arrows" symbol on the lower right part of the viewer to see it in true HD. BTW- the band has asked that I include their myspace address: myspace.com/anjkill

I shot this on two Panasonic HVX 200s at 720P, then edited in Final Cut Pro and composited in After Effects CS3. It took about 3 months of post work with three animators working for about 6 weeks and me finishing it myself for the rest of that time (after I ran out of money to pay animators).

The peasant girl is Irina Voronina, former Playboy Playmate and star of a television show I directed called Saul of the Molemen on Cartoon Network's Adult Swim. The Blacksmith girl is Vanessa Kaye, former Man Show Juggie Girl who I worked with when I directed over there. And the Washwoman is newcomer Kerri Sherman, who is managed by the same company as Irina.

It was indeed a TON of work. I spent many a night hunched over my Mac Pro until the sun came up trying to get the shots right. It is very gratifying to see that it is being enjoyed by people, since I really didn't make any money doing this. The whole budget went into the video itself.»

Лирика:

Over Mother Russia
There are moans and crys
The convicted ones are marching
to the never lands to die.

The sound of birds' singing
is a farewell song,
But this endless plain
is where they belong.

But one escaped
Out of guardman's sight
With his only dream –
To Let his country rise.

Freedom was the goal
He was dreaming of,
And that person's name
Is Michael Gorbachov

Against the oppressor –
I'm the new tsar successor!

Hey, it's time to spill the masters' blood,
Time for us to rise up from the mud.
Gorbachov , a simple Cossack man,
By his side we'll free our native land.

MacWorld 2009: App Store для Mac-приложений?

Позволю себе сделать прогноз на MacWorld 2009: в Mac OS X 10.6 Snow Leopard будет встроена DRM-технология, позволяющая продавать OS X-приложения через App Store наряду с iPhone-приложениями. Хотя некоторые freetards повозмущаются, для большинства это будет очередной реализованной мечтой.

Программистам — ниже барьер входа на рынок, не нужно изобретать свой веб-сайт с веб-магазином, серийники, систему лицензирования. (Страшно сказать — вообще никаких серийников. Из моего опыта с app store'ом, DRM рулит.) А пользователям — единый каталог софта, объединяющий лучшее из миров Unix (репозиторий пакетов, откуда можно ставить нужные программы в несколько клавиатурных кликов) и коммерческих приложений.

Самое приятное в этой перспективе — то, что купленные (или, для бесплатных, скаченные) программы запоминаются в iTunes App Store. Если сменить телефон, на новом тут же появятся все программы и настройки, которые были на старом. Распространение принципа на компьютеры сделает апгрейд мака полностью соответствующим известному комиксу авторства Trunks и Soto:

Смысл и внутренний мир

Сегодня ночью, читая бизнес-линч авторства Людвига Быстроновского (по ссылке можно не ходить), я просветлился и понял огромную часть закрытого мне мира. Позволю себе зацитировать:

«Чем художник отличается от иллюстратора? Художник в первую очередь выражает свой внутренний мир. Зачастую ему даже аудитория не нужна. Иллюстратор же в первую очередь призван иллюстрировать смысл.

Если вы тут выступаете как художник, то непонятно, нахера вам нужна рецензия любого из дизайнеров этого мира. Пошлите всех подальше и делайте что хотите. И тогда все прекрасно, можете вешать рисунок на кухне.

Если же вы хотите выступить иллюстратором, то я вам скажу, что у вас получилась стоящая на двух ресторанных зонтах волосатая жопомясорубка с ручками. Жестокий, жестокий мир.»

Люди, пишущие и рисующие непонятный бред, занимаются тем, что выражают свой внутренний мир. Они не пытаются передать смысл, поэтому смысла и нет. Здравствуйте, ЖЖешечки, профили во вконтакте и юзерпики. Для них, художников, важна самобытность и неповторимая индивидуальность, а смысл вроде как и не важен. Может, некоторых из этих создателей бреда через пару десятилетий будут считать великими писателелями-авангардистами? Может быть, стоит не спешить с оценкой их деятельности?

Уверен, что этим постом я открою глаза и другим людям. Нам, тем, кто всегда занимается передачей смысла, тяжело понять противоположную часть сообщества. Заодно будем знать, что профессии программиста и иллюстратора в чем-то схожи, и с последними вполне можно найти общий язык.

Me

Накатал «О себе» для нашего сайта. По-моему, звучит неплохо:

I'm the CTO and the lead architect of our company. 15 years have passed since I was a proud DOS user, and I've been crazy about computer programming for all this time.

My experiences range from GW-BASIC, through Assembler and standards-based C++ to Python, Ruby and Java. Among the languages I've never really used I know and appreciate Erlang, Haskell and Smalltalk, and I love Ada, which is sharing the label of my all-time favourite language with Ruby. I like writing beautiful code, and I believe that every language has its own unique style which makes the definition of "beautiful" very different for each of them.

I've lead and failed my first multiperson project at the age of 16, and I've learned a lot about managing software developments since then. It was around the same time I came to know that my favourite part of programming is called "object-oriented analysis and design".

I've switched to Mac in 2006 and never-ever-ever looked back.

Currently I'm mostly focused on Java and particularly Eclipse world, though occasionally I get involved in Python and Ruby projects or have to apply my Win32 skills to make some crazy JNIs. I've contributed the initial Ruby type inferencing code into the Eclipse Dynamic Languages Toolkit and demoed it at EclipseCon 2007. I left the DLTK team afterwards and co-founded a company which aims to create a new generation of IDEs and productivity tools for developers.

В паре мест сомневаюсь в английском, так что замечания принимаются с благодарностью.

PC = Blue Screen

Просто факт: Любой Samba-ресурс Finder отображает как «PC Server» со знаменитой иконкой (см. ниже). Любой VNC-сервер и afp-ресурс Finder отображает как «Mac server». Если на маке поднята самба, он отобразится и как мак, и как PC.

И маленький совет. Если Finder перестал дружить с Bonjour и не видит какие-то маки вокруг, перезапустите его (Меню «Яблоко» / Force Quit… / выберите Finder / кнопка Relaunch).

Советы про Screen Sharing на маках

Сегодня:
1. Как подключиться с мака к любому VNC-серверу?
2. Как сделать несколько удаленных сессий на маке?

У нас на работе все компьютеры — маки (кроме одного Linux-сервера и одной Windows-машины), так что скопились некоторые советы по их эксплуатации.

Как подключиться с мака к любому VNC-серверу? Пусть, например, в вашей сети есть компьютер с именем boo.local, на порту 5800 которого стоит VNC-сервер. Чтобы подключиться к нему, достаточно на маке открыть vnc://boo.local:5800 — например, введите этот адрес в Safari (пока не нажмете Enter, можете перетащить глобус из строки адреса на рабочий стол, и будет вам значок для быстрого подключения), или же из терминала выполните «open vnc://boo.local:5800».

Как сделать несколько удаленных сессий на маке? В отличие от Windows, при подключении к удаленному маку вы подключаетесь к его монитору и видите ровно то, что видно на мониторе — например, окошко входа в систему, или рабочий стол одного из пользователей.

Видеть монитор компьютера по сети — это, безусловно, хорошо, предсказуемо и является сутью понятия Screen Sharing. Тем не менее, бывают ситуации, когда нужно нечто другое: поработать на удаленном компьютере, не мешая тому, кто им сейчас пользуется (т.е. имея не один общий монитор, а два отдельных под разными пользователями).

Реализовать такое довольно просто. Пусть, скажем, пользователь lliypik работает за компьютером, а пользователь andreyvit хочет к этому компьютеру иногда подключаться и что-то делать на своем рабочем столе, не мешая lliypik'у. Нужно:

Первое. Под пользователем andreyvit установите какой-нибудь VNC-сервер, например, бесплатный Vine Server.

Второе. Удостоверьтесь, что в системных настройках разрешено переключаться между несколькими залогинеными пользователями. (Поищите в System Preferences по слову «switch», я всегда добираюсь до любой опции поиском. Или прямой путь: System Preferences -> Accounts -> Login Options -> Enable fast user switching.) Должно быть включено.

Третье. Запустите под andreyvit Vine Server. В его настройках смените порт 5900 на любой другой, скажем, 5800. Заодно задайте в поле Display Name какое-нибудь имя. (Естественно, вам нужно будет, чтобы пользователь andreyvit всегда оставался залогиненным. Но ведь вы никогда не выключаете свои компьютеры, верно?)

Когда захотите поработать на удаленном компьютере, если вы находитесь в той же локальной сети, просто найдите в левой панели Finder'а имя, которое вы вводили в поле display name Vine Server'а, щелкните по этому имени, а потом — по Share Screen.

Если же вы не в одной локальной сети с удаленным компьютером, вам придется воспользоваться советом из пункта 1 и ввести в Safari строку вроде vnc://lliypik.local:5800 — за сим у меня все.

Evolution of Basecamp homepage

I used an amazing tool webkit2png to capture some screenshots of Basecamp home page at various key moments in its history. Here's the result (click to enlarge):

Feb 2004	Oct 2004	Mar 2005	Mar 2006	Jan 2007

640k достаточно для всех

Из случайно подвернувшихся новостей (под Pink Floyd, играющий на моём iPhone).

02.05.2007

Отдав должное действиям Apple на рынке цифровой музыки, Балмер выразил сомнение, что новый телефон Apple сможет отвоевать сколько-нибудь значительную долю рынка.

«У iPhone нет абсолютно никаких шансов завоевать значительную часть рынка. Никаких! Это устройство будет продаваться за $500, причем эта цена с учетом скидки за подписание долгосрочного контракта с оператором. […] глядя на 1,3 млрд. проданных во всем мире телефонов, я бы лучше предпочел, чтобы в 60 или 80% из них было установлена наше ПО, чем те 2 или 3%, которые Apple может получить, продавая iPhone», — сказал глава Microsoft.

06.02.2008

В соответствии с отчетом аналитиков агентства Canalys, доля iPhone достигла 28% и занимает второе место на американском рынке, уступая лишь Research in Motion (Blackberry) c ее 41%.

Этот скачок, по сравнению с 19,5% охватом рынка в третьем квартале, позволил Apple обойти весь сектор устройств на базе Windows Mobile, доля которого в четвертом квартале составила 21%, по сообщению Canalys.

P.S. А еще рекомендую послушать Стива Джобса и Билла Гейтса на All Things Digital. Много весьма любопытного о trend'ах.

Связывание и внедрение объектов не работает

Вспомним времена Windows 3.1, когда буквально в каждой книге по консумерским приложениям описывалась замечательная технология Object Linking & Embedding. OLE казалась частью светлого будущего — того времени, когда отдельных приложений в мире существовать больше не будет.

OLE и в самом деле весьма продвинутая технология. Она позволяет в документ одного приложения вставить контент, создаваемый другим приложением. Хитрые OLE-контейнеры (единственным экземпляром которых являлся Microsoft Binder) могли даже этот чужой контент разбивать на свои страницы и делать ему сквозную нумерацию.

Теперь же я об OLE вспоминаю, только когда пытаюсь вставить диаграмму в презентацию. На маке ничего аналогичного OLE нет, поэтому приходится экспортировать диаграмму OmniGraffle в картинку и вставлять эту картинку в Keynote.

Но и под Windows OLE почти мертво — его больше не продвигают. Причина в том, что он слишком сложен, а пользователю меньше всего на свете хочется сюрпризов.

Вставка картинки в презентацию — совершенно понятное действие, картинка останется там и ровно такая, какая была.

Вставка в презентацию объекта, который ведет себя как картинка, но на самом деле является сложной штукой, что проявляется только в редкие моменты, создаёт ощущение непонимания. Теперь у тебя не просто документ, состоящий из того, что ты в него добавил — теперь в нем живет сложная своенравная штука.

Своенравность штуки, кстати, не только суеверие — встроенные (embedded) объекты порой действительно ведут себя неожиданно (например, при попытке их resize'ить, что выполняется масштабированием метафайла без активации OLE-сервера), а контейнеры зачастую начинают больше глючить.

Теперь о том, как можно сотворить более простой функциональный аналог OLE. Хитрости здесь две:

1. Сделать в OmniGraffle опцию «при каждом сохранении экспортировать диаграмму в картинку и класть рядом».

2. Сделать, чтобы Keynote проверял, не изменились ли на диске картинки, которые были вставлены в документ, и, если да, ненавязчиво предлагал опцию быстренько обновить их с диска.

Эффект такой же, ощущение предсказуемости процесса в разы выше. Заодно такие возможности полезны и для других применений.

Золотое правило: интерфейс не должен содержать сложных концепций.

Второе золотое правило: если из-за какой-то функции программа начинает больше глючить, пользователь свяжет эту функцию с мистикой и начнет её бояться.

Сложные функции больше подвержены ошибкам. Не пугайте ваших пользователей.

Измеряем интеллигентность

Терпимость (как правило) характерна для людей средней интеллигентности. Люди менее образованные (обычно) боятся отличаться, а более интеллигентные (часто) считают, что те, кто от них отличается, неправы.

Крокодилы — это наше всё

Спецификация дизайна, разработанного сегодня с dottedmag'ом. (Начало опущено, ибо скучное.)

3.2. …Назовем такую последовательность Большим Красным Попугаем (Big Red Parrot, BRP), а каждый элемент ее несокращенной записи (например, bar:12) назовем Куском Мяса (Piece of Flesh, PoF).

4. Большой красный попугай — мысленная концепция, она слишком длинная и дорогая, чтобы быть примененной в реальном анализе. Поэтому нам необходимо ввести Маленького Зеленого Крокодила (Little Green Crocodile, LGC). Но перед этим отметим важный факт.

4.1. Большие красные попугаи линейно упорядоченны.

4.2. Маленький зеленый крокодил — шаблон, соответствующий набору больших красных попугаев.

4.3 Взрослый (полностью построенный) маленький зеленый крокодил всегда начинается с обрубка хвоста (да, их купируют, как у спаниелей), обозначаемого звездочкой.

4.4. Пример крокодила — «* bar:15..21 (bar:22..bar:30 / bar:24)* foo:1..3».

4.5. После обрубка хваста идет набор кусков мяса, и/или диапазонов кусков мяса, и/или колец (которые он позаимствовал у удава).

4.6. Кусок мяса — это просто позиция в сорцах, например foo:5.

4.7. Диапазон кусков мяса — это два куска мяса, путь исполнения между которыми можно по ним однозначно (и быстро) определить. Будем писать foo:n..bar:m или же сокращенно foo:n..m. Что конкретно означает фраза «путь исполнения между которыми можно по ним однозначно (и быстро) определить», предстоит еще уточнить. (Например, это может означать, что оба куска мяса находятся в одной и той же функции, так что простым проходом исходного кода можно легко перечислить, что было между ними.) Совершенно точно, что между этими двумя кусками мяса может располагаться сложный цикл, так что под «быстро определить» понимается не перечисление всех Больших Красных Попугаев, а некое концептуальное понимание того, какие инструкции входят в диапазон.

4.8. Кольцо — это возможность неограченного числа повторений некоторой части крокодила, с остановкой на одном из кусков мяса, входящих в эту часть. Пример — «(bar:22..bar:30 / bar:24)*» (выполнено сколько угодно итераций цикла bar:22..bar:30, при этом на последней из них мы остановились на bar:24).

4.9. По мере развития теории крокодилов мы, возможно, выведем особей с другими разновидностями частей.

5. С маленькими зелеными крокодилами определено несколько фундаментальных операций.

5.1. Утолщение маленького зеленого крокодила относительно гоала X. Пусть голова (голова у крокодила справа) выглядит как foo:7..8. Пусть смежные с foo:7..8 строчки foo:5, foo:6, foo:9 и foo:10 не влияют на результат X. Тогда мы расширяем голову до foo:5..10.

5.2. Удлинение маленького зеленого крокодила. Пусть хвост (он слева) крокодила выглядит как bar:5. Тогда мы выясняем, откуда мы могли прийти к bar:5, и приписываем эту точки слева, получая что-то вроде «bar:4..5», а потом, по мере продолжения удлинения, «boz:88 bar:1..5».

5.3. Кормление маленького зеленого крокодила дописывает заданный кусок мяса справа, делая его новой головой.

5.4. Заднее попугаенье (backward parrotizing) маленького зеленого крокодила получает набор маленьких зеленых крокодилов, описывающий набор больших красных попугаев, исполняемых непосредственно перед большими красными попугаями, которых описывает исходный маленький зеленый крокодил.

5.5. Переднее попугаенье (forward parrotizing) маленького зеленого крокодила получает набор маленьких зеленых крокодилов, описывающий набор больших красных попугаев, исполняемых непосредственно после больших красных попугаев, которых описывает исходный маленький зеленый крокодил.

5.6. Крокодильчонок — это крокодил без обрубка хвоста. Купированием крокодильчонка получают взрослого маленького зеленого крокодила. Например, из «foo:7 bar:5..10» получается «* foo:7 bar:5..10». Во всём остальном крокодильчонки ведут себя также, как и взрослые крокодилы (что естественно, они же тоже крокодилы, только еще маленькие).

6. Крокодилы — это наше всё.

6.1. В анализе каждому construct'у соответствует кусок мяса, например, foo:7.

6.2. Первым делом из этого куска выращивают крокодильчонка (например, можно взять пустого крокодильчонка и накормить его этим куском). Получаем крокодильчока foo:7.

6.3. Далее мы выясняем, есть ли в кэше крокодилы, головна которых совпадает с нашим крокодильчонком. Если есть, мы удлиняем крокодильчонка до тех пор, пока он либо не совпадет с каким-то крокодилом из кэша (за исключением обрубка хвоста, разумеется), либо пока он не перестанет быть похожим на крокодилов их кэша.

6.4. Если крокодильчонок совпал с кем-то в кэше, то всё скучно, берем результат из кэша. Рассматриваем случай, когда он не совпал.

6.5. Теперь у гоала зовется preRun, и мы начинаем его реально вычислять. Пусть наш goal — «значение переменной Z». У нас есть несколько стратегий вычисления, которые могут быть выражены через операции с крокодилом.

6.6. Мы можем купировать крокодильчонка после первого же куска мяса, получив «* foo:7», выполнить поиск всех присваиваний переменной Z и соединив их результаты. Такой уровень точности анализа (grade) мы можем назвать NO_FLOW. Мы получим ответ (NO_FLOW: * foo:7 => A | B | C), который можно кэшировать.

6.7. Мы можем выполнять заднее попугаенье, по необходимости удлинняя крокодильчонка, в поисках присваиваний Z. Например, в момент, когда крокодильчонок станет bar:25..30 foo:1..7, мы можем встретить Z=42. Тогда мы запишем ответ (EXACT: bar:25..30 foo:1..7 => 42). С другой стороны, мы могли встретить присваивание Z=Y, и тогда мы бы продолжили искать значение Y с тем же крокодильчонком, который мог стать при этом еще длиннее, и в итоге закэшировали ответ вроде (EXACT: boz:15 bar:20..30 foo:1..7 => 24). [Хитрый реализационный момент — как удлиннять крокодильчонка, при этом для Y сделав вид, что его середина — это голова.]

6.8. Мы можем использовать эвристику, чтобы упростить крокодила перед записью в кэш. Например, циклы (повторяющиеся последовательности) можно заменять кольцами, если они не влияют на наш гоал (или если вляют не сильно, и мы хотим немного потерять точность анализа). Ясно, что чем более общего вида получится крокодил, тем полезнее будет кэш.

Scorpions в Новосибирске

Вернулся с концерта Scorpions в Новосибирске. Как всегда, понравилось, но средне (ибо я за хорошую акустику и отсутствие толпы с аплодисментами). Прозвучало:

Hour I (Humanity: Hour I, 2007);
Coming Home (Love at First Sting, 1984);
The Zoo (Animal Magnetism, 1980);
No Pain No Gain (Face The Heat, 1993);
Deep and Dark (Unbreakable, 2004);
Coast to Coast (Lovedrive, 1979); — спасибо Константину за «опознание» этой мелодии
Always Somewhere (Lovedrive, 1979);
Send Me An Angel (Crazy World, 1990);
You And I (Pure Instinct, 1996);
Living For Tomorrow (Still Loving You, 1992);
Hey You (Animal Magnetism, 1980);
321 (Humanity: Hour I, 2007);
Alien Nation (Face The Heat, 1993);
Dynamite (Blackout, 1982);
Blackout (Blackout, 1982);
Соло барабанщика;
Still Loving You (Love at First Sting, 1984);
Humanity (Humanity: Hour I, 2007);
Wind Of Change (Crazy World, 1990);
Rock You Like A Hurricate (Love at First Sting, 1984);
When The Smoke Is Going Down (Blackout, 1982);
A Moment In A Million Years (Eye II Eye, 1999).

Есть подозрение, что где-то в конце я пропустил Is There Anybody There (Still Loving You, 1992).

ФИТ 2007–2008

4-й курс ФИТ НГУ (будущего) выпуска 2008 года — полный и откровенный пиздец. Людям по 20 лет, а они ведут себя, как в 14. Кто-нибудь постоянно на кого-нибудь обижается, какие-то бурлящие мелкособственнические сиюминутные переживания, весь прочий идиотизм, который должен был пройти годы назад.

И здесь я с большой любовью передаю привет нашему прошлогоднему выпуску. Взрослым людям, которых интересовал поиск работы, технологии, фондовые рынки, дизайн и кошки, раскрутка нелегальных сайтов, ежики (здравствуй, Лёня!), покупка автомобилей, Firefox (Матвей, вечный респект); которые женились, играли на гитаре и покупали решения задач по графике. Довольно стабильным людям, которые более-менее знали, чего хотят. Господа, среди вас было приятно находиться, и вы в основном успешно противостояли системе и маразму.

Остальные — ну повзрослейте же вы, наконец. Вадим, черт побери. Леон, мать вашу. Дьяков. Попова. Ужас.

To whom it may concern

Переслушивая в очередной раз для вдохновения Dark Side Of The Moon, решил, что эти слова стоят цитирования.

“…Tired of lying in the sunshine
Staying home to watch the rain
And you are young and life is long
And there is time to kill today
And then one day you find
Ten years have got behind you
No one told you when to run
You missed the starting gun

And you run, and you run to catch up with the sun, but it's sinking
Racing around to come up behind you again
The sun is the same in a relative way, but you're older
Shorter of breath and one day closer to death

Every year is getting shorter
Never seem to find the time
Plans that either come to nought
Or half a page of scribbled lines
Hanging on in quiet desparation is the English way
The time is gone
The song is over
Thought I'd something more to say”

(Pink Floyd “Time”)

А вам слабо? ;)

P.S. Осталось сделать то же самое для Ruby, Python и PHP. :)

Ищем разработчиков

Немецкая компания KEY-TEC Wiedemann und Konstantin GbR, в которой я проработал год, собирается расширить штат сотрудников в Новосибирске.

Вам предлагается:
— писать на Java под Eclipse и/или OSGi;
— создавать и поддерживать набор клиент-серверных enterprise-приложений, а также сопутствующие веб-сервисы;
— вероятно, будет свой офис, но возможно / в первое время придется работать удаленно, где-нибудь встречаясь;
— гибкий график, можно по желанию работать из дома;
— почасовая оплата в евро, 50–60 тыс. руб в месяц за full time (160 часов).

Требование — «не важно, что вы умеете, лишь бы человек был хороший». Если вы ни разу не использовали ни Java, ни Eclipse, но способны научиться им обоим за неделю, отлично. Прочие требования:
— иногда, возможно, почти каждый день быть в онлайне или приходить на работу — правда, как я уже сказал, офиса может и не быть;
— легко понимать письменный английский и понятно выражаться на нем;
— иметь на работу достаточно времени;
— возлюбить меня как менеджера своего.

Я хочу в будущем сосредоточиться на своих личных проектах, так что у вас есть возможность роста на мою позицию (через эдак полгодика, или раньше, или позже, или никогда — всё зависит только от вашей квалификации).

Если вас интересует такое, пожалуйста, пришлите по адресу andreyvit@gmail.com (т.е. мне) ваше резюме на английском языке.

Как работает статический анализ DTL: дизайн движка анализа

(Предполагается, что вы прочти предыдущий пост про алгоритмы.)

В основе всего лежит движок анализа, умеющий вычислять цели (goal'ы). Список целей есть в предыдущем посте — это, например, тип данной ноды, тип данной локальной пемеренной или список вызвавших данный метод.

Анализ начинается с корневой цели, которая передается методу AnalysisEngine.evaluate. При вычислении цели у нее вызывается Goal.evaluate, которому передается объект ContinuationRequestor.

Goal.evaluate (естественно, Goal — это интерфейс, далее я о таком упоминать не буду) может либо вычислить цель (сохранив результаты в ней же) и спокойно завершиться, либо создать объект, реализующий Continuation, и передать его в ContinuationRequestor.subgoal(Continuation).

Continuation, будучи создан Goal'ом, имеет два метода: provideSubgoals и done. Метод provideSubgoal возвращает (вернее, передает переданному ему requestor'у, но это не важно) набор Goal'ов, которые он хочет вычислить. Когда все те Goal'ы вычислены, у предоставившего их Continuation'а вызывается Continuation.done(ContinuationRequestor). Предполагается, что Continuation сохранил goal'ы внутри себя и Continuation.done() может получить из них результаты.

Continuation.done(ContinuationRequestor), аналогично Goal.evaluate(ContinuationRequestor), может либо вычислить результаты goal'а и спокойно завершиться, либо создать новый Continuation.

В результате мы имеем архитектуру, в которой цели могут запускать рекурсивное вычисление подцелей. При этом этап вычислений естественно запоминается в виде объектов (если запороть дизайн в этом месте, goal'ы превращаются в машины состояний с трудно отслеживаемым временем жизни полей), и не теряется информация о типе подцелей (что отражается на реализации Continuation.done).

В идеале AnalysisEngine проходится по goal'ам и их continuation'ам в ширину (т.е. сначала проходит по всем имеющимся goal'ам и continuation'ам, вызывая у них evaluate или done; затем проходит по созданным на предыдущем проходе continuation'ам, и т.д.) Однако в нашей реализации производился обход в глубину из-за некоторых утилитарных причин.

Как работает статический анализ DTL: алгоритмы

(Настоящая цель этого поста — дать необходимый контекст для куда более интересного мне поста про дизайн анализа.)

Вычисление типов. DTL — язык с динамической типизацией, поэтому его анализ требует возможности вычислить тип любого заданного выражения в программе. (Под «заданным выражением» мы понимаем любой узел абстрактного синтаксического дерева — AST, и узлы эти в дальнейшем будем величать нодами.)

Наша IDE использует demand-driven анализ. Его суть проще всего понять на примере, которых ниже достаточно. Выбора между итеративным и demand-driven анализом мы еще когда-нибудь коснемся.

Demand-driven анализ весьма и весьма рекурсивен, поэтому описания алгоритмов тоже будет постоянно ссылаться друг на друга. На самом деле анализ реализован не совсем рекурсией, а промежуточные результаты кэшируются, но мы оставим этот разговор до следующего поста.

Для наших целей не требовалось выведение примитивных типов (например, целых чисел и строк), а в языке отстутствует перегрузка операторов, поэтому ноды вроде сложения и умножения вообще не обрабатываются. В результате получается следующий набор нод, для каждой из которых нам нужно уметь вычислять их типы:
— вызов метода;
— обращение к массиву;
— идентификатор (который может ссылаться на тип или на переменную).

Кроме того, помимо нод, нам нужно научиться определять:
— тип возвращаемого значения конкретного метода конкретного класса;
— тип локальной переменной;
— тип аргумента;
— тип поля;
— тип глобальной переменной.

Runtime-модель. В ходе вычислений постоянно требуется знать списки классов и методов всей программы, поэтому перед запуском анализа мы делаем дополнительный проход по файлам, собирая следующую информацию:
— список классов;
— список методов каждого класса;
— список полей каждого класса;
— список локальных переменных каждого метода;
— список глобальных переменных.

Идентификатор. Сначала мы проверяем, есть ли класс с таким именем. Если есть, то тип идентификатора — этот самый класс. Если нет, то ищем в текущей области видимости переменную с таким именем. Мы найдем либо локальную переменную, либо аргумент, либо поле, либо глобальную переменную. Запускаем анализ для них, и ответ выдаем в качестве результата.

Вызов метода. Запускаем анализ для выражения слева от точки. Для всех классов, которыми может быть то выражение, ищем метод с таким именем. Получаем набор кандидатов. Далее запускаем анализ для каждого аргумента. Когда он выполнен, запускаем анализ возвращаемого значения каждого из кандидатов, передавая ему тип получателя (т.е. выражения слева от точки) и типы аргументов.

Локальная переменная. Проходим AST текущего метода и находим все присваивания этой переменной. (Т.е. находим текстуально все присваивания переменной с таким именем.) Запускаем анализ для правой части каждого присваивания. Результаты объединяем.

Аргумент. Делаем то же, что и для локальной переменной. Затем, если в текущий метод мы пришли из другого метода, то типы аргументов в конкретной точке вызова были уже вычислены, и мы просто используем их, объединяя с результатами анализа для локальной переменной. Если же типы аргументов не известны, то мы находим все вызовы нашего метода, и в каждом вызове запускаем анализ для соответствующего аргумента. Результаты объединяем.

Дополнительный финт: если описанный выше подход не вычислил ни одного возможного класса для нашего аргумента, то мы собираем все имена методов, которые вызываются у данного аргумента, и отбираем классы, имеющие все эти методы (за исключением методов, которых нет ни в одном классе — их, вероятно, написали с ошибкой или еще не реализовали). Это позволяет делать completion в методах, которые только что созданы или которые никто не вызывает.

Поле. Тривиально. Мы проходим по всем методам класса, в каждом находим все присваивания переменной с таким именем (да, для прототипа мы не заботились о сокрытии имен — можно было еще проверить, что это действительно ссылка на поле), для каждого запускаем анализ типа правой части. Результаты объединяем.

Глобальная переменная. Вы это уже угадали. Во всех программе находим все присваивания переменной с таким именем, для каждого запускаем анализ типа правой части и результаты объединяем.

Тип возвращаемого значения метода. Находим в методе все операторы return, вызываем анализ для выражения в каждом из них, результаты объединяем.

Все вызовы метода. (Нужно для анализа типа аргументов, и для построения иерархий вызовов.) Находим во всей программе вызовы методов с таким именем, запускаем анализ выражения слева от точки, для каждого получившегося класса смотрим, может ли наш метод быть у него вызван (т.е. класс наш или унаследован от нашего).

Массивы. Когда мы встречаем присваивание переменной вида a[2] = x, мы запоминаем, что присваивание выполнялось переменной a, но вычисленный тип x нужно сначала обернуть в тип-массив.

Когда нам нужно вычислить тип a[2], мы запускаем анализ для a, затем среди возможных типов переменной отбираем типы-массивы и разворачиваем их, получая типы элементов.

Индекс. Поскольку обход 35 тыс. строк программы занимает около 50 мс и требуется для каждой глобальной переменной (которых мало, что дает около секунды) и каждого метода (которых много, что дает десятки секунд), мы предварительно обходим всю программу, запоминая все вызовы методов и все присваивания переменным, и группируя их по именам (так, что за константное время по заданному имени можно найти все его вызовы и все присваивания ему).

Статический анализ. Статический анализ, например, существования методов запускает анализ типа каждого выражения слева от точки, и смотрит, есть ли среди методов возможных типов этого выражения вызванный метод. Если нет, то фиксируется ошибка. Остальные виды сделанных нами анализов столь же тривиальны.

DTL IDE

За прошедшую неделю (в компании с fourdman'ом) создан прототип IDE для очень малоизвестного (in-house) языка DTL (Dynamically Typed Language). В комплекте:
— частично восстанавливающийся парсер на ANTLR;
— вычисление типов с обработкой массивов;
— отображение иерархии типов;
— отображение иерархии вызовов (на базе вычисления типов);
— статические проверки существования методов, количества аргументов и наличия определений переменных (язык требует явных определений).

Отсутствует: инкрементальный анализ, учет локального control flow функций, честный data flow для значений, соответственно, и честная обработка коллекций (но наш частичный вариант неплохо работает на реальном коде), распараллеливание анализа.

На всё вычисление типов ушло примерно 3 дня работы одного человека. Парсер потребовал необычайно много времени (около 4 дней, наверное), статические анализы приделаны примерно за пару часов. За иерархии типов в DLTK надо кое-кого поиметь, но об этом fourdman может поведать куда больше и красочнее.

После вечера и ночи за (в основном ручным) профилированием полный статический анализ 36 тыс. строк кода на DTL (с вычислением всех типов) занимает 2 секунды на Core 2 Duo 2.2 GHz (тогда как еще вчера днем это было около 60 секунд).

Из DLTK использована поддержка UI для Quick Type Hierarchy и для Call Hierarhy, Outline и Script Explorer. Чтобы это всё легко заработало, пришлось юзать ASTNode (но все конретные ноды наши) и строить языковую модель DLTK.

2007

Новый Год отмечался in the frickin' hometown Novokuznetsk. Отоспался: полдороги 30-го, полдня (с 0 до 18-и) 31-го и полдня (с 2-х до 17-и) 1-го. Сон — одно из самых больших удовольствий. С другой стороны, здесь все только что переболели, так что, вероятно, я просто went down for maintenance по запросу организма.

В 2007-м /me:
— успешно завершил несколько проектов по работе;
— побывал в Силиконовой Долине и выступил на серьезной конференции разработчиков;
— начал работать удаленно из дома;
— собрал отличных людей для разработки собственного продукта;
— прочувствовал, насколько сложно заниматься стартапом, не отказываясь от основной работы;
— развелся с супругой;
— по крайней мере частично научился любить, не требуя ничего взамен.

Пора активнее творить своё будущее, иначе мы никуда не придем. Придумываю, какие изменения в жизни реализовать.