Launching Circle of Light Mastodon Server

Dmitry Borodaenko

English

Circle of Light Mastodon server is now open for registration. It is a different server from all the others, although not in the way you might think.

The superficial difference is that Circle of Light calls itself a faith-based organization. I know, I know: this is going to raise a lot eyebrows, questions, and red flags. Please spare me a minute as I explain what this means, what this doesn’t mean, and why I decided to set it up this way.

I’ll start with something that will very likely preclude me from ever running for public office in the United States: I am an Atheist. I was raised that way by my grandparents. When I was younger and was looking for new ways to add meaning to my life, I considered other religions. I studied Christianity, Zen Buddhism, Taoism, and found much to like in each, just not enough to make one my moral core.

Eventually, I found the explanation of my inability to commit to any of the major religions in Peter Kropotkin’s “Words of a Rebel.” In Chapter 14 “Law and Authority,” he exposed the original algorithmic bias: a millenia old practice of infusing reinforcement of inequality into codes of law populated mostly by obvious and seemingly well-intentioned rules.

Once you see the subjugation of women in the Tenth Commandment’s “thou shalt not covet your neighbor’s wife or other belongings,” the plot holes in the beautiful story offered by Christianity become hard to ignore.

Why then would I go anywhere near faith when setting up a new community?

Because I want to be transparent and accountable about the beliefs and principles that guide my understanding of right and wrong, and because in the United States, where the constitutional protections of the freedom of conscience are not evenly applied to those who practice religion and those who do not, declaring that your organization is guided by a coherent set of moral principles – or, in legal terms, is faith-based – makes a difference.

So I sat and wrote down what I believe is right and wrong. And while I (obviously!) think that the creed I developed for myself is pretty cool, I am not going to impose it on anyone else. If you’re good with the server rules, you’re welcome here, period. No further expectations.

If you want to help run the Mastodon server and other things we may set up for this community in the future, I will also expect you to support the basic tenets of the Circle of Light: all people are equal, facts are facts, love is love. Shouldn’t be too hard to square these with most religions or absence thereof.

In fact, these are basically a reiteration of the first clause of the Mastodon Covenant: if you don’t keep racism and other prejudice off your server, your server will get kept off Fediverse. As I said: this one is only a superficial difference.

The substantial difference that does put expectations on you as a user of Circle of Light Mastodon is how we are going to keep this server healthy in the long run. The organizational principles I want the Circle of Light community to run on are transparency, predictability, and fairness.

After two and a half decades at the intersection of open source, activism, and engineering leadership, I learned that relying on magic, heroics, and unpaid labor doesn’t scale and doesn’t last. Eventually you end up with something unreliable, unsustainable, and worst of all, exploitative.

Magic is when something just works, and you don’t know why. When it’s rare, it’s a delightful surprise. When magic is all you have, the name for it is opacity, and all you learn from it is helplessness. The opposites of magic – transparency and observability – are empowering.

Heroics is when someone sacrifices their own resources to help resolve someone else’s crisis. Just as with magic, with heroics the line between glorious and abusive is quantitative. What a need for a hero really shows is lack of preparation – an excuse that only works the first time. Don’t burn out your heroes, put some effort into preparing for your next crisis.

Much of Fediverse currently runs on heroics and magic. People with money and time to spare set up new servers and volunteer for the ungrateful job of content moderation, and all together provide a delightful experience for millions of Twitter refugees. It works like magic – as in, when it doesn’t, you’re still helpless.

For example, as a way to offset the risks with choosing your first server, Mastodon offers the tools to migrate your followers and block lists when you move from one server to another. But you can only do that if your old server doesn’t just abruptly disappear, and even then you still have to leave all your posts and DMs behind.

Does this make Fediverse a bad social platform? Only the same way that democracy is a bad system of government – it is still better than every other alternative. Democracy isn’t the Constitution – it is the people who give it meaning when they vote, make laws, expose corruption, and otherwise pay attention to how it works. Fediverse isn’t the ActivityPub protocol – it is the people who give it meaning.

In the face of the current crisis, I feel an obligation to do my part, and that includes contributing my skills and my free time to add another well-run Mastodon server to the Fediverse. I’ve done something like this many times before, at the scale of hundreds of users of Indymedia Belarus, and at the scale of over a billion on Instagram. But this time, I don’t want to be a mercenary, and I don’t want to be a hero. Instead, I want you all to hire me.

I set up Circle of Light Mastodon to require minimal effort to operate, while still having enough room to scale and enough control to migrate as needed. I used managed Kubernetes, Postgres, Redis, and object storage on DigitalOcean, Mailgun for outgoing emails, and Cloudflare for DDoS mitigation; GitOps configuration management with Terraform Cloud, FluxCD, and Mozilla SOPS; observability for Kubernetes, Mastodon, and Nginx Ingress with Prometheus Operator and Grafana.

In a very minimal configuration just large enough to be reliable (one standby for Postgres, two Kubernetes nodes), my monthly hosting bills are $309 for DigitalOcean and $35 for Mailgun. I could fit a comparable setup on an old NUC at home, but in reality that wouldn’t be as reliable (no protection from power and ISP outages), and would cost more than $350/month in engineering hours to manage the fundamentals like backups, software updates, and hardware failures.

Until (if at all) this server grows to hundreds of thousands of users, hosting, even at non-discounted cloud prices, will remain a fraction of the overall cost of operation. At first, I expect to spend at least 8h/wk on system operations (scaling & upgrading the apps, dealing with reliability incidents and risks), 8h/wk on software engineering (contributing to existing and writing new tools and docs for operating Mastodon servers), and 8h/wk on content moderation and communications.

I intend to hand over moderation and communications to other people as soon as I can, and that means as soon as I can pay people to do it. As a white cis man in tech, I am uniquely unqualified to make moderation decisions. Representatives of underprivileged and marginalized communities who are most likely to be targeted by online abuse should get to decide what is and what isn’t abusive, and expecting them to do this kind of unpleasant work for free is wrong in every possible way.

According to MIT Living Wage Calculator and levels.fyi, I should pay myself and other people I hire at least $90/h for engineering work and $40/h for content moderation. This puts my baseline of sustainability at $7,000/mo: until I convince enough people to subscribe and donate this much every month, I’m stuck being a hero – someone sacrificing their own resources for the public good.

The good news is that Mastodon scales reasonably well. Even my minimal setup can support more than 1,000 active users, and can be scaled to 50,000 with little effort and better than linear (i.e. less than 50x) increase in hosting cost. Divided between that many people, $7,000 is not insurmountable. For example, if we get to 10,000 users and 50% pay $1/mo and 10% pay $10/mo, we’ll have enough for hosting, engineering, and content moderation.

Here is my offer for you. I will always be transparent about how this server operates, how much it costs, and how much people have donated to support it. I will always uphold the Mastodon Covenant and the creed of the Circle of Light. I will maintain the balance between keeping registrations open and hiring enough moderators to keep the community safe and the conversations healthy.

I will keep this server running for at least 1 year. If by then it is not on track to become financially sustainable, I will keep it running long enough for people to migrate their accounts before I shut it down. If this server becomes sustainable, I will hire a team that can keep it going with or without me, and I will publish everything – source code, policies, training materials, receipts – to help others replicate it and set up similar sustainable communities.

You can support Circle of Light in several ways:

Let’s go.

Па-беларуску

Запрашаем рэгістравацца на сервер Мастодону “Кола Сьвятла”. Гэты сервер адрозніваецца ад іншых, але не такім чынам, як можна было б падумаць.

На першы погляд, розьніца ў тым, што Кола Сьвятла называе сабе арганізацыяй вернікаў. Я разумею, што гэта гучыць дзіўна, нават падазрона. Дайце мне пару хвілінаў, і я паспрабую растлумачыць, што гэта на самой справе адзначае, чаго не адзначае, і чаму я вырашыў карыстацца такой фармуліроўкай.

Я пачну з выказваньня, якое ў ЗША адразу дыскваліфікуе людзей ад намінаваньня на выбарныя пасады: я атэіст. Так мяне ўзгадавалі мае дзядуля і бабуля. Калі я быў маладзейшы і шукаў сэнс жыцьця, я цікавіўся іншымі рэлігіямі. Я вывучаў хрысціянства, дзэн-буддзізм, даосізм, і знайшоў у іх шмат вартага – але недастаткова, каб зрабіць адну з гэтых рэлігій сваім маральным стрыжанем.

З цягам часу я знайшоў тлумачэньне маёй нездольнасьці аддацца ні воднай з сусьветных рэлігій у “Прамовах бунтаўніка” Петра Крапоткіна. У 14й прамове пад назвай “Закон і ўлада” ён выкрывае тое, што зараз модна называць алгарытмічнай перадузятасьцю (algorithmic bias): старую як сама цывілізацыя традыцыю падмешваць умацаваньне няроўнасьці ў статуты, большая частка якіх запоўнена відавочнымі і быццам дабранамернымі правіламі.

Пасля таго, як навучышся бачыць прыгнёт жанчын у словах дзесятай запаведзі “не жадай жонку суседза ці іншую яго маёмасьць”, становіцца цяжка разбачыць сюжэтныя дзіркі ў цудоўным аповедзе, які прапануе нам хрысціянства.

Ну і чаму пасля гэтага я ўвогуле вырашыў звязвацца з веравызнаньнямі?

Таму, што я жадаю быць празрыстым і адказным у тым, што датычыцца сьветапогляду і прынцыпаў, якія вызначаюць маё разуменьне дабра і зла, і таму, што ў Злучаных Штатах, дзе канстытуцыйная абарона свабоды сумленьня неаднолькава абараняе тых, хто практыкуе рэлігію, і тых, хто не, заява, што твая арганізацыя заснаваная на суцельным сьветапогляды і маральных прынцыпах – што фармальна адзначаецца як “арганізацыя вернікаў” – мае практычныя наступствы.

Вось я і сеў і запісаў маё разуменьне дабра і зла. І хоць я (зразумела!) лічу, што маё веравызнаньне – найлепшае на сьвеце, я не зьбіраюся яго нікому навязваць. Калі вы згодныя з правіламі сервера, гэта ўсё, што патрэбна – заходзьце, калі ласачка.

Калі вам цікава ўдзельнічаць у кіраваньні Мастодонам і іншымі сервісамі, якія мы ў будучыні наладзім, ад вас дадаткова патрабуецца падтрыбліваць асноўныя прынцыпы Кола Сьвятла: усе людзі роўныя, факты ёсьць факты, а каханьне ёсьць каханьне. Дастаткова проста, каб не было цяжкасьцей сумесьціць гэта з амаль любой рэлігіяй ці яе адсутнасьцю.

Насамрэч, гэтыя прынцыпы – амаль копія першага пункту ў Дамове сервероў Мастодона: калі вы не будзеце выкідаць расізм і іншыя забабоны з вашага серверу, ваш сервер выкінуць з Федыверсуму. Таму, як я і казаў – наяўнасьць заяўленага крэда толькі падаецца адрозненьнем гэтага сервера ад іншых.

Істотнае адрозьненьне, якое карыстальнікі Кола Сьвятла павінны разумець – у тым, што патрабуецца, каб гэты сервер заставаўся жыццяздольным у доўгатэрміновай перспектыве. Я прапаную пакласьці у аснову суполкі Кола Сьвятла прынцыпы празрыстасьці, прадказальнасьці і роўнасьці.

Пасля дьзвух з паловай дзесяцігоддзяў на скрыжаваньні опенсорса, актывізму і кіраваньня інжэнернымі камандамі, я ведаю, што на адных магіі, подзьвігах і працы задарма нічога вартага не пабудуеш. Рана ці позна вынікам будзе нешта ненадзейнае, нежыццяздольнае, а самае галоўнае – эксплуатацыйнае.

Магія – гэта калі нешта працуе, і ніхто не разумее чаму. Калі гэта здараецца час ад часу – гэта цудоўна. Але калі магія паўсюль і ўвесь час – яна называецца непразрыстасьцю, і не вучыць нічаму, акрамя бездапаможнасьці. Супрацьлегласьць магіі – празрыстасьць і відавочнасьць – дае людзям волю.

Подзьвіг – гэта калі нехта ахвяруе ўласные рэсурсы, каб дапамагчы пераадолець крызіс іншым людзям. Як і з магіяй, тут межа паміж узаемадапамогай і эксплуатацыяй таксама колькасная. Патрэбнасьць у героях узьнікае там, дзе бракуе падрыхтаванасьці. Гэта нармальна першы раз, але не калі гэта адбываецца ўвесь час. Не прымушайце сваіх герояў перагараць, рыхтуйцеся да свайго наступнага крызісу загадзя.

Федыверсум пакуль што працуе з большага на подзьвігах і магіі. Людзі, ў якіх ёсьць грошы і час, наладжваюць новыя серверы, валанцёраць у няўдзячнай ролі мадэратараў, і ўсе разам ствараюць цудоўнае асяроддзе для мілёнаў уцекачоў з Твітэра. Працуе як магія – ў тым сэнсе, што калі не працуе, ты зноў бездапаможны.

Напрыклад, каб паменьшыць рызыкі, зьвязаныя з выбарам свайго першага сервера, Мастадон прапануе прылады, якія дапамагаюць перанесьці свае сьпісы паслядоўнікаў і блякіровак, калі пераязджаеш на іншы сервер. Але гэта працуе толькі калі твой стары сервер не зьнік у адначассе, і нават тады ўсе пасты і прыватныя паведамленьні застаюцца на старым серверы.

Ці робіць гэта Федыверсум кепскай платформай? Толькі ў тым жа сэнсе, што демакратыя – кепская сістэма арганізацыі грамадзтва, яна ўсё роўна лепей за ўсе іншыя альтэрнатывы. Дэмакратыя – гэта не канстытуцыя, а людзі, якія надаюць канстытуцыі сэнс тым, што галасуюць, робяць законы, выкрываюць карупцыю, і іншым чынам сочаць за яе выкананьнем. Так і Fediverse – гэта не пратакол ActivityPub, а людзі, якія надаюць яму сэнс.

Надышоўшы крызіс сацыяльных сетах пабудзіў мяне зрабіць свой унёсак у яго пераадоленьне, і выкарыстаць свой досьвед і свой час, каб дадаць да Федыверсуму яшчэ адзін добра наладжаны сервер Мастодону. Я рабіў нешта падобнае і дагэтуль – і для некалькі соцен карыстальнікаў Беларускай Індымедыі, і для больш чым мільярды карыстальнікаў Інстаграма. Але гэтым разам, я не жадаю быць ні наймітам, ні героем. Замест гэтага, я жадаю каб мяне нанялі вы.

Я наладзіў Мастодон Кола Сьвятла такім чынам, каб на яго патрабаваўся мінімум высілкаў, але пакідаючы мейсца для росту і, калі патрэбіцца, для пераездаў. Я выкарыстаў сервісы Kubernetes, Postgres, Redis і Spaces на DigitalOcean, Mailgun для рассылкі электроннай пошты і Cloudflare для абароны ад DDoS. Кіраваньне канфігурацыяй па методыцы GitOps я наладзіў праз Terraform Cloud, FluxCD і Mozilla SOPS; маніторынг для Kubernetes, Mastodon і Nginx Ingress – праз Promethus Operator і Grafana.

Самая мінімальная канфігурацыя, якая адпавядае патрабаваньням надзейнасьці – резэрвная нода PostgreSQL, дзьве ноды Kubernetes – каштуе 309 даляраў у месяц на DigitalOcean і 35 на Mailgun. Тэарэтычна, ўсё гэта можна было б завесьці на старым Intel NUC у мяне дома, але гэта не працуе, калі дома прападае сьвятло ці інтэрнэтa, а фундаментальныя рэчы кшталту бэкапаў, рэмонтаў і апдэйтаў патрабуюць дадатковага часу, які каштуе больш за 350 даляраў.

Пакуль гэты сервер не перарасьце сотню тысячаў карыстальнікаў, хостынг застанецца дробязьзю ў параўнанні з коштам працы. Напачатку мне будзе патрэбна прыкладна 8 гадзін у тыдзень на падтрымку (масштабаваньне, апдэйты, розныя нечаканасьці), 8 гадзін на распрацоўку (палепшаць існуючыя і пісаць новыя прылады для кіраваньня Мастадонам, пісаць дакументацыю), і 8 гадзін на мадэрацыю і каммунікацыі.

Я жадаю як мага хутчэй аддаць адказнасьць за мадэрацыю іншым людзям. Як мага хутчэй – гэта калі будуць грошы плаціць за гэтую працу. Я лічу, што вырашаць, што з’яўляецца і што не з’яўляецца злаўжываньнем, павінны не белыя мужыкі з айцішнікаў, а тыя, супраць каго гэтыя злаўжываньні часьцей за ўсё напраўленыя. Прасіць прадстаўнікоў штоякіх маргіналізаваных суполак у ЗША рабіць гэтую непрыемную працу задарма было б тым самым злаўжываньнем і эксплуатацыяй, ад якіх я жадаю пазбавіцца.

Гледзячы на MIT Living Wage Calculator і levels.fyi, праца інжэнера ў Каліфорніі каштуе ад 90 даляраў за гадзіну, а праца мадэратара – ад 40. Гэтыя рэйты выводзяць маю планку жыццяздольнасьці на 7000 даляраў у месяц – пакуль я не пераканаю дастаткова людей падпісацца і не назбіраю столькі грошай у месяц, я буду вымушаны заставацца героем і ахваравяць уласныя рэсурсу на агульную справу.

Добрая навіна ў тым, што Мастодон добра масштабуецца. Нават маіх мінімальных наладак хапае на больш за тысячу карыстальныкаў, а з невялікімі дадатковымі высілкамі і меней чым прапарцыянальным ростам коштаў – і на 50 тысячаў. Падзеленыя на колькі тысяч карыстальнікаў, 7000 даляраў не такія вялікія грошы. Напрыклад, калі з 10000 карыстальнікаў палова данатавала б 1 даляр, і яшчэ 10% – 10 даляраў у месяц, гэтага б хапіла і на хостынг, і на мадэрацыю.

Вось вам мая прапанова. Я заўжды буду даваць празрыстыя справаздачы пра тое, як гэты сервер працуе, колькі гэта каштуе, і колькі грошай я атрымаў на яго з данатаў. Я заўжды буду прытрымлівацца Дамовы сервероў Мастадона і прынцыпаў Кола Сьвятла. Я буду трымаць баланс паміж адчыненай рэгістрацыяй і магчымасьцю нанімаць дастаткова мадэратараў, каб суполка заставалася бяспечнай і здаровай.

Я буду падтрымліваць гэты сервер самае меньшае 1 год. Калі праз гэты час не будзе бачна, што ён можа стаць фінансава жыццяздольным, я буду яго падтрымліваць дастаткова доўга, каб даць карыстальнікам час перавесьці аккаўнты, перад тым як яго зачыніць. Калі гэты сервер стане жыццяздольным, я пабудую такую каманду, якая здолее яго падтрымліваць ці са мной, ці без мяне, і я апублікую ўсё, што патрэбна – код, статуты, слайды, чэкі – каб і іншыя маглі рабіць такія ж жыццяздольныя суполкі.

Падтрымлівайце Кола Сьвятла праз:

Запрашаем.