ЦОД содержат 90% бесполезных данных
Нам нужно поговорить о данных. Дерьмовые данные. Мы разрушаем нашу среду, создавая и храня триллионы размытых изображений, сырых видео, поддельных «песен» ИИ, поддельных анимаций ИИ, видео и изображений, писем с огромными вложениями, презентаций, которые никогда не будут просмотрены, отчетов, которые никогда не будут прочитаны, файлов и чертежей отмененных проектов, черновиков черновиков, устаревшей, неточной и просто неверной информации, а также гигабайтов и гигабайтов плохо написанного, бессвязного контента.
Мы разрушаем нашу окружающую среду, чтобы хранить копии копий копий вещей, которые мы не собираемся когда-либо снова просматривать. Мы разрушаем нашу окружающую среду, чтобы делать 1,9 триллиона фотографий каждый год. Это больше фотографий, сделанных за один год в 2020-х годах, чем было сделано за весь 20-й век. Это более 200 фотографий, сделанных на каждого живого ребенка, женщину и мужчину. Каждый год. 12 триллионов фотографий и их число растет, хранятся в облаке, подавляющее большинство из которых никогда больше не будут просмотрены. Уму непостижимо, и именно этого хотят крупные технологические компании.
Я провел почти 30 лет, работая с сотнями крупнейших организаций мира в 40 странах, пытаясь помочь им лучше управлять своим контентом и данными. Вот что я узнал. Более 90% коммерческих или государственн��х данных — это хлам, полный абсолютный хлам. Точка. Их никогда не следовало создавать. Их определенно никогда не следовало хранить. Рост цифровых технологий привел к взрывному росту производства хлама из данных. Системы управления контентом были похожи на предоставление сотрудникам дизельных экскаваторов, тогда как раньше у них были только лопаты для данных. Я помню, как где-то в 2010 году я разговаривал с менеджером Microsoft, который подсчитал, что на Microsoft.com тогда было около 14 миллионов страниц, и что четыре миллиона из них никогда не посещались. Четыре миллиона, подумал я. Это по сути население Республики Ирландия страниц, которые никто никогда не посещал. Зачем они были созданы? Все время, усилия, энергия и отходы, которые были потрачены на все эти страницы, которые никто никогда не читал. Мы разрушаем нашу окружающую среду, создавая и храня хлам. И никого это не волнует.
Куда бы я ни пошел, везде была одна и та же старая история. Данные повсюду в дерьме. Распределенная публикация, которая позволяла практически любому публиковать все, что он хотел, в интрасети. И никто ничего не поддерживает. Когда Kyndryl, крупнейший в мире поставщик услуг ИТ-инфраструктуры, был отделен своей материнской компанией IBM, они обнаружили, что их данные были разбросаны по 100 разрозненным хранилищам данных. У нескольких команд было несколько копий одних и тех же данных. После очистки они удалили 90% данных. Существует 10 миллионов таких историй.
На сайте Scottish Enterprise было 753 страницы, из которых 47 страниц получали 80% посещений. Крупная организация, в которой я работал, имела 100 миллионов посещений в год на своем сайте, из которых 5% страниц получали 80% посещений. 100 000 ее страниц не просматривались в течение 10 лет. «Огромный процент обрабатываемых данных имеет возраст менее 24 часов», — объяснил компьютерный инженер Джордан Тигани. «К тому времени, когда данные становятся недельными, вероятность их запроса, вероятно, в 20 раз ниже, чем с самого последнего дня. Через месяц данные в основном просто лежат там». Общедоступный сайт Университета Саутгемптона обнаружил, что 0,2% страниц получили 90% посещений. Только 4% ее страниц когда-либо посещались. Таким образом, 96% из примерно четырех миллионов страниц не были посещены. У одной известной мне организации было 1500 терабайт данных, и менее 2% из них когда-либо были доступны после того, как они были впервые сохранены. Существует еще 20 миллионов подобных историй.
Большинство организаций понятия не имеют, какой контент у них есть. Это хуже. Большинство организаций даже не знают, где хранятся все их данные. Это еще хуже. Большинство организаций даже не знают, сколько у них компьютеров. По крайней мере 50% данных в конкретной организации находятся где-то на каком-то сервере, и никто из руководства не знает, существует ли он вообще; и им все равно. У среднестатистической организации есть сотни несанкционированных подписок на сторонние приложения, оплачиваемых кредитной картой какого-то менеджера, где хранится все: от чатов по проектам до черновиков отчетов и прототипов продуктов.
Облако сделало проблему мусорных данных бесконечно хуже. Облако — это то, что происходит, когда стоимость хранения данных меньше стоимости выяснения того, что с мусором делать. Одно исследование показало, что данные, хранящиеся в британских компаниях инжиниринга и строительства, выросли в среднем с трех терабайт в 2018 году до 26 терабайт в 2023 году. Это совокупный годовой темп роста 50%! Такой взрыв мусорных данных произошел — и происходит — повсюду. И никого в руководстве это не волнует, потому что хранить данные так «дешево». И именно на этом обучают ИИ. И мы удивляемся, почему ИИ так часто ошибается? Мусорные данные на входе. Мусорные данные на выходе. И никого это не волнует. Особенно никого это не волнует на уровне высшего руководства. Высшее руководство переполнено поклонниками Big Tech, которые скандируют о последнем чуде технологий, которое волшебным образом преобразит и подстегнет их карьеру. Общение с топ-менеджерами всегда было самой неприятной частью моей работы, потому что, когда дело касается технологий, эти менеджеры находятся на совершенно другом уровне глупого тщеславия и нарциссического преследования своих собственных эгоистичных интересов.
От автора:
Джерри Макговерн — основатель и генеральный директор Customer Carewords . Он широко признан мировым авторитетом в области повышения удовлетворенности пользователей веб-сайтов путем управления задачами клиентов. С 1994 года Джерри много выступал, писал и консультировал по вопросам управления веб-контентом. Gишет о негативном влиянии цифровых технологий на окружающую среду. Он написал восемь книг. Его последняя книга — World Wide Waste: How digital is kill the planet and what to do with this.
Источник: