arbitr57 (arbitr57) wrote,
arbitr57
arbitr57

LJSear.ch. Все архивы ЖЖ с 2000 по 2015 год

Год назад заработал бесплатный сервис LJSear.ch, в котором собраны архивы русскоязычной части LiveJournal за 2000–2015 годы.


Вот что рассказал о новом сервисе на сайте lifehacker.ru создатель сервиса Роман (kukutz):
Что такое LJSear.ch?
Это более терабайта архивов ЖЖ. Проиндексированы и доступны для поиска 340 миллионов постов и 1 миллиард комментариев с 2000-го по осень 2015 года. И всё это с привычными для поиска по блогам инструментами: ограничение по автору, по дате, по сообществу. Новые записи не индексируются, поскольку мы рассматриваем наш проект как архивный, мемориальный. Проект полностью некоммерческий, никакой рекламы и иных способов заработка не предполагает.
Зачем нужен сервис?
Осенью 2015 года возможности поиска по блогам Яндекса были ограничены только последним месяцем. Объяснение было простым: подавляющее большинство пользователей ищет информацию, связанную с недавними записями, и глубокий поиск для них избыточен. Это правда. Последнего месяца достаточно для задач вроде регулярного vanity search или мониторинга отзывов о каком-то свежем событии. Но есть задачи и более глубокие, исследовательские. Я считаю, что в ЖЖ случилась или как минимум нашла своё отражение почти вся русскоязычная культура нулевых годов. Значение этого архива трудно переоценить. Когда Яндекс закрыл поиск по архивам, я очень огорчился, поскольку убеждён, что это собрание информации должно быть сохранено для человечества. Ну и попросил у Яндекса архивы, а он внезапно согласился и дал их. Последние полгода на мне лежала ответственность за то, чтобы эти данные не пропали. Я позвал на помощь друзей, и среди них нашлись те, кто согласился помочь понять, можно ли сделать информацию доступной для поиска. Мы создали сервис LJSear.ch и вроде бы довели его до вменяемого состояния.
Кому может быть интересен проект?
Поскольку новые записи не индексируются, то аудитория, на которую я рассчитываю, это исследователи. Как в прямом смысле слова исследователи культурных пластов нулевых годов, так и просто настоящие или бывшие пользователи ЖЖ, которые хотят найти что-то, что было написано в те годы. А потому я не стал ограничивать максимальное время выполнения поискового запроса: исследователь может подождать выполнения сложного запроса и минуту, и две. При этом, конечно, простые запросы выполняются быстро, а если сервис обнаруживает, что запросов сейчас много, он включает управляемую деградацию, в том числе ограничивает тайм-аут запроса.

Я попробовал и ввел в поиск arbitr57. Среди разной всякой информации нашел даже благодарность себе.


Вспомнил. 6 лет назад, во дворе дома в Купчино, где жила savfor какой-то маньяк порезал колеса у её автомобиля. Конечно, надо было помочь хорошей девушке.
Каждый может найти для себя что-то полезное.
Создателю сервиса Роману (kukutz) и его друзьям-помощникам большое человеческое спасибо за нелегкий труд!
Tags: lifehacker.ru, ЖЖ, архив, помощь, программа
Subscribe

Recent Posts from This Journal

  • Знакомимся!

    Доброе утро, день, вечер! Дорогие друзья! Коротко о себе. Родители дали мне имя: Сергей. Живу в Санкт-Петербурге, рядом с бывшим "Речным вокзалом" и…

  • Фрукты на столе

    Фрукты должны быть на столе в каждом доме. Я встречаю с работы свою половину так. Иногда. Чаще бывает так - они могут находиться в вазах,…

  • Доброе утро! Хорошей субботы!

    Хорошей субботы и отличного настроения!

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 69 comments
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →