Skip to content

Latest commit

 

History

History
88 lines (63 loc) · 3.97 KB

README.md

File metadata and controls

88 lines (63 loc) · 3.97 KB

Зачем нужен этот проект?

В данном репозитории собран каталог доменов федеральных органов власти, организаций и иных учреждений домене gov.ru и на специализированных государственных доменах.

Цель создания каталога - в помощи проекту "Национальный цифровой архив" https://ruarxive.org в каталогизации и архивации сайтов органов власти и государственных Интернет-проектов.

В данный каталог включаются только:

  • домены относящиеся к государственным и муниципальным веб-сайтам
  • имеющие веб-интерфейс для использования неограниченным кругом лиц (не включаются сайты почтовых служб или закрытые авторизацией)
  • финансируемые за счёт бюджетных средств

Структура

Файл federal/roots.txt содержит корневые домены относящиеся к органам власти или государственным проектам и инициативам. Включает:

  • домены 1-го уровня органов власти такие как mvd.ru, mid.ru
  • домены 1-го уровня проектов и инициатив такие как gosuslugi.ru
  • домены 2-го уровня в зоне gov.ru для органов власти, такие как rosnedra.gov.ru и duma.gov.ru
  • домены 2-го уровня для госпроектов такие как budget.gov.ru и bus.gov.ru

В файле federal/roots.txt группы доменов разделены строками начинающимися с символа "#".

Обработанные данные

В каталоге "refined" собраны данные прошедшие ручную верификацию и обработку.

  • feddomains.csv - домены в ведении федеральных органов власти
  • organizations.csv - организации управляющие доменами федеральных органов власти
  • govsystems.csv - государственные информационные системы к которым домены привязаны
  • asn.csv - подсети (ASN) с привязкой к ним доменов
  • regions.csv - регионы к которым привязаны домены федеральных органов власти

Эти данные подготавливаются с рабочей базы в Airtable и экспортируются в данный каталог по мере обновления Доступ к базе https://airtable.com/tblrWqT4mBakeR0E5 можно запросить письмом на [email protected]

Федеральная власть

В каталоге "federal/lists" собраны списки поддоменов по отдельным доменам, списки формируются вручную и поиском ботами по сайтам органов власти и на других сайтах.

Список корневых доменов собран в файле "federal/roots.txt", а в файле "federal/full.txt" объединённый список корневых доменов и всех поддоменом федеральной власти.

Субъекты федерации

Для каждого субъекта федерации в папке "regional" создаётся подпапка с кодом субъекта в каждой из которых содержится 2 файла: roots.txt - список корневых доменов госпроектов и органов в этом регионе и full.txt - список всех доменов и поддоменов сайтов найденных на корневых доменах.

Ограничения

В данном репозитории идёт подоменный сбор доменов и поддоменов, но не по организациям. Для классификации по организациям собранные домены и поддомены необходимо накладывать на структуру власти и на конкретные задачи по архивации данных конкретного государственного органа, проекта или бюджетной организации.

Инструментарий

Как искать домены сайтов госорганов и проектов?

  • ссылками на корневом сайте .gov.ru и на других сайтах
  • поиском по Google, Bing или Яндекс с запросом в формате "site:*.domain.xyz"
  • через госреестры: госуслуги, госзакупки и другие официальные реестры госорганизаций
  • через каталоги сайтов в сети
  • через DNS Dumpster https://dnsdumpster.com/
  • через Censys https://censys.io
  • через сервис firststat.ru

Найденные домены можно добавить патчем к файлу federal/roots.txt или добавив файл с названием домена в папку "lists" со списком доменов

Для патча достаточно сделать запрос на изменение и отправить его через pull https://github.com/infoculture/govdomains/pulls также можно отправить домен, домены на проверку через запрос в issues https://github.com/infoculture/govdomains/issues

Использование

Все материалы репозитория доступны под свободной лицензией Creative Commons 3.0 SA

Поддерживается АНО "Информационная культура" Контакты: infoculture.ru, [email protected], [email protected]