Немного автоматизации для сортировки словаря (#343)

* Update dictionary.dic * Added secret token * Update .travis.yml * Update .travis.yml * Moved shell scripts to .travis, added sort & push.sh on success * Travis build: 4 * Fixed dir issue * Excluded build-related files * Sort if changed only * Travis build: 7 * Travis build: 9 * Set locale * Moved back travis scripts * Fixed travis * Changed files dir back * Reorganized travisci * Added git clone depth and skipping submodules * Extracted run_on_master.sh * Fixed cs
2024-10-18 01:21:01 +00:00 · 2018-02-12 22:50:49 +01:00 · 2018-02-12 22:50:49 +01:00 · cd19c0a6eb
commit cd19c0a6eb
parent 1248f9aa61
7 changed files with 101 additions and 44 deletions
--- a/.gitignore
+++ b/.gitignore
@ -2,3 +2,8 @@

 /.idea
 /*.iml
+
+# build-related
+.current_release
+.dict_page
+Godeps/
--- a/.travis.yml
+++ b/.travis.yml
@ -1,12 +1,25 @@
 language: go
 sudo: required
-before_install:
+
+dist: trusty
+group: deprecated-2017Q4
+
+git:
+  depth: 3
+  submodules: false
+
+install:
  - export GOPATH="${TRAVIS_BUILD_DIR}/Godeps/_workspace:$GOPATH"
  - export PATH="${TRAVIS_BUILD_DIR}/Godeps/_workspace/bin:$PATH"
  - sudo env PATH=$PATH GOPATH=$GOPATH sh files/check-install.sh

 script:
  - sh files/check.sh
+  - sh files/run_on_master.sh

 notifications:
  email: false
+
+env:
+  global:
+    secure: "Hxafxz2x7pO1gjtFf5O8268J3HOaOPtsGJHYQRGIrGHgGa/j5wql5Zzvh0bjJG1n81ShMQB0cpcTOxBVJfwGU+FDFPPPOv+iiuZYGVVeM7yprQ2s7N52qiXkwokrETMAgKQIc1NaRw3F7EqRd2+NoxSJIM2UQ3/eapTbS0nMyImATQoRcu7hWpvIAACd1NgqJ6wrHLSjL0BuI1McrCb9Io4fYnMuTLv5JdfENajvVgqkUxmM2RK+YoirM2bxykge6iezjbWXzo16KbU176mYvIAjgkso2oCkaGCemPQCoGwUz8F64gTB2ili85P2EHkHKIt5cL+HXGOp0sQCXAxh5RwCaaXeNKcjR28qcsnu3pkQL/KDafyVVfKkZpD8edfK1L4gjxm2kF/6/IPUjUdJAin2aEnlaVU7HyR/UIlfsoJE9D0rqrhj1+WFPL2AwJ8DfmsZgFTebJLdxVc3vyb4vIXb8KPTLqTWsjq+MYyKUN7KW1Y6Gz9Tkr2t6KC+dyeLgY0c0xiMG2kqqtQcRswJ4ID1g5bR7vPwY8iANPfzeVqb8RC+IG2YCqWdwROAgJrO/NgXRfFr4zrG4LB8mFo6rX4qGPxDyupEQbly2fRXIezPsnfOtane9WdHh4uoTBwzxFEKw+5xt65QmuwyNtzjyA/ipR4F0fD0rURbOz8hHgs="
--- a/files/check-install.sh
+++ b/files/check-install.sh
@ -1,9 +1,8 @@
 #!/bin/bash

-set -e
+set -xe

-apt-get -qq update
-apt-get install -y hunspell hunspell-ru hunspell-en-us hunspell-de-de
+apt-get -yqq update && apt-get install -y hunspell hunspell-ru hunspell-en-us hunspell-de-de
 curl -s https://extensions.libreoffice.org/extensions/russian-spellcheck-dictionary.-based-on-works-of-aot-group > .dict_page
 cat .dict_page | grep -oP "<a href.+title=\"Current release for the project\"" | grep -oP "https://extensions.libreoffice.org/extensions/russian-spellcheck-dictionary.-based-on-works-of-aot-group/[^\"]+" > .current_release
 echo -n $(cat .current_release) > .current_release
--- a/files/check.sh
+++ b/files/check.sh
@ -42,7 +42,7 @@ while read FILE; do
                REGEXP_LINK=$(echo $LINK | sed 's/[]\.|$(){}?+*^[]/\\&/g')
                LINK=$(echo "$LINK" | sed -e 's/\[/\\\[/g' -e 's/\]/\\\]/g' -e 's/\&amp;/\&/g')
                status=$(curl --insecure -XGET -H "User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -m 10 -L -s --head -w %{http_code} $LINK -o /dev/null)
-                expectedStatus=$(grep -oP "[^,]+,$REGEXP_LINK$" files/known_url.csv | cut -d',' -f1)
+                expectedStatus=$(grep -oP "[^,]+,$REGEXP_LINK$" $DIR/known_url.csv | cut -d',' -f1)

                if [ -z "$expectedStatus" ]; then
                    expectedStatus="200"
--- a/files/dictionary.dic
+++ b/files/dictionary.dic
@ -1,6 +1,3 @@
-го
-м
-му
 500Mb
 Abbiegespur
 Aufenthaltstitel
@ -31,8 +28,8 @@ juris
 Karl-Marx-Str
 Keplerstr
 Kottbusser
-KVR
 Kübler
+KVR
 Lichtenberg
 Lieferando
 Linevych
@ -40,8 +37,8 @@ LTE
 Lübbenau
 mehrspurigem
 Multivisa
-Mutterschaftsgeld
 Müritz
+Mutterschaftsgeld
 Natan
 Nicolaistraße
 Niederlassungserlaubnis
@ -70,59 +67,36 @@ Unstrut
 url
 VDSL
 Virchow
-Virchow
 Visumgültigkeit
 Volodymyr
-Volodymyr
 VPay
 Wientjes
-Wientjes
 Wittenbergplatz
 wowa
 yandex
 АБХ
-АБХ
+агрегатор
 Агрегаторы
-Апостилировать
-ВНЖ
-Лоукостеры
-Мбит
-ОВД
-ОСАГО
-ПДД
-ПДД
-ПИН
-ПМЖ
-ПриватБанк
-РСЦ
-Райффайзен
-Рафтинг
-Розенталер
-Сard.
-Семёна
-України
-ФОП
-Хостелы
-агрегатор
-агрегатор
 апостилированного
+Апостилировать
 апостилях
 апостилях
 бан
-бан
 банкинг
 банкинга
+більше
 бюргерамт
 бюргерамта
 бюргерамтах
 бюргерамте
 бюргерамту
 бюргерамты
-більше
 веб-сайт
 виданого
-встречки
 відомостями
+ВНЖ
+встречки
+-го
 громадянина
 дає
 держави
@ -133,38 +107,52 @@ yandex
 документів
 заповнену
 зарплатные
-зарплатные
+іноземній
 картку
 компетентними
 консульський
 копію
+Лоукостеры
 лоукосты
+-м
+Мбит
 мониторят
+-му
 написами
 немецкоговорящим
 ніж
 облік
 облікову
+ОВД
 оригінал
+ОСАГО
 офлайн
 оффер
 оффера
 офферов
 паспортний
+ПДД
 перебуває
+ПИН
+ПМЖ
 подачі
 постоплата
+ПриватБанк
 провизион
 проживання
-проживання
 промо
 пруф
+Райффайзен
+Рафтинг
 репутационные
-репутационные
+Розенталер
 розміром
 роутер
 роутеры
+РСЦ
+Сard.
 свежеотремонтированная
+Семёна
 сторінок
 тикет
 тимчасово
@ -172,12 +160,15 @@ yandex
 торрентов
 тусить
 украино
+України
 фишинг
 фишингом
+ФОП
 фотокартку
 фрилансером
 хак
+Хостелы
 цій
+ывро
 явника
 який
-іноземній
--- a/files/push.sh
+++ b/files/push.sh
@ -0,0 +1,21 @@
+#!/bin/sh
+
+setup_git() {
+  git config --global user.email "travis@travis-ci.org"
+  git config --global user.name "Travis CI"
+}
+
+commit_files() {
+  git checkout master
+  git add .
+  git commit --message "Travis build: $TRAVIS_BUILD_NUMBER"
+}
+
+upload_files() {
+  git remote add origin-master https://${GH_TOKEN}@github.com/andreyors/de_faq.git > /dev/null 2>&1
+  git push --quiet --set-upstream origin-master master
+}
+
+setup_git
+commit_files
+upload_files
--- a/files/run_on_master.sh
+++ b/files/run_on_master.sh
@ -0,0 +1,28 @@
+#!/bin/sh
+
+set -e
+
+skip() {
+	echo "$@" 1>&2
+	echo "Exiting..." 1>&2
+	exit 0
+}
+
+[ "${TRAVIS_PULL_REQUEST}" = "false" ] || \
+    skip "Not running master-only script for pull-requests."
+
+[ "${TRAVIS_BRANCH}" = "master" ] || \
+    skip "Running master-only for updates on 'master' branch (current: ${TRAVIS_BRANCH})."
+
+[ "${TRAVIS_REPO_SLUG}" = "ru-de/faq" ] || \
+    skip "Running master-only for updater on main repo (current: ${TRAVIS_REPO_SLUG})."
+
+[ "${GH_TOKEN+set}" = set ] || \
+    skip "GitHub access token not available, skipping dict check."
+
+dict_check() {
+    LC_ALL=ru_RU.UTF8 sort files/dictionary.dic -C || \
+    (LC_ALL=ru_RU.UTF8 sort files/dictionary.dic -o files/dictionary.dic -f && sh files/push.sh)
+}
+
+dict_check