broken links checks

2024-11-09 12:11:02 +00:00 · 2017-01-13 00:27:07 +01:00 · 2017-01-13 00:27:07 +01:00 · 66e4c8359d
commit 66e4c8359d
parent d62366efdc
11 changed files with 49 additions and 31 deletions
--- a/.travis.yml
+++ b/.travis.yml
@ -10,20 +10,9 @@ before_install:
  - cat .dict_page | grep -oP -f .current_release | wget -q -i - -O dictionary.otx
  - unzip dictionary.otx
  - git config core.quotepath false
-  - go get -u github.com/peterhellberg/serve
  - go get -u github.com/russross/blackfriday-tool
-  - find *.md -exec blackfriday-tool {} {}.html \;
-  - cat README.md.html
-  - nohup serve -addr="127.0.0.1:80" >/dev/null 2>&1 &
-  - sleep 1
-  - ps ax
-  - git diff HEAD^ --name-status | grep "^D" -v | sed 's/^.\t//g' > changed_files_links
-  - sed -i -e 's/^/http:\/\/localhost\//' changed_files_links
-  - sed -i -e 's/$/.html/' changed_files_links

 script:
-  - wget --spider -erobots=off -r -nd -H -l 1 -i changed_files_links
-  - cat broken_links.log
  - sh files/.travis.sh

 notifications:
--- a/files/.travis.sh
+++ b/files/.travis.sh
@ -3,6 +3,7 @@
 DIR=`dirname $0`
 EXIT_CODE=0

+find *.md -exec blackfriday-tool {} {}.html \;
 go build -o $DIR/spell-checker $DIR/spell-checker.go

 cat $DIR/dictionary.dic | tr '\n' '|' | sed 's/\x27/\\x27/g' > dictionary_processed
@ -29,4 +30,35 @@ while read FILE; do
    echo
 done < changed_files

+while read FILE; do
+    if [ -f "${FILE}.html" ]; then
+        grep -Po '(?<=href=")http[^"]*(?=")' "${FILE}.html" > links
+
+        if [ -s links ]; then
+            echo "Проверка файла $FILE на битые ссылки... ";
+            while read LINK; do
+                echo -n "Ссылка $LINK ...";
+                LINK=$(echo "$LINK" | sed -e 's/\[/\\\[/g' -e 's/\]/\\\]/g' -e 's/\&amp;/\&/g')
+                status=$(curl --insecure -XGET -H "User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -m 10 -L -s --head -w %{http_code} $LINK -o /dev/null)
+                expectedStatus=$(grep $LINK files/known_url.txt | cut -d',' -f1)
+
+                if [ -z "$expectedStatus" ]; then
+                    expectedStatus="200"
+                fi
+
+                if [ "$status" != "$expectedStatus" ]; then
+                    EXIT_CODE=1
+                    echo "недоступна с кодом $status, ожидается $expectedStatus";
+                else
+                    echo "доступна";
+                fi
+
+                echo
+            done < links
+
+            echo
+        fi
+    fi
+done < changed_files
+
 exit $EXIT_CODE
--- a/files/known_url.txt
+++ b/files/known_url.txt
@ -0,0 +1,2 @@
+403,https://www.commerzbank.de/
+302,https://github.com/ewgRa/de_faq/blob/master/files/Einladung%20(short%20term).docx?raw=true
--- a/Авто.md
+++ b/Авто.md
@ -52,7 +52,7 @@
 - В стоимость входят парковка, топливо, страховка (франшиза 350 Euro).
 - Машины ищете, через приложение или просто на улице.
 - В Берлине в почти всех BMW есть детские сидения-бустеры.
- Оставлять можно в любом месте в черте города (Business area) (разрешенном для парковки). Google Map с этой картой области можно скачать здесь: [Берлин](https://api2.drive-now.com/geodata/6099/6099.kml), [Мюнхен](https://api2.drive-now.com/geodata/4604/4604.kml), [Кельн](https://api2.drive-now.com/geodata/1174/1174.kml), [Дюссельдорф](https://api2.drive-now.com/geodata/1293/1293.kml),  [Гамбург](https://api2.drive-now.com/geodata/40065/40065.kml). Область можно добавить себе в Google Maps.
+- Оставлять можно в любом месте в черте города (Business area) (разрешенном для парковки). Google Map с этой картой области можно скачать здесь: [Берлин](https://api2.drive-now.com/geodata/6099/6099.kml), [Мюнхен](https://api2.drive-now.com/geodata/4604/4604.kml), [Дюссельдорф](https://api2.drive-now.com/geodata/1293/1293.kml),  [Гамбург](https://api2.drive-now.com/geodata/40065/40065.kml). Область можно добавить себе в Google Maps.

 ### [Штрафы](http://auto.germany.ru/pravo/buskatalog.html)
 Информация может быть неактуальной.
--- a/вопрос.md
+++ b/вопрос.md
@ -1,10 +1,10 @@
 ## Квартирный вопрос
 - Сайты для поиска: 
  - http://www.immonet.de/,
-  - http://immobilienscout24.de, 
+  - https://www.immobilienscout24.de/, 
  - http://www.wg-gesucht.de/, 
  - http://kleinanzeigen.ebay.de
-  - https://akelius.de/de/ - это агентство, которое владеет многоквартирными домами под сдачу, вам помогает их агент, но платить ему не надо. Очень хорошие и говорят по-английски.
+  - https://www.akelius.de/ - это агентство, которое владеет многоквартирными домами под сдачу, вам помогает их агент, но платить ему не надо. Очень хорошие и говорят по-английски.
  - http://en.coming-home.org/suche_2.php?l=en&Ort=Berlin (агентство, цены выше среднего, но квартиры все меблированные)
  - https://www.city-wohnen.de/eng/berlin/ - агентство, цены немного выше среднего, как правило в цену уже все включено (газ, вода, свет), квартиры все меблированные, быстро отвечают и хорошо подбирают вариант если точно опишете свои пожелания и район, общение на английском.
  - http://www.berlinaspire.com/apartments-for-rent2/ (агентство)
@ -33,7 +33,7 @@
 - [SCHUFA](http://www.ratgeber-geld.de/schufa/auskunft.html). Обычно актуальна три-четыре месяца.
  - Если нужна срочно - в отделении Postbank, см. первую строку тут: https://www.meineschufa.de/index.php?site=14_3. Надо иметь с собой регистрацию в Берлине, паспорт, визу и немецкий счет в банке. Делают за 10 минут.
  - Schufa можно получить бесплатно один раз в год (§ 34 Bundesdatenschutzgesetz), заполнив бумажную форму и отправив её по почте: https://www.meineschufa.de/index.php?site=11_3_1
-  - https://bonitaetscheck.immobilienscout24.de
+  - https://bonitaetscheck.immobilienscout24.de/
  - Список филиалов Postbank в Берлине, где делают SCHUFA:
    - Schönhauser Allee 79, 10439 Berlin-Prenzlauer Berg
    - Karl-Marx-Str. 66, 12043 Berlin-Neukölln
--- a/Медицина.md
+++ b/Медицина.md
@ -43,7 +43,7 @@ HNO-Arzt Dr. Alexander Bogdanoff

 - Ортопед http://www.sanfte-orthopaeden.de/rus/ind_rus.html
 - Русско-говорящий травматолог, клиника с русско-говорящим персоналом, позитивный опыт: http://berlin24.ru/firm/vrachi-v-berline/hirurgi-i-travmatologi-v-berline/29-155-0-437-0-0.html
- Dr. med. Natan Del русскоговорящий терапевт и не только http://www.city-aerztehaus.com/
+- Dr. med. [Natan Del](https://www.jameda.de/berlin/aerzte/innere-allgemeinmediziner/dr-natan-del/uebersicht/80103219_1/) - русскоговорящий терапевт и не только.

 #### Анализ крови (без направления врача)
 Анализы крови можно сдать в лаборатории [Institut für Medizinische Diagnostik, Nicolaistraße 22, 12247 Berlin](https://www.google.de/maps/place/Institut+f%C3%BCr+Medizinische+Diagnostik+MVZ+GbR/@52.44373,13.3327727,17z/data=!3m1!4b1!4m5!3m4!1s0x47a85a94df42fe15:0x69b4104e7532655e!8m2!3d52.44373!4d13.33394). Принимают без термина с 8:00-17:00, понедельник-пятница. Говорят по-английски. Результаты обычно по почте, где-то через 1 день, но зависит от вида анализа. Оплатить можно на месте кешем или вышлют счет по почте, который придет через 3-4 недели. Стоимость около 4.19 EUR за систему для взятия крови и потом примерно по 2.33 EUR за каждый анализ.
--- a/связь.md
+++ b/связь.md
@ -13,7 +13,7 @@
 - [smartmobile.de](https://www.smartmobil.de/)
 - [WinSIM](https://www.winsim.de/) - доступные тарифы, включающие в себя оплаченные минуты и трафик в роуминге.

-[Полный список мобильных операторов Германии (нем.)](https://de.wikipedia.org/wiki/Liste_der_Mobilfunk-Discounter_in_Deutschland)
+[Полный список мобильных операторов Германии (нем.)](https://de.wikipedia.org/wiki/Liste_der_Mobilfunkdiscounter_in_Deutschland)
 
 Номер без проблем портируется между операторами (NMP).

--- a/отдых.md
+++ b/отдых.md
@ -46,7 +46,7 @@
  - В Украину/из Украины: 
  - http://vidart.com.ua/countries/germany/
  - http://shevpastrans.com/ - водители иногда лапочки попадаются, а иногда моральные уроды. Лотерея.
-  - http://ecolines.ua/ru/
+  - https://ecolines.net/ru/ru
  - http://www.luxexpress.eu/en/coaches

 - Поиск надежных попутчиков:
@ -54,7 +54,7 @@

 - Поиск полетов:
  - http://flug.idealo.de
-  - http://buchung.cheaptickets.de/
+  - https://www.cheaptickets.de/
  - http://www.opodo.de/
  - http://www.skyscanner.de/
  - https://www.google.com/flights/
@ -66,5 +66,5 @@
    - http://www.airberlin.com/de-DE/site/start.php

 Страховка
- - Если у вас оформлена ТК (практически стандарт для Берлина), то можно оформить расширение страховки на весь мир в Envivas, индивидуальная [TravelXN](http://www.envivas.de/internet/envivas/envivas_internet.nsf/contentByKey/MPLZ-6ZWDBD-DE-p) стоит 9.80 евро/год или семейная [TravelXF](http://www.envivas.de/internet/envivas/envivas_internet.nsf/contentByKey/MPLZ-6ZWEE2-DE-p) - 23.90 евро/год, работает в путешествиях до восьми недель. Сайт http://envivas.de
+ - Если у вас оформлена ТК (практически стандарт для Берлина), то можно оформить расширение страховки на весь мир в Envivas, индивидуальная [TravelXN](https://www.envivas.de/de/tarife-und-service/zusatzversicherungen/auslandsreise/travelxl) стоит 9.80 евро/год или семейная [TravelXF](https://www.envivas.de/de/tarife-und-service/zusatzversicherungen/auslandsreise/travelxf) - 23.90 евро/год, работает в путешествиях до восьми недель. Сайт https://www.envivas.de/
 - Страховка здоровья во время путешествий в [Allianz](https://www.allianz.de/gesundheit/reisekrankenversicherung/rechner/) стоит 9,80€ за одного или 19,60€ за семью.
--- a/Работа.md
+++ b/Работа.md
@ -2,7 +2,7 @@

 Поиск вакансий:
  - https://www.linkedin.com/
-  - http://careers.stackoverflow.com/
+  - http://stackoverflow.com/jobs
  - http://berlinstartupjobs.com/
  - https://angel.co/jobs
  - http://de.indeed.com/
@ -10,9 +10,6 @@
  - https://xing.com
  - http://jobs.meinestadt.de

-Вакансии:
-  - SevenSenders ищет PHP Symfony разработчиков в Берлин, подробнее в [описании](http://sevensenders.com/join/senior-php) вакансии.
-
 Калькулятор netto/brutto зарплаты:
  - web: http://www.brutto-netto-rechner.info/gehalt/gross_net_calculator_germany.php (для стандартной мед. страховки TK используется 0.8%)
  - android OS: https://play.google.com/store/apps/details?id=de.betaapps.bruttonetto
--- a/жительства.md
+++ b/жительства.md
@ -84,7 +84,7 @@ Ordens- Künstlername — религиозный или артистически

 Имеет смысл проверять в ранние утренние часы, потому что бюргерамт может выбросить в систему пачку новых свободных терминов.

-Есть некие скрипты для автоматизированной ловли терминов (например, [скрипт на PHP](https://gist.github.com/ewgRa/1b515166a140bcf9ed9e) и [плагин для Chrome](https://chrome.google.com/webstore/detail/refresh-monkey/ljngnafhejmefmijjoedbclkadhacebd?hl=en)), но с ними можно быстро попасть в бан. Есть или был стартап по ловле терминов за деньги, действующий по аналогичному принципу, официальные власти с ним боролись.
+Есть некие скрипты для автоматизированной ловли терминов (например, [скрипт на PHP](https://gist.github.com/ewgRa/1b515166a140bcf9ed9e), но с ними можно быстро попасть в бан. Есть или был стартап по ловле терминов за деньги, действующий по аналогичному принципу, официальные власти с ним боролись.

 Также можно записаться на прием в телефонном режиме. Нужно попросить коллегу, который хорошо владеет немецким языком, позвонить по указанному на сайте номеру и узнать время ближайшего свободного термина. Возможно вам повезет и получится попасть на прием в этот же день.

--- a/Телевидение.md
+++ b/Телевидение.md
@ -20,7 +20,7 @@
 _Если вы согласны с предложением оплаты_, то необходимо подтвердить свое согласие в письменном виде.  
 Это можно сделать двумя путями.

-1. Удобнее всего [заполнить анкету на сайте](https://www.rundfunkbeitrag.de/formulare/buergerinnen_und_buerger/anmelden/index_ger.html), распечатать подтверждение и подписать его
+1. Удобнее всего [заполнить анкету на сайте](https://www.rundfunkbeitrag.de/buergerinnen_und_buerger/formulare/anmelden/index_ger.html), распечатать подтверждение и подписать его
 2. То же самое, но в бумажной форме - заполнить анкету, которая прилагалась в письме и также подписать

 Далее необходимо отправить письмо обратно.  
@ -32,14 +32,12 @@ _Если вы согласны с предложением оплаты_, то
 _Если вы въезжаете в другую квартиру_ и получаете анкету повторно или _если вы регистрируете в квартире нового жильца_, и ему (ей) начинают приходить "письма счастья", то в анкете необходимо указать имеющийся номер (Beitragskonto) по которому уже производится оплата.
 Далее все то же самое - распечатать, подписать, отправить.

-[Формуляры в зависимости от ситуации](https://www.rundfunkbeitrag.de/formulare/buergerinnen_und_buerger/index_ger.html).
+[Формуляры в зависимости от ситуации](https://www.rundfunkbeitrag.de/buergerinnen_und_buerger/formulare/index_ger.html).

-_Если вы не согласны с предложением оплаты_ (или суммой), то есть возможность требовать [льготы или отмену оплаты](http://www.rundfunkbeitrag.de/e175/e218/Informationen_zur_Befreiung_von_der_Rundfunkbeitragspflicht_und_zur_Ermaessigung.pdf).
+_Если вы не согласны с предложением оплаты_ (или суммой), то есть возможность требовать [льготы или отмену оплаты](https://www.rundfunkbeitrag.de/buergerinnen_und_buerger/informationen/menschen_mit_behinderung/index_ger.html).
 [Здесь](https://www.rundfunkbeitrag.de/formulare/buergerinnen_und_buerger/antrag_auf_befreiung/index_ger.html) можно выбрать причину отказа.

-Большинство жителей все-таки должны платить данный налог. На освобождение от оплаты могут рассчитывать только некоторые категории граждан.
-
-[Формуляр для отказа](https://www.rundfunkbeitrag.de/e175/e183/Buergerinnen_und_Buerger_Wohnungsabmeldung_0106.pdf) по причине инвалидности или недееспособности.
+Большинство жителей все-таки должны платить данный налог. На освобождение от оплаты могут рассчитывать только некоторые категории граждан по причине инвалидности или недееспособности.


 ### Полезная информация и контакты