Все операции с невзаимозаменяемыми токенами ВКонтакте можно проводить не покидая соцсеть, в специальном сервисе VK NFT - vk.com/vk_nft_hub
🤟Мы в телеграм) telegram.me/droidergram
Сегодня мы постараемся объяснить, что такое ZIP и RAR-сжатие. Что крутого в архивах и как это работает. Почему при сжатии ничего не меняется и качество не меняется? В чем отличие от JPEG и MP3?
Подписка! ↓ ↓ ↓
goo.gl/CbimGk
СОДЕРЖАНИЕ:
00:00 Встулпение
01:42 Как сжимают текст?
04:20 Ингредиент 1: Словарь. Сжатие Lempel-ZIV, кодирование Хаффмана
07:07 Ингредиент 2: Популярные буквы
10:52 Подведем итоги
🎧 Наш ПОДКАСТ Droidercast:
Apple Podcasts: bit.ly/droidercast
Podster: droidercast.podster.fm
Еще видео и обзоры на: Droider.ru
VK.com/Droider_ru
Twitter.com/Droider_ru
С вами на связи Борис Веденский и Валерий Истишев!
Обзоры смартфонов, репортажи с выставок, новости из мира технологий и многое другое на самом популярном в Рунете канале о гаджетах Droider.Ru!
#архив #zip #rar #droider
* Реклама. ООО «В Контакте», ИНН 7842349892
История на столько увлекательная, что даже видео сжалось так, что не успевает за аудиодорожкой =)
Просто Борис слишком быстро говорит) скорость звука медленнее скорости света)
да я подумал, что у меня пк что-то тормозит, поставил на паузу , выставил ползунок вручную для синхронизации потока и запустил и осталось по прежнему, немного синхронизацию прошляпили в видео, но не страшно :)
Очень очень больно...
Тоже об этом хотел написать
Я чуть телефон не сломал пока пытался засинхронить видос со звуком 😂
жиза
после 10й минуты они наложили звук на левый видос (видать было влом перезаписывать ролик)
Ошибки встречаются у всех. Тем более - на ютубе. Это же не эфирный канал, где перед выпуском программу осматривает режиссер, гл.редактор, редактор, второй монтажер, который допиливает кусочки после первого монтажера. Если бы на канале подобные ошибки были закономерностью, то да - надо бы было делать акцент на эту тему.
Они видео зазипили :)
Вечно всё портят эти дедлайны...
Как иронично, на техноканале авторы не смогли звук с видео синхронизировать
так тут ж видео ради рекламы, зачитать статью с вики и норм, на остальное можно забить
@Разрушитель Совковых Легенд Какую к примеру?
знаю что ранее ТыТруба готовое видео разбивала на 2 потока (аудио\видео) из за того что анализ (модерация) на авторские права и прочие правила типа жестокость\порно и т.д. происходит в "машинном" режиме на разных серверах и уже если "гугло-терминатор" что то заметит то видео передавалось реальным сотрудникам для решения его судьбы, а если сервак пропускал видео то уже благодаря его операциям на выходе оказывалось что появлялся рассинхрон.
@Ковирум 🇷🇺 бро, это могли случайно задеть дорожку, при этом проверив 100 раз до этого и выложить, не увидев этот косяк, ибо уже проверяли по сто раз. У меня так 2 раза было, в итоге косяки только после выкладывания замечал
Разбор огонь, хотим ещё про видеоформаты - H.264, H.265
@филипп дращёв типа "не пугайтесь того что выглядит сложно" и тп, реально бесит
@MACHOCAPTCHA кого успокаивать ?
Фигня, вместо того чтобы успокаивать выделили больше бы времени на разбор. Слишкомбыстро протороторили
Так есть уже такое видео на канале
вот их видос про кодеки, вроде там упоминались эти кодеки тоже kzworld.info/throw/bejne/n6J5q62cr2OVnH8
Крутой разбор. Но сжатие получилось с потерей синхронизации. )
к тому же алгоритм Хаффмана в данной ситуации менее эффективен чем равномерное кодирование
про AAC, FLAC и MP3 интересно было бы послушать
@@FilmsShortss аас то что записывает диктофон нокиа, мп3 то что скачано с интернета
@Ryan Shelby получше чем mp3 конечно и эволюция интересная от версии к версии от расширения к расширению возможностей, но ему тоже уже лет и лет. По крайней мере он востребован в отличии от mp3.
@Виталий Паляница AAC интересно
AAC это аудио кодек, для передачи звука по Bluetooth, а FLAC и MP3 это расширение файла😑
википедию можно почитать)
отдельное спасибо монтажёру!
Егорка в конце немного рассинхронил картинку))) видимо зацепил дорожку звуковую или верхнюю, сдвинул маленько))) Но ничего! От этого полезность инфы не потеряла смысл!)))
@Иван Петров я кратко пересказал то что было в видео. Я не пытался это большой аудитории писать. Я хотел показать что я понял инфу и видос с этим хорошо справился
@HELLBOY вы бы так же неподробно излагали информацию, если бы захотели поделиться и просветить других людей?
@Иван Петров ну я понял как работает сжатие. Я вообще пытался свой движок делать и пришлось узнать как работает формат fbx. И то что он показал мне это напомнило о формате fbx. Получается есть некий словарь популярных "слов"(последовательность символов). Потом идёт словарь из популярных до не популярных букв в тексте и потом его ложишь под дерево. При обратном действии идёшь по дереву находишь букву (чем популярнее тем меньше ходов) и переобразуешь в буквы смотря на словарь.
@Павел Истинный нет конечно же
Это же позор, нет?
Сделайте, пожалуйста, видео про разные алгоритмы сжатия данных. Очень хочу разобраться с алгоритмами XZ, ZST и прочими подобными. И влияет ли использование TAR на размер файла на диске? (Есть реальные размер, а есть место, выделенное под него на диске)
Интересный факт о современных методах шифрования: В облачной платформе Microsoft Azure каждый файл который сохраняется в Storage Accounts (по сути папка с файлами) сжимается методом Hot (часто используемый), Cool (менее часто используемый файл) и Archive (очень редко используемый файл). У этих методов сжатия есть свои преимущества по отношению к стоимости хранения, но я хочу немного рассказать про метод Archive. Сжатие файлов методом Archive может по данным от Microsoft сжиматься аж в 10-15 раз! Однако, так как здесь используются очень сложные методы сжатия (+ очень тщательное шифрование каждого этапа сжатия), то чтобы получить доступ к содержимому файла, нужно ждать много часов, а в некоторых случаях разархивирование может занять несколько дней, если исходный размер файла крайне большой. Однако экономия денег того стоит, если файл используется всего несколько раз в год (метод сжатия Archive требует минимальных вложения для хранения файла, но больших вложений для его использования).
Алгоритм хаффмана показан неправильно. После каждого сложения вершин они сортируются по убыванию кол-ва повторений (весам). Если проще, то вместо того чтобы брать две последних вершины, он берёт вершины с наименьшим весом. В вашей визуализации, в моменте (8, 7, 9) алгоритм сложил 9 и 7, вместо 8 и 7.
На деле всё правильно (почти). b(8) a(7) c(6) d(3). b кодируется одним битом, как наиболее частая. Другое дело, что можно использовать равномерное кодирование 2 бита на литеру и алгоритм Хаффмана менее эффективен в данном случае
@1,000 подписчиков без видео челлендж за Фано, обидно, конечно, но для непрофессионального слушателя эта информация лишняя. :)
@Argon там словарь в виде бинарного дерева. Читая закодированные биты распаковщик идёт по этому дереву. Как дошёл до тупиковой ветки, то получай с неё букву и начинай следующий бит с корня дерева. Так и разделяются. Автор байты на хранение словаря забыл учесть. )
@Argon коды Хаффмана обладают свойством префикса, там не нужны разделители
Чак Норрис настолько крут, что сжимает файлы голыми руками
Было бы прикольно услышать от вас как работает современная криптография на основе открытого ключа. Например ssh, https. Также с историей алгоритмов и прочее
Вы уже столько лет снимаете информативные видео не переставая это очень круто молодцы 👏 я с вами очень давно
Здорово, что на канале часто выходят технические разборы
Спасибо что продолжаете оставаться настоящими👍
Было бы интересно применить сжатие с потерями к тексту. И посмотреть, насколько он будет после этого читаемым )
Делайте похожую тему по алгоритмам машинного обучения
Блин Борян, спасибо тебе и вашему каналу. Я видел один раз Борю, на станции метро Пушкинская, я просто поздоровался как со своим старым знакомым, а Боря удивился, и тоже поздоровался. Года 4 назад это было, и это было приятно. Борян очень приятный тип, я бы хотел когда нибудь работать с ним или хотя бы на том уровне, который был у ребят лет пять назад. Спасибо за именно такой контент, вы понимаете о чем я) P.s. Никогда не мотаю рекламу )
Здравствуйте! Большое спасибо за видео! У меня к вам есть такой вопрос: как работает формат MIDI? Как проигрыватели и секвенсоры понимают, какие ноты, длительности, тактовые размеры и прочая музыкальная информация записаны в этот файл? Большое спасибо за ответ и за это видео! Мне оно очень понравилось!
Спасибо, ждём больше объяснений такого рода 👍
Теперь выпустите ролик про синхронизацию видео со звуком)))
Давайте и дальше так, много разборов это круто
Было интересно узнать про настройки степени сжатия
Давно я не был на Дроиде, очень нравится что не только обзоры теперь делают. Думаю вполне можно ролики в образовательных учреждениях предоставлять, без рекламы но за копеечку сверху.
А можно вместе с форматом mp3 осветить и FLAC, - будет две части одного выпуска. А ещё можете рассказать, как устранять рассинхронизацию звука и видео при просмотре контента в интернете, в частности, ютуба? (У меня рассинхронизация на телефоне в ютубе всегда, кроме когда я у себя дома, причем без использования вайфай, и на любом телефоне- очень странно) Спасибо!
И начинаем мы с увлекательнейшей части - "Встулпения"
@Константин Клименков Я это комментировал в самом начале, как ролик запустился, цепануло взгляд что в нижней части, рядом со временем - такая очепятка в назчании части.
А вы комментаторы ролик целиком посмотрели?
@Mikhail I во во, тупо за 10 минут статью в интернете зачитали, картинки вставили готовые - все, ролик готов, пихаем рекламу и просим подписаться и поставить лайк за невероятный контент. Качество контента стремится к нулю.
Ужас сколько ошибок, пишут Хафман произносят хофма, рассинхрон со звуком, рекламные интеграции, ещё и подписаться просят
Хорошо спели, кстати
Спасибо за видео, очень интересно. Ещё в университете была идея, надеюсь получу скил что бы его воплотить про создание файлов. Но расскажите про мрз!
Образовательные видео у вас отличные. Хочу про Mp3 )) Только про клавиатуру на 8:35 ошиблись. Раскладка как раз сделана так, чтобы было неудобнее. А еще ближе к концу рассинхрон по звуку
Дело привычки, мне кажется английский сделано удобнее, а русский, тот же я, ю, з чаще используется.
@Red_Naxel а вот это интересно, но неужели слепой печати для алфавитной раскладки нельзя придумать?
@Иван Тамерлан слава богу, хоть кто-то кроме меня это отметил, а то кажется будто все смотрели только на то как звук вперед ушел, а не то что в этом звуке говорится
Может кто знает название этой клавиатуры?
@Алексей Воробьев Да нет же, вообще мимо кассы. Посмотри внимательно, где стоят буквы, например, А, П, Р, О - а потом посмотри сколько слов имеют слоги ПА - ПО, РА - РО хотя бы. Я уже молчу про Е, И, В, М, Г, Т. Они все рядом, потому чаще всего встречаются в русских словах.
Хотел бы отметить, что архивы очень хорошо сжимают к примеру 3д модели, те же blend файлы после сжатия уменьшаются в десятки раз, особенно сильно это заметно когда сжимаешь файл с процедурными текстурами (текстуры, которые создаются математическими действиями, не связаны с готовыми изображениями), ну а если это сцена с большим количеством текстур в высоком разрешении, то уже сжатия может быть и не заметно, так как сами модели уже будут занимать малую часть файла, а текстуры (то есть обычные изображения) уже и так сжаты насколько это возможно без потери качества 8:23 Но ведь буквы на клавиатуре расположили так именно чтобы замедлять печать, изначально на пишуших машинках буквы располагались по алфавиту, и потом их все перемешали из-за того что люди быстро печатали и механизмы не успевали и заедали (компьютеры просто унаследовали раскладку), но кажется не учли что можно привыкнуть и к какому-либо другому расположению клавиш Так, в ответе к одному комменту прочел что qwerty все-таки ускоряет печать из-за возможности печатать вслепую, так что я теперь не уверен)
Насчёт сжатия аудио было бы очень круто записать видео, как работают аудио стриминг сервисы, как сжимают, почему на радиостанциях звук все ещё лучше через Яндекс музыку, какие сервисы дают lossless музыку. Какой формат записывают на сиди диски и тд.
В АудиоСД формат звука похож на несжатый wav (44100 Hz, 16 bit, stereo)
Интересно было бы посмотреть как повысить качество аудио файлом с помощью ИИ, не просто шумо подавление а что то более сложное.
Спасибо тоже!) Очень доходчивая алгебра, надо в школьную программу ввести эту ветвь!)
Я представляю, если бы архиваторы могли сжимать с потерями😂 Что бы получилось например с исполняемым файлом🤔☺️
@Yaroslav Piddubnyak "Антивирусы нервничали." 👍🤣 -надо запомнить))
Не знаю, есть ли сейчас, но в DOS-овские времена, когда каждый килобайт был на счету, применяли программы сжатия для exe-шников, создававшие выполняемые архивы, которые распаковывали программу прямо в оперативную память и там её запускали. Пользователь мог и не знать, что программа запакована.) Антивирусы нервничали. )
@Yaroslav Piddubnyak но это уже не архиватор, а ресурскомпрессор какой-то)))
@Yaroslav Piddubnyak это уже перекодирование с понижением битрейта
В современных прогах основное место занимает мультимедиа. Теоретически, архиватор может пережать мультимедийную часть кода с потерей информации и прога будет работать. )
Интересный разбор получился. Про mp3 тоже было бы круто сделать
Спасибо, хороший рассказ получился. Про png файлы интересно бы послушать, из преимущества/недостатки.
В архиваторе RAR ещё может и компрессия с потерями данных использоваться для мультимедиа данных - "мультимедиа сжатие" вроде называется. Но это уже типа встроенный конвертер, параллельно с архиватором.
11:26 - 7zip по умолчанию испольузет не Deflate а LZMA2 (который гораздо мощнее, но сильно медленнее как на сжатие так и на распаковку), хотя можно указать и Deflate при желании. Странно, что не сказали про Z-standard (ZSTD) - имхо, этот алгоритм это одно из лучших событий за последние годы в сфере сжатия данных без потерь.
Кстати документы Word и Excel (docx, xlsx) представляют собой ничто иное, как zip-архивы, внутри которых упакованы обычные xml-файлы и ресурсы. Потому если сжимать их повторно в zip - выигрыша почти не будет.
Писал я и LZW и другие архиваторы, было здорово ощущать что я сам написал архиватор. А об MP3 было бы интересно, о нём мало мне известно.
Отличное видео. Можно ещё рассказать про что-нибудь из наследия Тьюринга, применяемое до сих пор
Самый хороший пример работы архиватора и архивов это 42 .zip. Думал Борис расскажет про него.
Раздели 42. Zip Ютуб может удалить за ссылку
Класс! Как всегда очень интересно. Спасибо, ребята)
Жду про FLAC=MP3 сжатие, если ли в этом что-то хорошее
а про технологии дисплеев уже рассказывали? 🙂 монохромные, электороннолучевые, tft, жк, oled итп 🙂
Вот такое видео нужно показывать на уроках информатики в школах
Как всегда очень познавательное видео Спасибо авторам за труд и работу. 👍👍👍 Подскажите есть ли похожие на droider полезные каналы?
помню один архив весил до 300 мб, а после распаковки около 7 гигов, во времена медленного интернета я был очень рад, что не пришлось качать несколько суток
Стоило бы еще рассказать, как в формате с пеоеменной длинной потом распознать где кончается буква, и где начинается следующая.
Ну что же, ждем следующего видео на тему "методы синхронизации видео и звука"
Про MP3 было бы интересно посмотреть. А ещё узнать на сколько он устарел по сравнению с AAC.
Под конец звук немного уехал от видеоряда Но это мелочь, потому что видео очень полезное Спасибо за работу!
Рассказал институтскую лекцию по сжатию. :) На практике писали архиватор с перекодировкой символов. )
Жду видео про мп3. В колледже в качестве дипломного проекта собирал ламповый усилитель препод говорил чтоб для демонстрации устройства использовал файл не пм3. Так как файлы мп3 урезаны и звучание будет не полным. И правда, разницу есть. Вообщем жду видео про мп3...😊
Зачем mp3 когда есть aac и opus?
"Поехали", Вы находка для "домашних Чайников", для тех, кто хочет понять, разобраться и подрости... (что б быть отличимым Чайником от других Чайников). Всё о главном, важном, просто и доступно, и главное доверительно... Удачи Вам.
Потом чайники ходят с надутыми щеками и типа все знают))))
Интересный факт, современный Word файл формата docx или таблица excel xlsx это zip архив, могли бы упомянуть раз уж его затронули =\
Давно заметил, что когда-то с новым мс офисом, файлы стали весить в разы меньше и сразу стало понятно, что сжимать такие уже нет смысла.
Можно про аудио форматы вместе со сравнением их и отличиями: mp3, opus, aac, ogg, flac и т.п?
OGG это контейнер, а не формат (кодек) Если говорить по сжатию с потерями, то на текущий момент лучшие это AAC и OPUS.
Дроидер, расскажите про миюай 14 и что там за технология, которая позволяет ускорять приложухи.
Очень интересное видео, как всегда! 👍👍👍
Интересный факт, что в алгоритме Хаффмана код одного символа не может совпадать с началом кода другого символа. Чтобы при разархивировании определить, где заканчивается один символ и начинается следующий. Можно это увидеть на 10:05, символы содержатся только в листьях дерева, но не в узлах. Кому интересно, загуглите "префиксное кодирование"
Только вот архивация и сжатие данных это немного разные процессы. Архивация - это когда из папки (множества файлов) делается один файл.
Ну я знаю как работает формат МР3 алгоритмы сжатия по Таблице Хоффмана, Рида - Соломона, но интересно было бы еще услышать и вашу интерпритацию.
А зачем же в MP3 коды Рида-Соломона?! А, вот, алгоритм ХАффмана, действительно, в MP3 используется. Правда, на последнем этапе и это не является "фишкой" MP3.
Борис, красава! С Наступающим!
Было супер разобрать формат mp3. Спасибо
Расскажите про mp3 и про .h264 и новый .h265 (как добились еще бОльшего сжатия 265 по отношению к 264, если не ошибаюсь, чуть-ли не в два раза)
чувак, ты красавчик!! так держать. сейчас всем модно какую нить х-ню хайпануть, а ты то что реально полезно, нужно и интересно рассказываешь! уважуха
Тема очень интересная !!! Так как, нечто подобное использует ДНК для передачи субъектного опыта следующим поколениям !!!
А почему изначально нельзя использовать файлы как в zip? Ведь тогда всё будет меньше весить
Droider вы угараете!? Это же то про что я хотел гуглить! Потому что понаскачивал кучу видосов из тик тока и хочу их загрузить одним файлом в облачное хранилище или в свою группу ВК ! Вот же класс! Удачно я подписался, внатуре!
Я всегда думал, что вес это сила действующая на опору или подвес, а размер выражается в мерных единицах. Что касается электронной памяти, то она характеризуется объёмом выраженным в байтах!
Всё это здорово, конечно, но для меня так и осталось загадкой, как решается проблема распознавания символов в коде переменной длины. Например с кодом Морзе: как понять, написано A, или ET?.. Как это делается телеграфе я в курсе, но двоичный код располагает только двумя символами.
Да, про кодирование видео было бы интересно посмотреть.
Можно было бы запилить что-нибудь о всех версиях блютуз, или типо того)
Хочу про Mp3! И расскажи от куда качать или слушать качественную музыку (желательно бесплатно) спасибо!
Молодцы позновательное видео очень интересное спасибо вам!
Помимо истории mp3, хотелось бы послушать про файлы wav, ogg, flac Вскользь)
Я бы хотел, чтобы вы помучали аудиофилов и сделали им тест в слепую, чтобы они показали свои сверхспособности
Думаю после этого разъяснения кто-нибудь да вдохновиться из любителей и создаст ещё что-то более сжатое.
Заставка у вас смешная. Doc(x) из ms office - это и есть zip. Кстати zip поддерживает много методов сжатия.
@Geograph не было там сжатия. Там был OLE-container. Потому и сжимался хорошо.
Только новый docx - zip. Старый формат doc использовал какое-то сжатие от Microsoft, вроде cab
рассинхрон звука и видео - полбеды. вы неправильно рассмотрели пример применения алгоритма Хаффмана. при получении суммы 2 самых редких вхождений, мы должны сравнить эту сумму с оставшимися элементами и снова отсортировать по порядку (кстати, чаще всего записывают именно в порядке убывания). а дальше снова применяем те же шаги. получается, что в видео допущена именно логическая ошибка и смысл донесен неправильно
Алгоритм Хаффмана (то самое дерево, которое все рисовали на информатике) заключается в том, что код каждого элемента не должен являться началом кода другого элемента. Короче, если на дереве написан символ, то она конечна и из него нельзя запустить новую ветку)
тем кто будет сдавать информатику, эта инфа будет полезной
Достаточно развитая наука не отличима от магии.Думаю Борис тоже нихрена не понял,но донес)
Классная синхронизация звука с видео👍👍👍👍👍👍👍👍👍👍👍👍👍
Было бы логичным при сжатии перебрать множество видов сжатия, сравнить результаты и выбрать самый эффективный.
@Alexander Lipkovich Ну тогда вот что. В случае с Хаффманом они допустили ошибку, пропустив bb. Длина будет 49 бит. У меня вышло 48 бит в результате равномерного кодирования 2 бита на литеру. Так что Хаффман не даёт выигрыша в данной ситуации. А в первом случае мне удалось сжать с 403 до 260 байт, но это при беглом рассмотрении...
@ООО ПетроСофт так а я про что
Эффективность метода зависит от конкретного случая
О, сейчас делаю проект по основам программирования, что-то типо программы с разными способами кодирования/шифрования. И вот где-то месяц назад написал алгоритм Хаффмана, теперь тут видос с ним) Также хотелось бы добавить, что чтобы его дешифровать нам нужно само дерево. Поэтому к получившимся 167 байтам нужно добавить вес дерева.
Про mp3, вроде, уже рассказывали, но я не против посмотреть ещё раз. Всё эти технические штучки - моя слабость😁
Эх, жаль вы попутали определения архиватора и компрессора. Архиватор не сжимает файлы, от слова совсем, он просто объединяет несколько файлов в один с сохранением аттрибутов, имён файлов и т.п. А вот компрессор умеет только сжимать причём только один файл, и именно его работу вы описали
7:43 - 1 байт уже давно не является одним символом (привет Unicode - в UTF-8 к примеру символ может кодироваться шестью (!) байтами (для редких языков)).
Все понятно и очень интересно
ставлю лайк чтобы картинка успевала за текстом в следующих выпусках
Интересно было, хоть и не всё до конца понятно. Спасибо !!
Я предлагаю в след ролике разобрать тему: "Как засинхронить текст с картинкой"🤣
Мне вспоминается LZH/LHA архиватор. Этот был, пожалуй, одним из самых эффективных!
Спасибо за новое видео! Было очень интересно!!
Про mp3 банально, тыщу раз уже рассказано всеми. Расскажите лучше про открытые форматы сжатия с потерями - ogg, например :) Можно в сравнении с мр3.
Давай видео про достижения наших соотечественников в сфере it или около.
А что значит ошибка из извлечения с архива? Понятно, что при сжатии этого не произошло. Но в какой то момент архив не может полностью извлечь данные.
Про FSR расскажите подробно, пожалуйста.
Как только появились архиваторы, мне рассказывали про то, что архиватор заменяет повторяющиеся нули и единицы, числом, обозначающим количество повторений. Пришло столько времени, а я до сих пор в это верил...