Pull to refresh
4
0
Michael @mkm565

Пользователь

Send message
Моя история использования биг дата в обучении

Давным-давно, когда деревья были большими, а интернет делал пи-пип-пи-пшшшшшш, мне надо было здать экзамен под названием GRE на техащине. Экзамен состоял из вопросов и выбора ответов. Математическая часть меня не волновала, хотя подвохи там были.
Меня волновала языковая часть. Это не TOEFL. Это полярный пушной зверек. Говорить-писать по-английски я мог нормально. Проблема в том, что в повседневной жизни вполне хватало достаточно небольшого запаса слов. В повседневной жизни словарный запас небольшой. Кино-телевидение не используют заумных слов (кто их будет слушать тогда). Тем не менее, слов в английском намного больше, чем в русском (2 раза?). И вербальная часть GRE использует слова, которые я отродясь не слышал и не услышу. Например, вы знаете, что синонимом к recreancy будет apostasy и tergiversation. Если бы я услышал recreancy, то я бы подумал, что это что-то похожее на recreation. Агащасблин. Как в цитате с баша (или откуда-то еще)


В инязе идет экзамен по переводу с английского.
Чувачок слушает текст (на английском).
Что-то про большую любовь. Довольно прилично переводит. И тут слышит следующую фразу: «She really venerated Jim».
Чувачок, не моргнув глазом, переводит: «Она действительно заразила Джима венерической болезнью».
Преподы и присутствующий народ начинают медленно сползать на пол от хохота.
Ведь на самом деле сия фраза гласит: «Она просто боготворила Джима (англ. to venerate)».
Об этом сообщают чувачку и слышат в ответ: «Одно другому не мешает!»

На таком и построена вербальная часть теста.


Кстати, интересная история была около 2000 года в Вашингтоне (я там жил недалеко в то время). Детали истории легко википедятся. Один чиновник употребил слово (в смысле дешевка) в разговоре про бюджет. Кое-кто обиделся (ну вы поняли). Что тут началось. Мужика затоптали и потащили за сарай расстреливать. Но кто-то, прочитавший в жизни более чем одну книжку, помимо комиксов, сказал "вы… ли? Это слово из древне-английского времен Шекспира, когда то, о чем вы все подумали, еще ваще не существовало". Ясен пень, что мужика тут же отвели от стенки, сказали, ошибка вышла, вручили ковер и телевизор. Не знаю, расстреляли ли за сараем того, кто поднял шум. Вряд ли. Глупость не осуждается в чиновничьей среде. Иначе там никого не останется. Понятно, что мужик получил урок — не хрен показывать, что ты такой умный. Будь, как все.


Увеличить словарный запас за две недели на 100500 слов — наверное, можно, но сложно. Онлайн словарей не было. Надо было за каждым словом лезть в толстый словарь. Я решил пойти другим путем. Благо надо выбирать из вариантов ответов, если не знаешь правильного. Я раздобыл результаты экзаменов предыдущих лет — тогда издавались книги. Забил в комп. И прогнал статистику верных ответов. Оказалось, что вариант А был (цифры условные — за давностью лет) — 5%, вариант Б — 25%, В — 50%, Д- 20%. Почему такая неравномерность распределения — не знаю. Вероятно, верные ответы писались вручную.
Типа, подсознательно хотели завалить тех, кто, не думая, ставит галку в первом ответе. Поэтому, я выбирал ответы так, чтобы примерно соответствовать этим вероятностям. Никаких ручных генераторов случайных чисел не использовал (например, написать длинное число от балды и найти остаток от деления на три — быстро и просто). Не было времени (тест ограничен во времени). Понятно, что подкидывать монету или что-то подобное мне никто бы не разрешил. Просто смотрел, чтобы гистограмма случайных ответов соответствовала распределению. Я не знал чуть меньше половины вопросов. Так что мне эта методика помогла перевалить за необходимый минимум.


Вывод: составляя подобные тесты, обязательно ставьте правильный ответ случайным образом.

Посмотрите в тексте моего сообщения причину, по которой я отказался от Canon SDK. По аналогичной причине отказались и от Никона с его SDK.

Трудно сказать, для чего переписывать главу про полиномиальную регрессию из учебника без упонимания о том, что полученная матрица Вандермонда обладает отвратительной обусловленностью, что делает эту регрессию намного хуже на практике, чем ортогональние полиномы, например.
Была (и есть) очень старая книга, которая во времена исторического материализма явлалась для многих (включая меня) настольной кногой про практической статистике.
Худсон Д. Статистика для физиков. PDF- во многих местах в Инете.
Там регрессия была расписана очень подробно, включая один из самих важних моментов — оценивание ошибок и выбор количества аппроксимирующих функций.
Вратце. Оценка ошибки измерений (нормальное распределение, и т.д.) по данним регрессии:


sigma=R/(n-m-1)


sigma — оценка дисперсии.
R — остаточана сумма квадратов
n — число точек измерений
m — число полиномов


Понятно, что ежели, увеличить число полиномон до n-1, до мы проведем интерполяцию и никакой оценки ошибки измерений дать не сможем. Поетому надо минимизировать sigma.
В той же главе рассматривается практический способ контроля числа полиномов с использованием критерия Фишера.


Всегда использовал. Не подводила никогда.

Фиг его знает. В принципе, везде размечено и известно. С другой стороны, на соседней большой улице, где они всегда ездят, кладут новый кабель для гигабитного оболванивания всех нас. Несколько месяцев, мелкими порциями. Конечно, все огораживается утром (одна полоса), знаки ставят, а вечером уже все чисто. Но ездят они все время. Ежели бы по методам нашей родины (как ето делалось много лет назад) — выкопали яму и оградили унылым фанерным забором, то было интересно посмотреть. Но такого тут нет.
Частенько заезжают и в тупичок, где мой дом. Никакой разметки нет. Народ бросает машины вдоль тротуара — как попало.

Я живу в Финиксе, рядом с их муравейником. Этих машинок полно вокруг. Ездят аккуратно. Внутри кто-то сидит. Держится за руль или нет — не видно. Радар крутится


Их заправка возле моей работы. Заправляются вручную — мужик выходит и заливает. Вроде на робота не похож. Когда скрестят Waymo с Boston Dynamics, то тогда посмотрим

в привычных рамках активных манипуляций с указателями на указатели и прочих удивительных вещей (представьте что-нибудь на свой вкус, а то долго расписывать придется)


«Вы так говорите, как будто это что-то плохое» (с)

А как же дебаты о том сколько поместится ангелов на конце иглы эквивалентности **argv и *argv[]?

Я еще помню конструкцию

IF(I) 10,20,30

И ничего, жили как-то. А сейчас кажется хтоническим полярным зверем, кода это вижу.

Аналогичная дендрофекальная система
image
Исходные данные:

1) Надо делать кучу измерений с камерой. Без участия человека
2) надо фокусировать и менять относительное отверстие (апертуру)

Первоначальное решение — прикрутили «большую» камеру, типа Canon DSLR 6D. Можно управлять от кампутера.
Проблема:
1) Автофокус — фокусируется не та то, что надо. Ручной фокус — только рукой, а камерой — никак
2) Главная проблема — камера цветная, а мне надо — монохром, чтобы инетрполяция не портила измерения

Решение 2) — куплена монохромная камера. У нее нет, фокуса, апертуры и т.д. Приличный объектив с внешним управлением стоит немерянных денег. К тому же у него небольшая апертура. А душе хочется побольше.
Вокруг лежат куча старых ручных объективов Никон 35 mm, F#1.4. По параметрам — отличный. Выпускается до сих пор с добавлением автоматики. Но нам она и не нужна.

Напечатали быстренько деталей. Поставили два шаговых моторчика, из валяющихся по углам. Один — для фокуса, второй — для апертуры. Прикрутили ардуину с платой управления моторами. Написал я программку, чтобы фокусироваться по контрасту — как мне надо.
Моторы крутят ремни — а они вращают кольца фокусировки и апертуры.

Все собирался поставить сенсор на кольца, но оказалось, что и не надо. Апертурное кольцо вращается в одну сторону до самого упора + еще немного. Ремень начинает проскальзывать с пулеметным треском. Зато мы знаем начальную позицию, от которой можно отсчитывать шаги для определенной апертуры.

А если не увидит?
Я могу кое-как днем, во второй половине дня, увидеть луну в стороне, противоположной солнцу. Звездная величина -13. Но Венеру — да не жисть мне не увидеть. Тем более днем. Поэтому я сказал, что меня смущает это венерическое значение, как пороговое.

Пошуршав по Инету, нашел, что можно увидеть Венеру рано утром. Но тогда яркость неба будет меньше, чем днем. Что отразится на расчете

Все это, на самом деле, не принципиально важно. Звезды можно видеть днем.
Да, приношу извинения, с двумя метрами я загнул. Память фиговая стала. Нашел бумажки.
Я по-другому считал.

Яркость неба — Lsky=7e3 cd/м2
Зрачок глаза 3 мм диаметром,
Площадь зрачка: Sp=7.1е-6 м2
Разрешение глаза — deye = 1 минута (=0.017 градуса = 3.e-4 rad)
Звездная величина Сириуса М= -1.5
Освещенность от Сириуса: Estar=10^[(−14.18−M)/2.5]=1.е-5 Люкс
Поле зрения окуляра телескопа: alpha — (обычно от 30 градусов до 100 у широкоугольных)
Соответствующий телесный угол: omega=2pi(1-cos(alpha/2))=4pi*(sin(alpha/4))^2=pi*alpha^2/4 (для небольших углов)
Число пикселов (=минимально разрешаемых элементов) глаза по линейному углу: Na=alpha/deye. Несколько натянуто, поскольку разрешение глаза быстро падает от центра к краю, но мы считаем примерно, пренебрегая потерями в оптике, падению освещенности в оптике по углу и т.д.
Число пикселов глаза по телесному углу: Nsolid=pi*Na^2/4=pi*alpha^2/(4*deye^2)
Поток от неба в зрачок глаза: Fsky=Lsky*omega*Sp=Lsky*pi*alpha^2*Sp
Световой поток от неба на пиксель: Fpixel=Fsky/Nsolid=[Lsky*pi*alpha^2/4*Sp]/[pi*alpha^2/(4*deye^2)]=Lsky*Sp*deye^2=3.85e-9 Lm
Световой поток от звезды (попадает на один пиксел глаза): Fstar=Estar*pi*Diam^2/4=7.85e-6*Diam^2 Lm
Отсюда диаметр (Fpixel<Fstar): Diam=sqrt(3.85e-9/7.85e-6)=22 mm

Для зрачка глаза в 2 мм (как в вашем расчете): Diam=15 mm

В вашем расчете меня смущает:

Пусть нетренированный наблюдатель увидит при яркости Венеры в -4m — что соответствует добавке в 0.4.

Погода безоблачная, мы смотрим в сторону противоположную солнцу. Смотрим в телескоп.
Небо является протяженным источником света. Поэтому яркость (пренебрегая потерями в оптике) остается неизменной.
Количество света, которое попадает в глаз от звезды, пропорционально площади зеркала/линзы телескопа.
Звезда — точечный объект, которий глазом не разрешить, т.е. весь свет от звезды попадает на один светочувствительный элемент сетчатки.
Соответственно, выбирая приличный диаметр телескопа можно добиться того, чтобы световая энергия от звезды создавала большую освещенность на этом элементе сетчатки, чем небо. Тогда мы увидим звезду.

Все данные можно взять из гугла. Насколько я помню, диаметр телескопа нужен пару метров при средней освещенности неба 7 kcd/m2, если хочется увидеть Сириус (примерно -1.5 звездная величина)
В реальности — ни причем. Тут же фантазируют, как прикрутить фазированную антенны в оптическом диапазоне. Вот это и пример такой антенны.
Вы подаете фазу на эту матрицу, например, для сканирования по углу. Подав квадратичную фазу — можно фокусировать и получить изображение. Ну, а если разделить пучок от телескопа на два, то такой штукой можно вносить фазовый сдвиг для звездного интерферометра

А для чего нужна опорная волна? Вы собираетесь записать голограмму и восстанавить трехмерное изображение звезды, которая находится в бесконечности?

А если просто нужно записать фазу волнового фронта, то ставить датчики волного фронта — либо на SLM, либо, например, light-field sensor, как в Lytro камере
Только это непрактично. Рассматривайте это, как фантазии

Кстати, свет от звезды вполне когерентный. На чем и звездны интерферометер основан
Вы разрушили мою детскую мечту — залезть в колодец и увидеть Южний крест.

Я на интервью у оптиков спрашиваю — можно ли увидеть звезды днем и, если да, то что для этого нужно.
Можно интерферометрировать и без опорного источника света — интерферометры радиального и поперчного сдвига. Да и тот же звездний интерферометер
Можно и беззеркальную систему сделать. ТОлько придется ее делать такого же размера, как первичное зеркало. Иначе ничего не видно не будет (разрешение опеределяется диамтером зеркала, так ведь из Гюйгенса получается?)
А ничего делать и не надо.
Все просто — идешь в Thorlabs и покупаешь жидкокристаллический spatial light modulator (SLM) — Holoeye
Либо какой-нибудь другой подобный
Вот и фазированная решетка в оптическом диапазоне.
На ее основе можно сделать сенсор волнового фронта в разрешением 100500 раз большем чем у датчика Шака-Гартмана
Или свет фокусировать — вместо линзы.

Только для телескопа это не нужно — зеркалом сподручнее. Кстати, звездный интерферометер — это тоже фазированная решетка, только там зеркала играют роль «антенн»
Этот кристалл достаточно распространен в изготовлении DPSS лазеров (когда активная среда накачивается другим лазерным диодом). Получается все маленькое, компактное и эффективное, с пучком хорошего качества (коллимированний и т.д.). Практически все теперешние зеление лазерние указки используют DPSS лазеры. Кристалл там другой, обычно неодим с чем-нибудь еще

Мы используем ниобат лития для зеленых лазеров. Кристалл накачивается диодом 1064 нм, частота удваивается и на выходе получается приятний зелененький цвет 532 нм.

К кремнию никакого отношения не имеет
У меня дома стоят два здорових компутера для моих игрушек (всякую фигню с преобразованиями Фурье считать).
Два Xeon процессора +Supemicro MB
С водяным охлаждением. Радиаторы выведены на боковые/верхние панели.



Тишина по сравнению с воздушным охлаждением. Оно и понятно — тепло сразу же выводится за пределы корпуса и вентиляторам не надо вращаться, как вертолеты.

Зачем делать водяное охлаждение и оставлять радиатор внутри корпуcа — непонятно.
Всего таких компутеров я построил 4 штуки. Очень доволен. Больше к «неводяному» охлаждению — не притронусь.

Недостаток — здоровый корпус. Типа такого.



Зато туда можно засунуть что угодно.
Ну, ежели длину волны менять, или поляризацию или как-нибудь еще, то станет проще. В абсолютной интерферометрии так и делают. Но в те времена у наc монохроматическая PSF была
Для Александра Сергеича, который формулу просил.

Информация в изображении
I=log2 (A/dA)
где А — размер изображения, dА — минимально разрешаемый элемент в плоскости изображения (полагаем одномерний случай для простоты, пренебрегая размером пикселов и т.д.). Поскольку размер dА меняется по полю (в центре аберрации меньше), то изображение надо разбить на участки, где dА можно считать постоянным. ДЛя безаберрационного изображения разрешение 1.22*длина волны/Апертуру
Для аберраций — рассчитать ЧКХ, там где она становится меньше, например 0.1. Тогда dА=1/максимальную частоту. Вот и все. Понятно, что аберрации всегда ухудшают ЧКХ, поэтому разрешение будет хуже и информации меньше

Я буду теперь это на интервью спрашивать. Спасибо за идею для задачки
Полиномы Цернике хороши тем, что от них простое аналитическое преобразование Ганкеля (Фурье на круге). Я разлагал зрачковую функцию по этим полиномам (можно сделать аналитически в Reduce/Maxima), тогда PSF получается аналитическая и ее можно подгонять — тогда и фаза получается (у меня давним-давно статья даже была). Все было хорошо при небольших аберрациях. Но когда, были комбинации аберраций — то хрен что восстановишь.

Для энтропии при наличии аберраций я бы делал так. Минимальное разрешение в плоскости изображения определяется MTF/OTF (там где она скатилась в шум). Засунув аберации, можно оценить эту частоту. По ней найти минимальное разрешение и отсюда энтропию. Аналитики нет никакой, но считать можно.

Information

Rating
Does not participate
Location
Arizona, США
Registered
Activity