Имя: Пароль:
IT
 
Корреляция Пирсона (генератор)
0 AquaKosh
 
25.02.16
17:18
Мужики, нид хелп, если кто в теме сабжа.
Для диссертации потребовалось подогнать кое-какие результаты и, в частности, корреляции Пирсона (выборка 2 по 100 элементов).
Написал более-менее хитрый генератор корреляций (на базе ГСЧ), с проверенной достоверность до 0.45. Теперь же потребовалось увеличить достоверность выше 0.5 и вплоть до 0.7, и вот тут засада - не могу перешагнуть порог в 0.5 (напомню, выборка 2 по 100 элементов).
Кто-нибудь что-то подобное шаманил?
1 Cyberhawk
 
25.02.16
17:19
Это на 1С?
2 Garykom
 
гуру
25.02.16
17:22
А на какой версии?
3 Mikeware
 
25.02.16
17:23
вопрос о диссертации задают на форуме 1снегов....
не, я отстал от этого паравоза....
4 Garykom
 
гуру
25.02.16
17:25
(3) это скорее паравоз пути попутал
5 Garykom
 
гуру
25.02.16
17:26
(3) кста вопрос по дисеру это мелочи, фишка что просит помощи с подделкой результата каких то исследований или выборок
6 AquaKosh
 
25.02.16
17:27
(1) Я делал на 1С (проще/быстрее), но тут не особо принципиально на чём... Тут больше вопрос по нюансам математического алгоритма генерации последовательностей для Пирсона.

(2) На 8.2 (если я правильно понял вопрос про версию).

(3) :) Ну, многие же не просто 1С-ники, а что-то бОльшее. :)
7 AquaKosh
 
25.02.16
17:28
(5) :)))) Я умоляю, никто в школе/универе результаты в лабах не подгонял?
8 Garykom
 
гуру
25.02.16
17:29
(5)+ ладно генератором случайных числе не выходит, понятно

но можно же разобраться в простой формуле коэффициента корреляции этого Пирсона и тупо понять что это просто отклонения от средних значений???
9 Garykom
 
гуру
25.02.16
17:31
(7) учитывая что не выкладываем такие веселые просьбы?
10 AquaKosh
 
25.02.16
17:35
(8) Это всё понятно и грубо я всё и так сделал. А далее - дьявол в мелочах.
11 Карупян
 
25.02.16
17:36
Нужно чтобы чуть плотнее элементы были? или как?
Перед добавлением нового элемента считай результат. Если не устраивает не добавляй
12 Карупян
 
25.02.16
17:36
или заменяй самые неудобные элементы на получше после генерации
13 1Cancer
 
25.02.16
17:40
Не понял следующее
Коэффициент корреляции Пирсона характеризует существование линейной зависимости между двумя величинами, корреляция имеет знач от 0 до 1.
вот у тебя я так понимаю 2 числовых ряда например
1   2
2   4
3   5,9
4   8,1
5   10,02
6   12,31
и тд до 100
в моем ряде я привел коррел близкой к 1 очевидно.
ты написал гениратор корреляций, окей у тебя вылетела корреляция допустим
0,69
0,41
,088
и ты говоришь что с вероятностью 0,45 гипотиза h1 выполниться для рандомного ряда? с погрешностью 0.1 допустим, очевидно если у тебя генерации рядов и генерации корреляц по одному и тому же рандом генератору, гипотиза попадания среднего в оное будет 50 на 50, и никак не будет переваливать за 0.7, соответственно просто просто меняешь закон распределения либо под РЯД либо под корреляц, потом условием для гипотизы (она уже может быть и 0,3 и 0,7) берешь максимум, готово!
(или я не правильно понял тебя)
14 Garykom
 
гуру
25.02.16
17:47
(13) пример с девушками мне больше нравится https://habrahabr.ru/post/172043/
15 1Cancer
 
25.02.16
17:51
(14) ;D забавно,
п.с. ТЗ от ТС не исчерпывающее.
16 AquaKosh
 
25.02.16
18:00
(15) :) ТЗ, так ТЗ:

Есть выборка (100 чисел), полученная с реальных данных:
43;6;27;31;40;41;33;28;36;35;32;32;16;26;7;12;21;28;35;5;24;29;29;7;18;5;14;34;15;24;19;38;23;24;35;40;22;7;11;41;12;39;8;30;31;38;41;14;31;20;9;40;28;18;21;35;10;16;11;31;29;19;24;37;34;19;33;20;31;43;19;43;42;25;12;25;36;13;24;34;45;20;20;9;15;9;28;11;41;27;30;37;38;7;45;40;12;14;5;30

Задача: получить парный к этому ряд с условиями:
- в ряду числа в диапазоне 0-20;
- итоговый коэффицент корреляции в диапазоне: -0.6...-0.7;
17 Tateossian
 
25.02.16
18:03
(16) Мож СЛУ какую-нить хитрую нарисовать?
18 AquaKosh
 
25.02.16
18:06
В принципе, идеи (аля мозговой штурм) тоже приветствуются, т.к. какая-нибудь идейка может "выстрелить" в итоге (когда будет реализована в коде).
19 Garykom
 
гуру
25.02.16
18:07
(16) знакома https://ru.wikipedia.org/wiki/Линейная_интерполяция ?

1. сначала по своему ряду рисуешь "среднюю линию"
2. затем рисуешь другую линию с нужным "коэффициентом корреляции"
3. далее вокруг этой линии по ГСЧ разбрасываешь в неком отклонении значения
4. проверка и микроподгонка
20 DomovoiVShoke
 
25.02.16
18:08
(0)математика - подогнать, диссертация! Может пора поучить математику?
21 Михаил Козлов
 
25.02.16
18:13
Может так подойдет?
Первые 100 чисел - любые.
Дальше получаете числа 2-ого ряда по очереди (от 1 до 100).
На каждом шаге для очередного числа x получите неравенство (диапазон) из условия на коэфф. корреляции.
Выбираете из этого диапазона случайно.
(17) Вообще-то это система неравенств (ограничения на числа + ограничения на коэфф. корреляции), скорее всего нелинейных.
22 Garykom
 
гуру
25.02.16
18:20
Диссертацию что ли замутить... "Методы выявления фальсифицированных данных в диссертациях"
23 DomovoiVShoke
 
25.02.16
18:21
(0)(16)Вы второй ряд получали через ГСЧ?
24 Михаил Козлов
 
25.02.16
18:23
(22) И приметь к ней самой.
25 Михаил Козлов
 
25.02.16
18:24
(24) Виноват: применить.
26 Garykom
 
гуру
25.02.16
18:25
(24) это уже какие то рекурсивные методы
27 1Cancer
 
25.02.16
18:26
(16) ну это же изи, это просто регрессия, ряд который ты получил на графике просто ломанная кривая (график напоминает, график от прибора, что меряет сердце) (представь, что x =1,2,3 ..100) (y = твой ряд) берешь фигачишь ряд с диапазоном от 0 до 20, какие проблемы, ты то знаешь каким уравнением ломаная описывается твой первый ряд, а в уравнении соотв корреляция между х1 и х1* и будет той которая тебе нужна, можешь ее выбирать сам с точностью до 0,001 по таблице студента :D (кароч - Уравнение регрессии)
(уравн регр это тип пряма по МНК от твоего ряда, ты типо строишь такую же прямую (под тем же углом(коэф  b1) ноо пониже(b0 меньше) потому как диапазон у тебя чисел другой)
28 1Cancer
 
25.02.16
18:35
1    43    22,5
2    6    3,5
3    27    13,5
4    31    15,5
5    40    21
6    41    20,5
7    33    16,5
8    28    14
9    36    18
10    32    16


Уравнение множеств регрессии: y = ошибка + (3,7141681437965)+(2,3603443908445) *х2+(-4,5364649267595) *х3
корреляц между х1 и х2 =0,9969

    Коэффицент    Значимость    t-статистика    Значение t-крит
Параметр Уравнения А1 =    3,7142    2,8531    1,3018    1,8125
Параметр Уравнения А2 =    2,3603    1,0975    2,1506    1,8125
Параметр Уравнения А3 =    -4,5365    2,1591    2,1011    1,8125

Все коэфиценты принять значимыми с уровнем точности (0,1)
29 AquaKosh
 
25.02.16
18:36
(23) Грубо, да. Есть некоторые механизмы предсказания и анализа предыдущих значений, но это (использование ГСЧ) похоже тупик.
30 DomovoiVShoke
 
25.02.16
18:44
(29)Не хочется обижать, но у меня просто нет слов.
Вас просят решить, так сказать методу предложить, а вы ответ подгоняете. На досуге задайте себе вопрос "Зачем мне нужна диссертация, если я в данной области полный дуб?". Если я не ошибаюсь вам надо поучить численный анализ.
31 DomovoiVShoke
 
25.02.16
18:49
+(30)Самое банальное это составить систему неравенств и подобрать каким методом ее лучше решать - это решение в лоб. Возможно под данный тип задач уже есть некие более краткие решения.
32 DomovoiVShoke
 
25.02.16
18:51
+(32)Варианты подгона тут уже попредлагали. Никогда не понимал что люди будут говорить про подгоны, если заранее не дадут на лапу, их же не дураки проверяют.
33 AquaKosh
 
25.02.16
19:03
(29) Всё нормально. ГСЧ рассматривался как вариант "по-быстрому", чтобы подогнать часть "плохих" данных. По поводу "дураков и проверок": понятное дело, что бОльшая часть данных реальная, а копаться во тьме данных, чтобы перепроверить расчёты (соответствия на уровне микроданных) никто не будет.
Чтобы обнаруживать ошибки, программист должен иметь ум, которому доставляет удовольствие находить изъяны там, где, казалось, царят красота и совершенство. Фредерик Брукс-младший